LMAC Automation | LMAC Automatisierung (Dev-Blog #3) [EN | DE]

in Let's Make a Collage3 years ago (edited)

Cover Image | Titelbild

EnglishLanguage.png

Hello friends,

It was urgently about time to send you some news again.

As many of you have already noticed, the LIL index has been uploaded piece by piece recently. The fact that there is now more than one index post probably caused some confusion. Because, at first glance, you couldn't immediately identify that they were actually categorically different index posts.
That wasn't planned at first, even though it has the advantage of making it faster to search for images thematically than in a single index. Well, now, I've made the individual categories of the index posts a little more identifiable by writing the categories in the cover images of the posts.
Cause for the categorical split, was a limit on the size of a Hive post, when sent via the RPC interface (Hive Web API). It was then the most obvious solution to split the originally huge, single index post, into many smaller posts. Categorization also made sense, since the LIL images are all tagged with keywords.
If a single category was still too big, it was divided by the index generator (program) again into smaller parts, which are and were added to the respective category index posts as comments.
Not all categories are uploaded yet. There are eight posts in total. Two of them are already online. The remaining 6 posts will follow over the next few days, so that we are not suspected as spammers because of the sheer size and quantity.

GermanLanguage.png

Hallo Freunde,

Es wurde dringend Zeit, euch mal wieder ein paar Neuigkeiten zukommen zu lassen.

Wie viele von euch bereits mitbekommen haben, wird seit kurzem Stück für Stück der LIL-Index hochgeladen. Dass es nun mehr als einen Index-Post gibt, hat vermutlich für etwas Verwirrung gesorgt. Denn, auf den ersten Blick konnte man nicht gleich erkennen, dass es kategorisch verschiedene Index-Posts sind.
Das war anfangs nicht geplant, auch wenn es den Vorteil hat, dass man dadurch schneller thematisch nach Bildern suchen kann als durch einen einzigen Index. Nun, jedenfalls habe ich die einzelnen Kategorien der Index-Posts nun etwas besser kenntlich gemacht, indem ich die Kategorien in die Titelbilder der Posts geschrieben habe.
Ursache für die kategorische Aufteilung, war eine Limitierung der Größe eines Hive-Posts, beim Senden über die RPC-Schnittstelle (Hive Web-API). Es war dann die am nächsten liegende Lösung, den ursprünglich riesigen, einzelnen Index-Post, in viele kleinere Posts aufzuteilen. Eine Kategorisierung bot sich zudem an, da die LIL Bilder alle mit Schlüsselwörtern versehen sind.
Wenn eine einzelne Kategorie dennoch zu groß war, wurde sie vom Index-Generator (Programm) wiederrum in kleinere Teile aufgeteilt, welche zu den jeweiligen Kategorie-Index Posts als Kommentare ergänzt werden und bereits wurden.
Es sind längst noch nicht alle Kategorien hochgeladen. Acht Posts sind es insgesamt. Zwei davon sind schon online. Die restlichen 6 Posts folgen nun über die nächsten Tage hinweg, damit wir aufgrund der schieren Größe und Menge nicht als Spammer verdächtigt werden.


LIL Index (Sky, Cloud, Landscape, Sun, Mountain, Lake, Beach, River, Nature.
LIL Index (Miscellaneous).


EnglishLanguage.png

The LIL - What to expect next

But these are not the only news I have to report about the LMAC automation.
While the remaining bugs in the index generation and the bot are being fixed, the work on a LMAC gallery continues, which will make the images from the LIL searchable on a website in the near future. It will even have a search function there, or rather it already exists.(See clip.)
The images for the LIL gallery, were all found by the index bot and stored in a database, which is now also usable for this useful tool. So now the bot will also help us in the future to keep the online gallery up to date.

So soon there will be a website where you can search for images just like on Pixabay and Pexels, linking to their origin posts and authors in the Hive.
We haven't talked about it yet in the team, but this will probably make index posts obsolete then.

Unfortunately, there has to be some bad news as well. At least for me as the developer of this little software complex. Because meanwhile about 2000 images were submitted to the LMAC Image Library, but the bot could only find about 1600 of them.
The reason for this is the use of the table template by the authors of the LIL posts. Not in all posts the template was used correctly. However, the bot relies on finding the correct use of the table in the posts tagged with #LIL to be able to read the data about the images (titles, keywords, URLs).
I will now have to deal with developing a flexible fallback mechanism so that the bot can also read as many such posts as possible. Because otherwise the kind people of the LMAC team would have to do a lot of manual adding.

GermanLanguage.png

Die LIL - Was als nächstes zu erwarten ist

Das sind jedoch nicht die einzigen Neuigkeiten, welche ich über die LMAC-Automatisierung zu berichten habe.
Denn noch während letzte Fehler in der Index-Generierung und dem Bot behoben werden, geht die Arbeit auch schon an einer LMAC-Galerie weiter, welche die Bilder aus der LIL künftig auf einer Website durchsuchbar machen wird. Es wird dort sogar eine Suchfunktion geben, bzw es gibt sie sogar schon.(Siehe Clip.)
Die Bilder für die LIL-Galerie, wurden allesamt vom Index-Bot gefunden und in einer Datenbank abgelegt, die nun auch für dieses nützliche Werkzeug nutzbar ist. Der Bot wird uns nun künftig also auch dabei helfen, die Online-Galerie aktuell zu halten.

Bald wird es also eine Website geben, auf der ihr wie auf Pixabay und Pexels nach Bildern suchen könnt, die dort auf ihre Herkunftsposts und Autoren im Hive verweisen.
Wir haben im Team noch nicht darüber gesprochen, aber dies wird dann wahrscheinlich die Index-Posts obsolet machen.

Leider muss es auch schlechte Nachrichten geben. Zumindest für mich als Entwickler dieses kleinen Software-Komplexes. Denn mittlerweile wurden zwar um die 2000 Bilder zur LMAC Image Library eingereicht, finden konnte der Bot aber nur ungefähr 1600 davon.
Der Grund dafür liegt in der Verwendung der Tabellen-Vorlage, durch die Autoren der LIL-Beiträge. Nicht in allen Posts wurde die Vorlage korrekt verwendet. Der Bot ist allerdings darauf angewiesen, dass er die Tabelle fehlerfrei in den Posts, die mit #LIL getaggt sind, vorfindet, um die Daten zu den Bildern auslesen zu können (Titel, Schlüsselwörter, URLs).
Ich werde mich nun mit der Entwicklung eines flexiblen Fallback-Mechanismuses beschäftigen müssen, damit der Bot auch möglichst viele solcher Posts lesen kann. Denn sonst müssten die netten Menschen des LMAC-Teams sehr viel händisch nachtragen.


What to expect next

NAQ - Never asked questions

EnglishLanguage.png

As in the previous dev-blog, I'll take the opportunity here once again to talk a bit from behind the scenes.

  • On which server is the Index-Bot running?
    At the moment it is running on one of my private computers. But it is planned to move the bot to @shaka's Raspberry minicomputer in the next days. There it will permanently work on its tasks in this power saving and eco-friendly environment.
    When the website is finished, the database, which at next will run on the Raspberry together with the bot, will then be moved to a web server.
    The bot will then still live on the mini-computer. This is because the hive key it uses would not be safe on a web server.
  • Which system will be used for the website?
    Since @shaka gave me the choice and I am very familiar with Drupal, I decided to go with it. Drupal is an open source CMS. I programmed the gallery as a module for this system.
  • When are you done with the development of the LMAC automation and the website?
    Haha, that's a funny question you(I myself :-D) are asking me! Because with such things one never will be done. :-)
    But the goal of all this is to have to fix as few bugs as possible, as soon as possible, and to be able to develop it comfortably and steadily at some point. So to have a stable system to build on.
    I'm getting to that point now with predictable probability.
    Yes, we will not want to and will not be able to stop working on it. Rather, we will continuously evolve the whole system according to our vision and the needs of the community.
  • Does the bot have a name? Like Robby, for example?
    According to the Intergalactic Agreements on the Employment of Artificial Intelligence, it should actually get a name. Unfortunately, the creativity of its creator was not yet strong enough to find an adequate name for the little guy.
    Whenever you (community) find a good name, let me know! :-)

GermanLanguage.png

Wie im vorigen Dev-Blog, nutze ich hier wieder einmal die Gelegenheit, ein Wenig aus dem Nähkästchen zu plaudern.

  • Auf welchem Server läuft der Index-Bot eigentlich?
    Zur Zeit läuft er auf einem meiner Privat-Computer. Es ist aber geplant, den Bot in den nächsten Tagen auf den Raspberry-Minicomputer von @shaka umzuziehen. Dort wird er sich in dieser stromsparenden und umweltfreundlichen Umgebung dauerhaft mit seinen Aufgaben beschäftigen.
    Wenn die Webseite dann fertig ist, wird die Datenbank, die zunächst noch zusammen mit dem Bot auf dem Raspberry betrieben werden wird, auf einen Webserver umziehen.
    Der Bot bleibt dann immer noch auf dem Mini-Computer wohnen. Denn der Hive-Schlüssel, den er nutzt, wäre auf einem Webserver nicht sicher.
  • Welches System wird für die Webseite verwendet werden?
    Da @shaka mir die Wahl gelassen hat und ich mich sehr gut mit Drupal auskenne, habe ich mich dafür entschieden. Drupal ist ein Open Source CMS. Die Galerie habe ich als Modul für dieses System programmiert.
  • Wann bist du fertig mit der Entwicklung der LMAC-Automatisierung und der Webseite?
    Haha, das ist eine witzige Frage, die du(ich selbst :-D) mir da stellst! Mit solchen Dingen wird man nämlich niemals fertig. :-)
    Das Ziel von alledem ist es aber, so bald wie möglich, so wenig wie möglich Fehler beheben zu müssen und es irgendwann gemütlich und stetig weiter entwickeln zu können. Also ein stabiles System zu haben, auf das man aufbauen kann.
    An diesen Punkt gelange ich nun mittlerweile mit vorhersehbarer Wahrscheinlichkeit.
    Ja, wir werden nicht aufhören wollen und nicht können, daran weiter zu arbeiten. Vielmehr werden wir das ganze System stetig gemäß unserer Visionen und der Bedürfnisse der Community weiterentwickeln.
  • Hat der Bot einen Namen? So wie Robby, zum Beispiel?
    Gemäß Intergalaktischer Vereinbarungen zur Beschäftigung künstlicher Intelligenz, müsste er eigentlich einen Namen bekommen. Leider reichte die Kreativität seines Erschaffers noch nicht dazu aus, einen Adäquaten Namen für den kleinen Kerl zu finden.
    Wenn dir (Community) ein guter Name einfällt, lass es mich wissen! :-)

EnglishLanguage.png

You can also download the LIL index in once as HTML file here. Just right-click on the link and then click on "Save link as". Once the file is downloaded, you can double-click it to open it in your web browser.

Download: LiL_Local.html

GermanLanguage.png

Ihr könnt den LIL-Index als Ganzes auch als HTML-Datei hier herunterladen. Einfach Rechtsklick auf den Link machen und dann auf "Link speichern unter" klicken. Sobald die Datei herunter geladen ist, könnt ihr sie per Doppelklick im Browser öffnen.

Download: LiL_Local.html


Best regards | Viele Grüße
QuantumG


╭━━⋞ ☙ My NFT artworks ≻≺ ♖ My dCity ⋟━━╮
╰━━━━⋞ ♫ My Rising Star(s) ⋟━━━━╯

Sort:  

This is not hyperbole: I really am floored by your achievement. It's like when I used to watch a friend repair my car engine (when cars weren't all computerized) and I was fascinated by his ability to work magic with that machine. You work magic with code. What you do will live for years. This is a permanent tool not only in the LMAC community, but also in Hive. You are making blockchain history 🌟🌠

Congratulations, @quantumg. And thank you.

Thanks for the kind words, my friend! :-)
Magic may be everywhere. What is probably magic for one is simply craft for the other. But the truth truly is, it's always magic :-D
I also love watching that magic when other people do it. So fixing cars has the same effect to me.

You are making blockchain history

I can already see the headlines, "It's alive. He was so slow, but he finally got it done!" xD

Wow wow wow! This is simply wonderful! Thank you Quantumg for making our lives easier! Your work is going to take LIL to another level! 🚀💪

Thank you very much for the tip. :-) At first I didn't notice it because the tip indicator doesn't seem to be working. Then saw it today in my transaction report.

untitled.gif


The rewards earned on this comment will go directly to the person sharing the post on Twitter as long as they are registered with @poshtoken. Sign up at https://hiveposh.com.

Greetings friend that excellent work thank you for supporting our community with the automation of the LMAC image library

Hello @agmoore, how are you?
Here I have a name for the bot: "Lupita🔎" 😊❤️

I am good @zuly63. How are you? Lupita. I love it. That is a friendly, if ever there was one.

Take care my friend.

Yes, very good. 🤗🌺

This is really a great contribution to this community. Being one of the citizens of this creative world, I would like to thank you for your efforts @quantumg