Update für die Stadt KI und Server Status Seite
Die Stadt KI hat spektakuläre Neuerung bekommen und es gibt jetzt eine sehr schöne Server Status Seite
Inhalt
Link zur Server Status Seite: https://stats.uptimerobot.com/YXkZzTkpOr
vorab
Ich habe gestern recht spät noch ein sehr schickes und sinnvolles Update der KI-Software eingespielt. Da der Entwickler der ursprünglichen Lösung diese sehr häufig tut, überlege ich immer ganz genau, ob es denn wirklich benötigt wird. Dummerweise kann ich es nicht lassen, in den Dateien der Software meine eigenen Änderungen einzubauen. Dadurch ist das ganze aber nicht mehr so einfach updatefähig, da ich natürlich nach dem Update meine eigenen Änderung ebenfalls noch mal einspielen muss.
Dieses Update hat aber 3 wesentliche Neuerung, die ein schöner Schritt vorwärts sind, und zwar:
- das Embedding ist auf eine neuen Stufe und bringt wesentlich sinnvollere Antworten bei Inhalten, die ich der KI gegeben habe
- Links werden im Chatbot jetzt direkt klickbar dargestellt (das wird Zeit)
- es gibt ein neues KI-Modell, und zwar gpt-3.5-turbo–instruct
gpt-3.5-turbo–instruct
GPT-3.5-Turbo-instruct hebt sich von GPT-3.5 ab, da es nicht in erster Linie für Unterhaltungen gedacht ist. Stattdessen konzentriert es sich darauf, Fragen direkt zu beantworten und Texte zu vervollständigen. Es ist aber nach meinen ersten Tests erheblich schneller alles, was ich bei KI-Chatbots bisher gesehen habe. Es ist fast instant, also sofort da.
Mit dem neuen Modell gibt, damit es jetzt einen wesentlichen Vorteil von Chatbots, die API nutzen gegenüber dem echten ChatGPT. Gpt-3.5-turbo–instruct gibt es nämlich weder im Playground noch bei ChatGPT selbst. Auch wenn das Modell nach ersten Tests wirklich Nice ist, kann es aktuell aber keine Fragen aus den antrainierten Inhalten verwenden. Das ist aber vermutlich nur ein temporärer Fehler und da es demnächst mehr Möglichkeiten, bei der Auswahl der multidimensionalen Vektordatenbanken geben wird, wird es spätestens dann auch mit dem Embedded Content funktionieren.
Nach mehreren Test und weil es sowieso das beste verfügbare Modell ist nehme ich erst mal GPT4, auch damit ist die Arnstadt KI dem »normalen« ChatGPT deutlich überlegen. Hier ein Vergleich:
| Features | GPT3 Modell | GPT4 Modell |
|---|---|---|
| Release | 1. November 2022 | 1. März 2023 |
| Verfügbarkeit | Für alle gratis Verfügbar | Nur für ChatGPT Plus Abonnenten und über die API verfügbar |
| Parameter | 175 Milliarden | 100 Billionen |
| Support | Text only | Texte, Bilder Dateien (hier nur Text, vorerst) |
| Wortlimit | ca. 1500 – 2000 Wörter | 25.000 Wörter |
| Modellkomplexität | Hoch | Sehr hoch |
| Speed | Sehr schnell | Mittel |
| Experience | Ausgefeilt und hoch entwickelt, aber nicht so nuanciert wie menschliche Interaktionen | Sehr ausgefeilte und nuancierte Antworten, menschenähnliche Interaktionen |
Apropos … Was sind überhaupt:
Multidimensionale Vektordatenbanken (_?)
Klingt geil, oder? Nicht?! Ok, wenn man ein Faible für sowas hat, klingt das geil. Ich bin mal ehrlich: Ich bin immer noch dabei zu ergründen, was das genau überhaupt ist und wie das Ganze letztendlich funktioniert.
Damit ein Large Language Model (LLM) wie die Modelle von ChatGPT überhaupt funktionieren kann, braucht es genau eine solche Datenbankarchitektur, damit die Milliarden Parameter auch schnell in einen sinnvollen Zusammenhang (also damit die KI sinnvolle Sätze abgeben kann) gebracht werden können. Dies muss nahezu »just in time« geschehen und klassische Datenbankarchitekturen scheitern hier schon an der Komplexität der möglichen Abfragen und Ausgaben.
Für mich ist die Vorstellung dieses Teils der KI Entwicklung sehr nahe an der Grenze, dessen was mir überhaupt vorstellbar ist. Wie komplex dann erst der Code sein muss, der die Abfragen und Ausgaben steuert ist viele Dimensionen über dem, was so in meinen Kopf reinpasst. Vermutlich.
Was geht gerade vor sich bei der KI?
18.10.2023 – 16:30 _Ich habe mit dem Update den gesamten bereits angelernten Index über Bord werfen müssen und aktuell trainiert die KI fleißig -wieder mal- den Content dieser Website. Ich bin hier immer noch Kilometer vom Optimum weg. Es geht aber Schritt für Schritt in die richtige Richtung.
Was zum Beispiel jetzt recht gut funktioniert ist, dass die Antworten immer einen Link enthalten, wenn die Inhalte vom Content dieser Website stammen. Genau das ist in meinem Augen absolut entscheidend, wenn der Chatbot wirklich nützlich sein soll. Meine Vision ist hier, dass einfach auf der Startseite nach einem bestimmten Ort/Eintrag/Hotel/Restaurant etc. gefragt wird und hier die KI dann den Link zur entsprechenden Seite ausgibt. Damit wird die KI zwar zur Navigationshilfe degradiert, aber eine Übersichtsseite, wie diese:
https://inarnstadt.de/1/it-computer-pc-service-in-arnstadt-windows-netzwerke_bietet nun mal mehr Information und Möglichkeiten. Damit ist sie wesentlich nützlicher als alles, was die KI ausgeben kann. Noch.
Wo ich gerade denn Status überprüft habe, habe ich festgestellt, dass heute schon einige Anfragen gestellt worden sind und der Chatbot schläft gerade. Ich habe aktuell eine Begrenzung auf 1$/Tag gesetzt. Da ich inzwischen das »teurere« Modell GPT4 nehme, sind die doch recht schnell verbraucht. Mal sehen, vielleicht setze ich das Limit höher.
Neue Server Status Seite
Da inArnstadt.de ja durch den experimentellen Charakter wesentlich öfter »Funktionsstörungen« hat als das normalerweise der Fall ist, habe ich zur schnellen Information mal eine Server Status Seite eingerichtet. Diese funktioniert unabhängig, also, auch wenn die App/Website down ist bekommt man hier eine erste Info.
https://stats.uptimerobot.com/YXkZzTkpOr
Leider kann es darüber hinaus trotzdem noch geringfügig zu kurzfristigen Ausfällen von einzelnen Bereichen kommen. Trotzdem, mit über 90% Verfügbarkeit, funktioniert das System doch recht stabil, dafür, dass hier ziemlich viel experimentiert wird.
Wenn so ein System aber vollständig live ist, sollte hier ein Wert von 98% nicht unterschritten werden, besser sind >99%.
__
Featured Image prompted on playgroundai.com with: »Featured Image for a Blog info post about new functions for the own AI Chatbot«
