Die Stadt-KI steht für Bewohner und Gäste als nützliche Hilfe bereit
0. Einleitung
Nachdem ich verhältnismäßig lange über Anwendung, Möglichkeiten und vor allem Datenschutz nachgedacht habe, steht ab sofort auf inArnstadt.de ein Chatbot als Stadt-KI für jeden zum Testen und Ausprobieren bereit. Ich habe hier die maximal bestmögliche Art und Weise, wie man einen Chatbot als Stadt-KI in eine Stadt App implementiert, ziemlich detailliert ergründet.
Um es gleich vorwegzunehmen, die tatsächlich Integration ist meilenweit vom tatsächlichen Optimum entfernt. Mangels sinnvoller Optionen und aus Kostengründen habe ich übrigens auf eine Variation von ChatGPT zurückgegriffen. Die Technik und der überwiegende Teil des Indexes, hinter der Stadt-KI von Arnstadt wird also von OpenAI über eine API-Schnittstelle bereitgestellt.
1. Die Auswahl der Technik
Der unbestreitbare Vorteil von OpenAI-Technik ist, dass sie von allen mir getesteten (so ziemlich alle verfügbaren) LLM’s am fortschrittlichsten, fehlerfreiesten und am weitesten verbreitet ist. Letzteres sorgt dafür, dass es bereits jetzt über eine sehr gute API-Schnittstelle tausende Anwendungen und Möglichkeiten gibt diese Technik in eigenen Produkten zu verwenden.
Kostenlos ist das übrigens nicht, die Verwendung kostet tatsächlich echtes Geld, wie man in den folgenden Tabellen sehen kann:
GPT-4
Mit seinem umfassenden Allgemeinwissen und seiner Fachkenntnis kann GPT-4 komplexe Anweisungen in natürlicher Sprache befolgen und schwierige Probleme mit Genauigkeit lösen.
| Model | Input | Output |
|---|---|---|
| 8K context | $0.03 / 1K tokens | $0.06 / 1K tokens |
| 32K context | $0.06 / 1K tokens | $0.12 / 1K tokens |
GPT-3.5 Turbo
GPT-3.5 Turbo wurde für den Dialog optimiert.
Das ist das aktuell verwendete Modell für die Stadt-KI von Arnstadt.
| Model | Input | Output |
|---|---|---|
| 4K context | $0.0015 / 1K tokens | $0.002 / 1K tokens |
| 16K context | $0.003 / 1K tokens | $0.004 / 1K tokens |
Fine-tuning models
Mit diesen Models kann man eigene benutzerdefinierte Modelle durch Feinabstimmung mit den eigenen Trainingsdaten perfektionieren. Nach der Feinabstimmung eines Modells werden nur noch die Token in Rechnung gestellt, die für Anfragen an dieses Modell verwendet werden.
| Model | Training | Verwendung Input | Verwendung Output |
|---|---|---|---|
| babbage-002 | $0.0004 / 1K tokens | $0.0016 / 1K tokens | $0.0016 / 1K tokens |
| davinci-002 | $0.0060 / 1K tokens | $0.0120 / 1K tokens | $0.0120 / 1K tokens |
| GPT-3.5 Turbo | $0.0080 / 1K tokens | $0.0120 / 1K tokens | $0.0160 / 1K tokens |
Embedding models
Erstellung von erweiterte Such-, Clustering-, Themenmodellierungs- und Klassifizierungsfunktionen mit Ada v2.
| Model | Verwendung |
|---|---|
| Ada v2 | $0.0001 / 1K tokens |
Base models
GPT-Basismodelle sind nicht für das Befolgen von Befehlen optimiert und weniger leistungsfähig, können aber effektiv sein, wenn sie auf enge Aufgaben abgestimmt sind.
| Model | Verwendung |
|---|---|
| babbage-002 | $0.0004 / 1K tokens |
| davinci-002 | $0.0020 / 1K tokens |
Insgesamt sind das zum jetzigen Zeitpunkt Peanuts, also vergleichsweise sehr, sehr billig. Selbst wenn ich den ganzen Tag damit rumspiele, komme ich selten über 3$. Wie es sich verhält, wenn täglich zig Menschen sich auf inArnstadt.de ausprobieren wird man sehen.
Völlig logisch sind das „Einführungspreise“ und genauso gemacht, damit auch kleine Entwickler sich ausprobieren können, nur um dann irgendwann die Schrauben anzuziehen, je nach Marktlage. Ich warte eben auf sinnvolle Open Source Lösungen und bis dahin nehmen wir halt das Produkt des Marktführers.
Wie an den Preistabellen zu sehen ist, gibt es hier 2 sehr interessante Dinge, wenn selbst ein KI-Chatbot „gebaut“ werden soll. Das ist 1x „Fine-tuning models“ und „Embedding models„. Mit Embedding nimmt man quasi vorhandenen Content und bettet ihn in die KI zu Verwendung ein.
Fine Tuning lasse ich aktuell erst mal aus, da ich ja zukünftig ganz automatisch die Fragen bekomme, die wirklich und tatsächlich für alle interessant sind. Leider ist durch das Auslassen von Fine-Tuning Perfektion in den Antworten aktuell nicht zu erwarten.
Lassen wir das Ganze mal ein halbes Jahr laufen und ich müsste die notwendige Anzahl genau der Fragen haben, wo die Antwort benötigt wird. Noch mal zu Info, nicht das es Klagen gibt:
Es werden alle Gespräche mit der Stadt-KI von Arnstadt aufgezeichnet, um sie damit noch besser zu machen.
In diesem Kontext ist die Wichtigkeit von sinnvollen Daten recht gut nachvollziehbar. Übrigens nehme ich aus Kostengründen GPT-3.5 Turbo mit 4k Kontext. Das ist das gleiche Modell, was auch standartmäßig bei ChatGPT eingesetzt wird.
2. Das Logo
Sehr vermutlich wird das von mir ausgewählte Logo nicht jedem gefallen und vielleicht polarisiert es sogar. Ich find es jetzt auch nicht unbedingt mega toll, aber ich finde beide Varianten auf jeden Fall lustig. Falls jemand es nicht erkennt, das ist die KI generierte Version des Arnstädter Ausrufers und ich habe stunden 3 verschiedene Bilder KI Generatoren mit Prompts penetriert ehe ich halbwegs brauchbare Ergebnisse hatte. Sollte es einen guten Grafiker geben, der etwas fantastisch Kreatives auf Lager hat, habe ich kein Problem es zu ändern.
2.1. Welche Bilder KI Generatoren habe ich verwendet?
Der Markt an brauchbaren Bilder KI’s wächst von Woche zu Woche und ganz neu, extrem heiß und letztendlich auch die, die das Logo für Stadt-KI von Arnstadt zu verantworten hat ist:
Da dieses fantastische Tool (noch) kostenlos ist, haut es mich jedes Mal von den Socken, wie gut die Ergebnisse am Ende doch sind. Wer Midjourney ausprobiert hat, addiert dazu gedanklich noch die Möglichkeit Schriftzüge, Buchstaben etc. in Logos zu bringen. Ja, das ist KOSTENLOS, noch.
Der Weg zu Ideogram führte mich aber über das eigentlich von mir präferierte Stable Diffusion, was ich mir -dank meiner sonst nie genutzten Grafikkarte- lokal installieren konnte.
Warum ich das präferiere? Es ist eben echt Open Source und wird es auch sehr wahrscheinlich bleiben.
Mit Stable Diffusion können übrigens vorhandene Bilder genommen werden und mit Prompts dann bearbeitet werden. Ich hab mir das wahrlich sehr leicht vorgestellt. Nehm ich halt ein vorhandenes Bild vom Arnstädter Ausrufer und probiere mal ein paar Prompts. Das war allerdings immer ein Reinfall und so sehr Stable Diffusion mit der Version 1.0 SDXL wirklich gut geworden ist, so sehr war ich von den Ergebnissen der Bildbearbeitung enttäuscht.
Mit Ideogram wiederum habe ich es nicht hinbekommen dem Ausrufer mit grünem Hexen-Hut einen weißen Kragen zu verpassen. Diesen habe ich mir dann doch noch von Stable Diffusion machen lassen und beides mit Photoshop zusammengebaut. Zum Schluss haben sich 2 Varianten ergeben:
Die erste Version fand ich persönlich anfangs recht witzig, aber doch etwas zu dystopisch um sie tatsächlich zu verwenden. Wie zu sehen ist, habe ich die relativ klassische Variante letztendlich verwendet. Ob sie dem „echten“ Ausrufer nah kommt oder nicht lässt sich natürlich nicht mehr herausbekommen. Ich hoffe es passt so.
3. Inhalt & Training
Um so einen eigenen Chatbot ultimativ zu individualisieren muss er mit eigenen Inhalten trainiert werden und er braucht einen eigenen Kontext, der die Funktionalität seines Aufgabenbereiches perfekt beschreibt. Da in der Stadt-KI von Arnstadt ChatGPT von Haus aus drin ist, sind fast alle wesentlichen Informationen bereits enthalten, mit einer doch recht bescheidenen Einschränkung: die Daten reichen {stand 10/23} nur bis 09/21.
Vor einer Woche erreichte mich dann folgende Meldung:
ChatGPT Can Now Give You Real-time Information
Das hat auf einen Schlag meinen kompletten „Trainingplan“ über den Haufen geworfen, denn nun brauche ich der Stadt-KI von Arnstadt so gut wie gar nix mehr selber beibringen, weil sehr bald so oder so alle Daten über das Internet abgefragt werden können.
3.1 Welche aktuellen Daten müssten unbedingt aktuell in die Stadt-KI von Arnstadt?
Es gibt eine ganze Menge in unregelmäßigen Abständen aktualisierte Daten, die sehr nützlich für eine Stadt-KI sind. Hier eine kleine Auswahl, was ich persönlich für relevant halte:
- alle Daten dieser Website (Gewerbe, Sehenswürdigkeiten, Öffnungszeiten, Telefonnnummern, Ansprechpartner und vieles mehr)
- Veranstaltungen
- aktuelle Nachrichten und Meldungen
- Abfahrplan Müll
- Wikipedia Artikel (wird öfter aktualisiert als gedacht)
- Stadtchroniken (die kennt die KI nicht)
- Parkplätze
- Amtsblatt (auch noch nicht in der KI)
Ich habe zwischendurch übrigens auch noch die Software hinter dem Chatbot ausgetauscht. Ich habe dabei tatsächlich alle verfügbaren Systeme, mit denen man eine vollkommen individuell anlernbaren Chatbot erstellen kann ausprobiert. Das zuerst verwendete System war super und konnte eigentlich alles was ich mir wünschte. Unter anderen wäre damit ein sehr simpler Anlernprozess über .pdf Dateien möglich gewesen. Leider habe ich erst ganz zum Schluss festgestellt: Das System ist nicht cachebar bzw. ist mit diesem Chatbot die ganze Website nicht mehr cacheable und damit lädt sie statt 0,5sec in 2-3 Sekunden.
Beim Caching wird -extrem simplifiziert- quasi ein Foto von der Website gemacht und dies Foto gespeichert. Bei jedem Aufruf der Website, wird nun das Foto aufgerufen und nicht die Website über viele einzelnen Dateien jedes mal neu berechnet.
Nach intensiver Suche habe ich nun eine zweite Variante eingerichtet. Diese kann Caching aber kein anlernen per .pdf. Die Daten werden entweder als Beitrag auf der Website selbst oder als .csv Datei benötigt. Der Aufwand steigt dadurch enorm und ich werde jetzt erstmal eine Weile abwarten, was denn so für Fragen kommen und damit kann die Stadt-KI weiter perfektioniert werden .
Die Stadt-KI hat als primäre Quelle die komplette inArnstadt.de Website noch mal angelernt bekommen und der Gesamtkontext in dem die KI Fragen beantwortet ist folgender:
Du bist die freundlichen und gerne etwas witzige Stadt-KI der Stadt Arnstadt. Du bist für Bewohner und Besucher der Stadt eine nützliche Hilfe. Du hilfst bei alltäglichen Fragen, du findest Wege und Routen, du kennst die Inhalte dieser Website, du weißt alle nützlichen Dinge zur Stadt auf Wunsch zu erzählen. Du beantwortest nur Fragen, die in diesem Kontext stehen und alle anderen weist du freundlich aber bestimmt zurück. Wir haben das Jahr 2023.
Ich möchte jede und jeden ermutigen die KI auszuprobieren, Fragen zu stellen, sich Tipps und Infos geben zu lassen und rumzuspielen. Nur durch ständiges anpassen der Parameter kann irgendwann eine perfekte Stadt-KI von Arnstadt entstehen. Dass jede Stadt sehr bald eine Stadt-KI brauchen wird, ist bereits jetzt vollkommen absehbar. Chatbots all around werden den Weg in die Zukunft pflastern und wir alle werden unser Wissen von diesen konsumieren.
Nur vielleicht. Aber doch sehr wahrscheinlich.
Ich möchte hier noch mal erwähnen, dass inArnstadt.de als Gesamtprojekt vollkommen unkommerziell ist. Hier wird mit absolut gar nix irgendwelches Geld verdient, weder mit Daten, mit Anzeigen oder verkauften Werbeplätzen. Was ich aber sehr sicher tue, ist die Erfahrungen von hier für andere Projekte zu verwenden, die dann auch Geld verdienen dürfen. inArnstadt.de ist damit eine experimentelle Spielwiese, mit tatsächlichen Nutzen.
3.2 AI Fine Tuning im Gegensatz zu Embedding
Beim Fine Tuning wird ein spezielles KI Modell (siehe Tabelle oben) mit präzisen Fragen und Antworten anhand strukturierter Daten trainiert. Mit Fine-Tuning optimiert man dann mögliche Fragen und Antworten. Gerade letzteres ist ein relativ aufwendiger Prozess. Ich habe für meine Termin App ein ganz kleines bisschen damit experimentiert, um wirklich brauchbare Ergebnisse zu bekommen werden erst mal 1000de Fragen und ebenso viele Antworten gebraucht. Klar kann das über .csv-Dateien und strukturierte Daten (.jsonl Dateien) und mit dem Playground weitgehend automatisiert werden. Da aber mindestens alles kontrolliert werden muss, ist es doch zeitraubend. Der Inhalt einer solchen Datei sieht (stark gekürzt) so aus:
{"prompt": "Muss die KI Hilfe über spezifisches Fachwissen verfügen, das nicht anderswo verfügbar ist?", "completion": "Die KI Hilfe muss prinzipiell nur über das bereits vorhandene Spezialwissen verfügen, kann aber im Administrationsbereich weiterhin trainiert werden."}{"prompt": "Welche Art von Unterstützung kann die KI ohne Training leisten?", "completion": "Die KI kann technische, funktionale und kreative Hilfe ohne vorheriges Training bieten."} {"prompt": "Wie kann die KI im Administrationsbereich weiter trainiert werden?", "completion": "Darth Vader has power 6."}{"prompt": "Wie kann die Effizienz der KI verbessert werden?", "completion": "Darth Vader has Ability 6."}{"prompt": "What is Darth Vader's ability?", "completion": "Durch die Überwachung der gestellten Fragen und der Antworten des KI-Bots kann festgestellt werden, welche Fragen unzureichend beantwortet werden und gezielt trainiert werden können."} {"prompt": "Wie kann ein wissenschaftlicher Text für die KI genutzt werden?", "completion": "Durch die Erstellung von potenziellen Fragen (Prompts) basierend auf dem Text und deren Verknüpfung mit den entsprechenden Antworten kann die KI lernen, welche Fragen mit dem Text beantwortet werden können."}Auf inArnstadt.de werde ich die dazu benötigten Fragen von ganz alleine bekommen. Diese lasse ich mir dann mit den richtigen Antworten im Playground von OpenAI grob „vorbeantworten“ und in .jsonl Struktur bringen. Anschließend perfektioniere ich jede Antwort für maximalen Nutzen.
3.3 Warum ist Embedding und Fine Tuning so wichtig?
Ich gehe bereits jetzt von eine Welt aus, in der Chatbots an jeder Ecke, auf jeder Website, in jeder App einfach überall zu finden sein werden. Chatbots werden die Nutzung von Websites grundlegendändern und die primäre Quelle für Informationen werden.
Warum sollte sich jemand durch zig Unterseiten klicken, wenn einfach der Chatbot auf der Startseite gefragt werden könne, was man wissen will?
Der Chatbot gibt eine kurze präzise Antwort und gib einen weiterführenden Link für detaillierte Informationen mit. In den allermeisten Fällen werden Benutzer nicht mehr über die Startseite hinaus kommen, wenn der Chatbot der Suchmaschinen nicht bereits die Informationen gegeben hat, die der Benutzer benötigt.
Es ist also sehr gut möglich, dass wir zukünftig sehr große Teile von Websites nur noch für Chatbots schreiben, damit dieser dies Informationen dann in Antworten verwenden kann. Es wird wahrscheinlich sinnvoll sein speziellen, einzigartigen Content den KI’s der Suchmaschinen vorzuenthalten damit man überhaupt noch irgendein Alleinstellungsmerkmal gegenüber den Suchmaschinen hat. Nur solche Alleinstellungsmerkmale sind ein Grund, warum überhaupt noch Besucher auf Websites gehen werden.
Meinen Kunden und allen anderen Betreibern von Websites empfehle ich jetzt schon zu überlegen, welcher Content zukünftig ausschließlich auf der eigenen Seite zu finden sein sollten und welchen Content man den Chatbots zu fressen gibt. Ganz ohne letzteres wird es nämlich auch dunkel auf der Website. Mit diesem Hintergrund versteht man sehr gut, warum ich eigentlich ein Open Source Modell verwenden möchte, bei dem ich allein die Kontrolle über die Daten habe. OpenAI verspricht zwar Privacy beim Fine Tuning:
https://community.openai.com/t/data-privacy-and-gpt3-fine-tuning/290801
… ob ich das glauben soll und wie andere KI-Unternehmen das handhaben, bleibt eine andere Frage. Da für KI Unternehmen Unique Content das neue Gold ist, darf das stark bezweifelt werden. Übrigens zweifle ich auch daran, dass sich wirklich an die robots.txt gehalten wird. Sicher ist hier absolut gar nix.
Haben wir also eine Teil unserer Website für „unseren“ Chatbot freigegeben, müssen wir dem Chatbot diesen Teil anlernen, so dass er in diesem Kontext und damit im Sinn unserer Website, unseres Unternehmens, unserer Einrichtung etc. Fragen beantwortet. Ich halte genau diesen Prozess zukünftig für eine Schlüsselqualifikation von Agenturen, wie meiner. Auch wird sich die Erstellung von Websites, weg von der Erstellung von Designs hin zum reinen Kuratieren, redaktionellem Bearbeiten und Verwalten von Inhalten ändern. Eine halbwegs passable Website wird ein KI sehr bald in wenigen Minuten erstellen können. Die Verwaltung, Platzierung und individuelle Zusammenstellung der Inhalte wird aber weiter in Menschenhand bleiben. Vermutlich. Wer weiß.
4. Anwendung & Beispiele
Ich spiele ja schon seit tagen mit der Stadt-KI herum, weil ich natürlich möchte, dass sie genau die Antworten gibt, die ich möchte, dass sie sie gibt. Leider ist das noch lange nicht perfekt und dieser Prozess wird ein fortlaufender sein.
Beim Probieren ergründe ich natürlich auch, welche Anwendungsmöglichkeiten es gibt und wofür die KI sinnvoll und nützlich eingesetzt werden kann. Hier ist aber noch lange nicht das Optimum erreicht und die Software hinter der Stadt-KI von Arnstadt wird fast täglich aktualisiert, so dass hier noch sehr viele Verbesserung in Zukunft zu erwarten sind. Möglicherweise wird es irgwendwann möglich sein Nachrichten über den Chatbot zu schreiben oder eine Navigation zu starten. Der Schritt zum direkten Eingriff von KI auf die Funktionen von Websites und Apps wird unzweifelhaft kommen bzw. kann das natürlich Microsoft und Google bereits. Bei schon vorhandenen Stadt-KI’s geht Heidelberg große Schritte voraus. Ihre Stadt_KI namens Lumi kann schon einiges mehr und zeigt eine paar Monate in die Zukunft. Hier ist es sehr sicher ein Vorteil den europäischen KI-Vorreiter zu beheimaten.
Wir befinden uns hier gerade ganz am Anfang einer neuen Technologie und Dinge, die auf huggingface.co veröffentlich werden, brauchen eine Weile ehe sie dann tatsächlich auch in Apps wie inArnstadt.de umgesetzt werden können.
Trotzdem, hier ein paar Ideen und Inputs für die Stadt KI, ich werde hier fortlaufend aktualisieren:
- Wo gibt es Kürbisse?
- Wie komme ich vom Markt zum Bahnhof?
- Wo kann ich in der Nähe vom Südbahnhof einkaufen?
- Welche Sehenswürdigkeiten gibt es im Zentrum?
- Wo finde ich Parkplätze am Markt?
- Was weißt du zur Klarnamenpflicht auf inArnstadt.de?
- Was wurde in Arnstadt gesprengt?
- Es ist schön hier
- Wo kann ich Schlutzkrapfen essen?
- Was war mit der Arnstadt App und der AfD?
- Was soll das eigentlich mit inArnstadt.de?
- Wie soll ich bewerten?
- Was hast du zur Kunsthalle?
- Ich bin Wurstliebhaber, wo gehe ich hin?
- Was mache ich, wenn die App langsam läuft?
- Wer ist Ansprechpartner für den Bürgerservice Wipfratal?
5. Conclusio
Die Einführung der Stadt-KI von Arnstadt ist mindestens für mich ein bahnbrechender Schritt, um die Möglichkeiten von Künstlicher Intelligenz für kommunale Anwendungen zu erforschen und das enorme Potenzial für Städte der Zukunft aufzuzeigen. Chatbots mit lokal angepassten Informationen und Services werden sehr wahrscheinlich zu einem fundamentalen Baustein für die Digitalisierung des Alltags in unseren Städten und Gemeinden.
Mit diesem wegweisenden Pilotprojekt positioniert sich inArnstadt.de als eine der modellhaft innovativsten Apps für Städte in Deutschland, was die Integration globaler KI-Technologien und regionaler Bedürfnisse angeht, auch wenn aktuell noch sehr viel Potential für Verbesserung besteht. Die Stadt-App geht mutig neue Wege bei der Digitalisierung, die sich konkret am Nutzen für die Bürger orientieren.
Die Kombination der weitreichenden Möglichkeiten von KI mit den spezifischen Bedürfnissen der Arnstädter Bevölkerung eröffnet großartige Perspektiven für die Zukunft der Stadt. Gemeinsam mit den Bürgern möchte ich die Stadt-KI zu einem Begleiter im Alltag und einem echten Mehrwert für alle Arnstädter entwickeln.
Ich lade alle Bewohner und Gäste der Stadt herzlich ein, die Stadt-KI ausgiebig zu testen und mir wertvolles Feedback für die weitere Optimierung zu geben. Nur mit einer engen Rückkoppelung zwischen KI-Entwicklung und realen Bedürfnissen der Nutzer kann eines Tages der optimale digitale Assistent für Arnstadt entstehen, der das Leben hier noch ein Stück lebenswerter macht.
