Macht ihr eigentlich auch was mit "richtiger KI" bei Ailio?

00:00:00: Hallo Alex.

00:00:02: Hi Tim.

00:00:04: Ja, kein neuer Name, aber eine neue Stimme im Podcast.

00:00:09: Heute sind wir mal hier zusammen.

00:00:13: Magst du dich einmal kurz vorstellen?

00:00:15: Sehr gerne, ja, stimmt. Ich bin das erste Mal hier.

00:00:18: Ich bin Alex.

00:00:20: Ich bin jetzt hier seit 1,5 Jahren bei A-Lum mit dabei.

00:00:23: Offiziell als wunderschöner Senior Data Scientist eingestellt.

00:00:28: Aber inzwischen ist die Data Scientistrolle ja so groß und wie so viel die sie leben.

00:00:33: Also AI-Engineer, Machine Learning-Engineer,

00:00:37: Vibe-Coder, all die tollen Namen, die man heute mit drauf geben kann, würde ich sagen gesetzlich.

00:00:44: Und genau, ich habe mich hier jetzt in Zeit viel mit Chatbots und so weiter beschäftigt.

00:00:51: Und darüber wollen wir heute sprechen.

00:00:53: Ja, genau.

00:00:55: Und die Idee heute dieses Gespräch zu führen, ist uns vor ein paar Wachen gekommen.

00:01:02: Da waren wir auch zusammen auf der Picon.de in Darmstadt.

00:01:07: Und für dich war es auch die erste Picon, richtig?

00:01:12: Wie waren da so deine Eindrücke?

00:01:14: Genau, für mich war es das erste Mal, wo ich dabei war.

00:01:17: Ich habe mich sehr gefreut, auch mitgehen zu können.

00:01:20: Und ich fand es wirklich cool.

00:01:22: Vorher war ich vorher nur auf Konferenzen, die, sage ich mal, ein bisschen heier-level waren.

00:01:27: Von Entscheidern oder Business-Menschen-Sales-Personen.

00:01:32: Und was aus der höheren Perspektive betrachtet.

00:01:36: Deswegen fand ich das sehr, sehr angenehmer, auch mit allen Kollegen, Kolleginnen,

00:01:40: auf dem Floor auch Tech-Gespräche führen zu können.

00:01:45: Das hat schon echt Spaß gemacht auch.

00:01:47: Oder wie siehst du das?

00:01:49: Wie war es für dich?

00:01:50: Also sehe ich ähnlich.

00:01:52: Es ist echt mehr wie Konferenz und weniger wie Messe, würde ich sagen, auf diesem Spektrum.

00:01:57: Und es geht halt wirklich um technische Themen.

00:02:02: Auch um kulturelle Themen, finde ich, in der Tech-Community,

00:02:06: was auch immer stärker wird, was ich auch total wichtig finde,

00:02:10: sich dann an dem Ort da mal auszutauschen über Karrierewege,

00:02:14: über wie agiere ich in so einem Software-Entwicklungsteam und solche Aspekte.

00:02:21: Und ich finde es gut, man kommt immer mit vielen, vielen Ideen im Kopf wieder an Hause

00:02:27: und hat im Grunde viel zu viele Denkanstöße, um da das alles abzuarbeiten.

00:02:35: Wenn ich so in meine Notizbücher gucke, sehe ich auch immer die Listen von Konferenzen,

00:02:40: was ich mir alles nochmal angucken wollte.

00:02:42: Und manches habe ich mir tatsächlich anguckt, um es mal positiv zu formulieren.

00:02:48: Andere Sachen halt nicht.

00:02:51: Thema angucken, was waren da so für dich dieses Jahr die Highlights,

00:02:56: wo du auf jeden Fall sagst, das nehme ich mit so technisch?

00:03:00: Also sie waren sehr unterschiedlich, würde ich sagen.

00:03:04: Also einmal, dass ich auch einfach so eindruckstechnisch habe,

00:03:09: dass ich mich auch festgestellt, quasi mit dem, was wir so arbeiten,

00:03:13: mit unseren Projekten, die wir führen, die führen alles sehr, sehr ähnlich.

00:03:17: Das heißt, es ist schön zu sehen, was gerade in Deutschland

00:03:20: im Machine Learning Data Science Bereich vor sich geht.

00:03:23: Das wird auch vorne mit dabei abmitarbeiten.

00:03:26: Und ansonsten natürlich auch viele, gerade die Talks, die Rack Pipelines, Chatboards, LLMs,

00:03:34: was natürlich sehr, sehr präsent war auf dieser Palkon, die davor gestellt wurden.

00:03:39: War sehr interessant für mich.

00:03:41: Auch vieles gelernt, auch wirklich, wirklich schön zu sehen.

00:03:44: Die setzen das andere um.

00:03:46: Wie gehen die mit den Herausforderungen an, um die einfach da anstehen,

00:03:50: gerade im Konzernkontext.

00:03:53: Und ja, auch schön zu sehen, quasi sich selbst einordnen zu können, finde ich.

00:03:57: Das war auf jeden Fall so eins meiner Highlights.

00:03:59: Aber auch so die Talks, die mal nichts mit dem ganzen Generei und halb Thema zu tun haben.

00:04:06: Also auch leider fand ich es sehr interessant natürlich,

00:04:09: wie du Data Science, weil du es so ins normale Leben gebracht hast,

00:04:13: oder auch klassisches Data Science einfach.

00:04:18: Also hat man leider nicht mehr ganz so viel zu tun,

00:04:20: gerade wenn man, wie ich, so ein bisschen mehr in den Projekten mit den LLMs und Chatboards sitzt.

00:04:25: Deswegen immer wieder schön, so ein bisschen Back to the Roots

00:04:28: und ganz andere Gespräche wieder führen zu können.

00:04:30: War echt toll.

00:04:32: Was war für dich so das Highlight oder vielleicht die Top 3 Highlights bei dir?

00:04:36: Emotional muss ich natürlich sagen, mein eigener Vortrag.

00:04:41: Zum Glück war er ja am ersten Tag

00:04:44: und hat dann erstmal auch viel meiner Kapazität eingenommen.

00:04:49: Ansonsten muss ich das aber ähnlich sagen, wie du gerade die Mischung machst

00:04:54: und ich würde sogar noch einen Schritt weitergehen,

00:04:56: auch so diese Vorträge, die so wirklich Softwareentwicklung sind.

00:05:01: Es wird immer weniger, weil der Segen der KI, die uns die Software schreibt,

00:05:07: aber einen Vortrag, den ich zum Beispiel am ersten Tag gehört habe,

00:05:10: einfach über Exceptions und wie man Exception Handling machen sollte

00:05:16: und ob das überhaupt eine gute Idee ist,

00:05:18: das auch so ein bisschen mit GoTo Anweisung, zum Beispiel in Vortran verglichen.

00:05:23: Das fand ich auch mal wieder gut, sich da Gedanken zu machen.

00:05:28: Aber natürlich auch dann, ja, Cutting Edge Themen,

00:05:34: wie zum Beispiel die Foundation Models, so für tabulare Daten,

00:05:41: total spannend, gerade auch so für uns als Data Scientist,

00:05:46: die uns vielleicht mal helfen, auch klassische Data Science Projekte,

00:05:50: da unseren Werkzeugkasten ein bisschen zu erweitern.

00:05:54: Das waren so meine Highlights und da bin ich mal gespannt,

00:06:00: wenn die Videos oder einige Videos zu den Vorträgen online kommen,

00:06:04: dann kann man da ja noch mal ein bisschen mehr teilen.

00:06:08: Ja, hier im Podcast haben wir ja bis jetzt auch viel

00:06:14: eher über klassische Data Science Themen, Datenplattformthemen gesprochen

00:06:19: und heute wollen wir uns da ein bisschen, wir haben es ja schon anklicken lassen,

00:06:24: mit dem Thema "Hinanführungszeichen richtige KI" auseinandersetzen

00:06:29: und uns mal ein bisschen über die Large Language Models unterhalten

00:06:34: und was wir da bei Ailio für Projekte in unserem Köcher haben.

00:06:39: Willst du uns da mal so ein bisschen einen Überblick geben?

00:06:42: Kann ich gerne mit anfangen, das wir uns dann nachgern ergänzen.

00:06:47: Also genau, wir haben ja das ganze Thema eigene Chatmodelle

00:06:54: oder Chatbots tatsächlich, ich ging ja wirklich mit diesem ganzen ChatGPT-Hype los,

00:07:00: bis über sie vor zwei Jahren kamen dann auch die ersten auf uns zu

00:07:03: und meinten, hey, können wir das nicht auch irgendwie bei uns mit deployen

00:07:07: und wir möchten auch gerne sowas haben, weil mit ChatGPT

00:07:11: hat man diese ganzen Datenschutzkonformen Probleme,

00:07:15: so wie es war das der Vergangenheit zu haben, heute ist das natürlich ein bisschen einfacher,

00:07:19: aber deswegen hat sich da natürlich von uns große Standbein auch heraus kristallisiert,

00:07:25: dass man eben diese Chatbots innerhalb einer geregelten Umgebung

00:07:31: im eigenen Kennen zum Beispiel bereitstellen möchte,

00:07:34: gleichzeitig aber auch natürlich die Cutting-Ed-Schwotterle haben möchte

00:07:37: und da habe ich auf jeden Fall viel Zeit mit verbracht in der letzten Zeit,

00:07:42: das ist natürlich eines unserer großen Projekte,

00:07:46: die wir auch für verschiedene Kunden betreiben aktuell,

00:07:51: aber wir nutzen natürlich auch LLMs auch auf andere Weisen,

00:07:55: oder die Genai zum Beispiel auch für Extraktionen aus Videos

00:08:03: oder eben sowohl du auch in deinem aktuellen Projekt,

00:08:09: dass man noch mal ein bisschen weiter geht an meiner Stelle

00:08:13: und das ist, ja, es ist, sag mal so, die Use-Case ist auch, die wir einbinden,

00:08:20: ich glaube, viele denken wir auch noch gar nicht, und das wird immer weitergehen,

00:08:25: deswegen bin ich auch sehr gespannt von, was man da alles noch machen kann

00:08:30: und dass die Kreativität da, glaube ich, noch lange nicht ausgeschöpft ist,

00:08:34: wie man das auch nutzen kann und wie wir das auch nutzen werden in Zukunft,

00:08:37: gerade mit dem Thema Erkennten und so weiter.

00:08:41: Ja, würde ich auch sagen, super spannend.

00:08:44: Es macht halt so dieses ganze Thema Textwissen unglaublich zugänglicher

00:08:50: für auch Projekte, die jetzt über den klassischen GPT-Interface hinausgehen

00:08:58: und da kommt natürlich auch wieder so mehr in mehr der Software-Entwickler

00:09:05: der Data Scientist hervor, ja, was kann man dann anschließend damit machen?

00:09:09: Und da haben wir jetzt ja auch schon einige sehr spannende Projekte,

00:09:12: wo wir ja CRM-System zugänglicher machen und dass man damit chatten kann

00:09:19: und Fragen stellen kann und auch gute Antworten bekommt.

00:09:22: Und auf jeden Fall eine spannende Entwicklung

00:09:27: und ja, entwickelt das Profil eines Data Scientist,

00:09:32: wie du es in der Vorstellung gesagt hast, nochmal in eine ganz andere Richtung

00:09:38: und es sind ja ein Stück weit auch andere Projekte so vom Feeling

00:09:43: oder wie würdest du das sehen?

00:09:45: Ja, auf jeden Fall.

00:09:48: Also gerade in diesem Bereich ist es sehr, sehr schwierig,

00:09:53: tatsächlich auch ein Projektscope oder quasi Ziele festzulegen zu können,

00:09:58: gerade auch wenn man mit dem ganzen Channel-I-Thema arbeitet,

00:10:03: dann natürlich auch so ein bisschen Erwartungsmanagement an der Stelle zu betreiben.

00:10:08: Denn wie ich es vorhin schon auf meinem Intro gesagt habe,

00:10:12: auch Thema, letztlich WIP-Coding, aber einfach Prompting, quasi,

00:10:18: man gibt einen Text Prompt vor und ja, wenn ich das dreimal abschicke,

00:10:23: kriege ich manchmal drei verschiedene Ergebnisse

00:10:25: und das ist eben für viele Personen, die vorher nicht mit generativer KI gearbeitet haben,

00:10:32: schon auch etwas komplett neues.

00:10:34: Und wenn man eben das so ein LLM zum Beispiel,

00:10:38: einen großen Workflow einbettet,

00:10:41: ist natürlich, wenn ein kleiner Fehler passiert, der propagiert sicher.

00:10:44: Und dadurch müssen wir auch als Softwareentwickler eben an so viele Sachen mehr denken,

00:10:49: dass nicht mehr nur eine einfache FLs ist,

00:10:52: sondern quasi, da tauchen auch ganz viele neue Herausforderungen auf,

00:10:56: die dann auch zum Beispiel wieder einfach zum Beispiel auch in einem Projekt deutlich mehr Zeit benötigen,

00:11:02: als wir es vielleicht vorher abgeschätzt haben.

00:11:05: Ja, man muss viel fehler-toleranter programmieren, habe ich manchmal so das Gefühl.

00:11:13: Fehler erwarten, Unterschiede erwarten.

00:11:17: Man kann dann nicht einfach sagen,

00:11:19: ja, da kommt immer ein Jason zurück, das paarse ich halt so, wie ich es paarse,

00:11:24: sondern da kommen manchmal interessante Sachen zurück von dem LLM, die so ähnlich sind.

00:11:30: Es finde ich auch manchmal ganz lehrreich.

00:11:33: Und einen Aspekt, den du auch angesprochen hast, den ich auch sehr stark merke in den Projekten,

00:11:39: wir sind halt nicht nur Umsetzer quasi für die Projekte,

00:11:45: sondern es geht auch immer darum, diejenigen, die dann mit den Tools arbeiten sollen,

00:11:50: zu Schulen an die Hand zu nehmen, auch viel Hilfe zur Selbsthilfe, wie schreibe ich einen Prompt,

00:11:57: warum ist das jetzt anders, warum funktioniert das gut und was anderes nicht.

00:12:02: Das ist ja manchmal auch gar nicht so intuitiv,

00:12:04: warum ich manche Fragen stellen kann und kriege super Antworten.

00:12:08: Manches funktioniert halt nicht.

00:12:11: Und ich glaube, das ist auch so ein Learning aus den Projekten,

00:12:15: dass man da auch noch proaktiver quasi so diese Lehrer-Mentorrolle ein bisschen einnimmt für das Thema KI.

00:12:27: Und deshalb haben wir da ja auch noch so ein bisschen auf der Ebene,

00:12:32: man könnte es KI Literacy nennen, auch nachgewässert

00:12:37: und auch so ein eigenes kleines Lernprogramm entwickelt.

00:12:42: Wir nennen es das KI-Führerschein, wo man einfach mal zwei Stunden Videomaterial hat,

00:12:51: die man so in kleinen Häppchen vorwerfen kann,

00:12:57: die sich mit dem Thema auseinandersetzen sollen, die rein starten wollen,

00:13:02: um da ein bisschen geführt, so ein paar Informationen zu bekommen.

00:13:06: Nicht zu sehr in die Tiefe zu gehen, das macht ja auch keinen Sinn für so einen Endanwender,

00:13:11: aber so ein Grundgerüst zu haben, um halt arbeiten zu können.

00:13:17: Das ist, glaube ich, auch eine ganz wichtige Komponente, die uns in den Projekten dann auch helfen kann.

00:13:25: Ja, ganz eindeutig.

00:13:27: Also, ich meine, wir können natürlich die technischen Voraussetzungen

00:13:31: und irgendwelche Programme bereitstellen,

00:13:33: wo wir zwei uns easy durch die Gegend klicken können und verstehen, was da passiert.

00:13:38: Aber quasi, das eigentliche Herausforderungen, die auch ich mal wieder spüre in Projekten,

00:13:44: ist eben das auch wirklich in einem Konzern zum Beispiel oder im Mittelstand auszurollen

00:13:49: und das auch wirklich die Nutzer wissen, was sie da eigentlich gerade vor sich haben,

00:13:53: was die Möglichkeiten damit sind.

00:13:55: Also, einfach dieses gesamte Thema Change Management

00:13:59: und auch an manchen Stellen vielleicht auch Ängste zu nehmen, irgendwie etwas falsch machen zu können.

00:14:05: Wir versuchen ja schon, vieles auszuschließen,

00:14:08: dass eigentlich der Endnutzer gar nichts mehr falsch machen kann wirklich.

00:14:12: Also, mit falsch, meine ich jetzt irgendwie Datenschutzverletzungen auslösen, etc.

00:14:16: Aber da hängt da einfach eine große, ja auch, ich sage mal das,

00:14:24: da ist einfach viel auch interner Trieb nötig und auch quasi eine gewisse Art des,

00:14:30: man möchte sich weiterentwickeln und weiter lernen

00:14:33: und das muss man eben auch erstmal gerade in einem Unternehmen,

00:14:37: wo es läuft schon immer so, an manchen Stellen noch ein bisschen auch präsent ist.

00:14:43: Aber ich glaube auf lange Sicht, profitieren da alle davon auf jeden Fall.

00:14:50: Ja, also das ist glaube ich, oder kann sehr wertvoll sein,

00:14:56: die quasi die menschliche Komponente da auch mitzudenken bei den Projekten.

00:15:01: Aber wenn wir jetzt noch mal zurück zur technischen Ebene gehen,

00:15:07: was würdest du denn sagen, warum ist es gut, sein GPT-Plattform selber zu betreiben

00:15:17: in seinem eigenen Azure Account zum Beispiel?

00:15:21: Warum ist es gut? Also es hat natürlich viele Vorteile.

00:15:26: Eines habe ich ja gerade schon betrieben und quasi, also ich glaube der Hauptuse Case,

00:15:30: der Hauptvorteil ist natürlich erstens, man hat alles selbst in der Hand.

00:15:35: Also quasi man kann einstellen, wie man seine Software haben möchte,

00:15:39: man kann sich Podelle quasi über den ganzen Markt zusammensuchen.

00:15:44: Man ist jetzt nicht an einem Betreiber zum Beispiel gebunden.

00:15:48: Und natürlich das Wichtigste ist, wie ich schon sagte auch,

00:15:51: gerade zum Thema Datenschutzkonformität, man kann das meiste,

00:15:56: außer jetzt die LLMs vielleicht selbst an mancher Stelle,

00:15:59: wirklich nativ in seinen Azure Infrastrukturen,

00:16:02: wo den anderen Cloud-Betreibern hosten oder auf On-Pran, wenn man das haben möchte.

00:16:07: Und genau wenn man dann eben mit den LLMs alles richtig macht

00:16:11: und die Endpoints auch im Cloud in Europa setzt zum Beispiel,

00:16:16: hat man dann eben auch das Thema mit dem Datenschutz da konform zu sein,

00:16:21: ganz gut in den Händen.

00:16:23: Und vor allem man ist halt auch deutlich arbeiterbarer.

00:16:27: Also wenn ich jetzt quasi zum Beispiel mir ein ChatGVT+ Account mache,

00:16:32: dann bin ich dann natürlich auch auf die Menschen aus San Francisco angewiesen.

00:16:37: Und jedes Update, dass die spielen an der UI,

00:16:42: ich muss komplett warten, bis die etwas machen,

00:16:45: oder habe ich noch den Vorteil davon.

00:16:48: Aber zum Beispiel, wenn man die Software selbst entwickelt

00:16:51: für so ein Chatbot oder auf Open Source setzt,

00:16:53: dann kann man da natürlich auch mitgestalten

00:16:55: und die eigenen Wünsche mit reinbringen,

00:16:57: wenn man natürlich auch noch in die Branding an mancher Stelle.

00:17:01: Und genau das würde ich sagen, das sind die Hauptvorteile,

00:17:05: die das Ganze so mit sich bringt.

00:17:08: Fällt Ihnen noch weiter, wer ein?

00:17:10: Ja, also ich würde auch sagen,

00:17:15: das sind so die großen Punkte.

00:17:18: Gerade so was ich auch sehr charmant finde,

00:17:22: ist halt diese Flexibilität.

00:17:24: Einerseits wo die Pleucht, die Infrastruktur,

00:17:27: andererseits welche Anbieter nutzig überhaupt,

00:17:33: dass man da, man weiß ja nicht,

00:17:37: wie sich der Markt weiterentwickelt

00:17:40: und sich da quasi so aufzustellen,

00:17:44: dass man möglichst flexibel ist.

00:17:46: Das ist glaube ich bei so einer gewissen Unsicherheit

00:17:48: immer auch so auf der strategischen Ebene eine sehr gute Idee.

00:17:53: Das ist halt auch so eine Sache,

00:17:56: die ich dann nochmal nach vorne stellen würde.

00:18:00: Aber das sind so die großen Punkte.

00:18:07: Und ja, ich glaube die meisten haben schon mal

00:18:13: mit irgendeiner Art von LLM-Tool rumgespielt,

00:18:20: zumindest die, die so hier in dieses Podcast reinigen.

00:18:23: Nehm ich jetzt einfach mal so an.

00:18:25: Aber wenn man dann wirklich so eine Plattform

00:18:30: im Unternehmenskontext ausrollt,

00:18:33: um dann halt auch klassische Workflows und Aufgaben zu unterstützen,

00:18:41: ist das ja nochmal was ganz anderes,

00:18:44: als wenn man privat so ein bisschen chattet,

00:18:46: wo man das nächste Mal in Urlaub hinfahren soll.

00:18:48: Was sind dann also aus deiner Sicht,

00:18:51: dass man schon einige Projekte gesehen,

00:18:53: so die Anwendung, wo du gesagt hast,

00:18:56: "Wau, da haben Nutzer wirklich was cooles zusammengesteckt."

00:19:00: Das hättest du vielleicht doch selber nicht gedacht,

00:19:03: dass das das geht.

00:19:06: Also ich bin immer wieder überrascht quasi.

00:19:16: Also wir stellen ja auch an,

00:19:17: zum Beispiel wenn wir das in Chatport,

00:19:18: so wie in aktuellen Deployen,

00:19:20: auch nur um Source Software zur Verfügung

00:19:23: und innerhalb Diesel Software hat man auch

00:19:26: sehr, sehr viele Möglichkeiten schon,

00:19:28: quasi auch weiterhin selbst zu erweitern.

00:19:31: Und da bin ich auch an mancher Stelle immer wieder überrascht.

00:19:34: Ich so, okay, das wusste ich doch mal nicht mal selbst,

00:19:37: dass das geht.

00:19:39: Und gleichzeitig auch spannend zu sehen,

00:19:43: natürlich im Kontext von Agenten.

00:19:47: Und auch da kriegen wir auch immer wieder was mit.

00:19:49: Also zum Beispiel mit N8N8 ist ja da ganz große Plattform zum Beispiel,

00:19:53: was man damit auch alles machen kann, Workflows,

00:19:57: die auch wirklich so manchen Prozesses fast schon ersetzen können.

00:20:02: Bin ich immer wieder beeindruckt von,

00:20:04: wenn ich gerade, wenn ich zurückdenke,

00:20:06: ich weiß nicht wie es dir geht,

00:20:07: aber wenn ich zurückdenke,

00:20:08: irgendwie so vor vier, fünf Jahren oder so.

00:20:10: Klar, also RPA ist schon seit, weiß ich nicht,

00:20:12: 20 Jahren wahrscheinlich ein Thema.

00:20:14: Aber die Einfachheit auch, wie quasi diese Tools,

00:20:17: auch die Open Source Tools sich inzwischen weiterentwickelt haben,

00:20:20: das finde ich immer wieder spannend,

00:20:22: was einfach auch mit Drag and Drop heute,

00:20:25: wo wir vor fünf Jahren noch ewig händen sitzen müssen,

00:20:28: wirklich ist.

00:20:30: Das begeistert mich tatsächlich auch immer wieder.

00:20:33: Fällt dir gerade konkret eins ein, noch, was dich,

00:20:36: was du im Kopf hast?

00:20:38: Also was ich ganz spannend finde,

00:20:42: weil es einfach eine ganz andere Welt ist.

00:20:45: Und da war ich jetzt auch in letzter Zeit

00:20:47: schon wieder in Gesprächen.

00:20:49: So dieses ganze Thema auch Marketingautomatisierung,

00:20:54: wie man dann da sich Templates bauen kann,

00:20:58: den Promp vorgeben,

00:21:00: das weiß ich nicht, die Materialien alle ähnlich aussehen,

00:21:04: aber Social Media Post können dann rausfallen.

00:21:09: Dann kann man auch den Blog Post mit einem anderen Ton erstellen,

00:21:13: aber der gleichen Botschaft.

00:21:17: Und da geht halt schon wahnsinnig viel,

00:21:20: wenn man das machen möchte, ob das jetzt nur sinnvoll ist.

00:21:23: Das ist eine ganz andere Diskussion,

00:21:25: die wir jetzt hier glaube ich nicht führen müssen.

00:21:28: Aber ich finde es schon spannend,

00:21:30: wie man da Wissen einfließen lassen kann

00:21:34: und sich Gedanken machen kann.

00:21:36: Und das würde ich auch sagen, ist der große Unterschied

00:21:39: so an vielen Stellen mit diesen Tools.

00:21:42: Vieles an Automatisierung

00:21:44: ging halt vor fünf Jahren wahrscheinlich auch schon,

00:21:48: aber hat halt wahnsinnig viel Know-how gefordert.

00:21:53: Und jetzt durch so die LLM Tools

00:21:57: ist es halt alles viel zugänglicher

00:22:01: für auch Endnutzer.

00:22:04: Und das glaube ich die wirkliche Veränderung dann oft auch darstellt.

00:22:08: Gar nicht so sehr, dass das Dinge auf einmal gehen nur,

00:22:12: sondern dass es halt auch fast jeder machen kann.

00:22:15: Es ist ja genauso, wenn man jetzt in diesen ganzen Thema

00:22:18: Vibecoding rein geht, auf einmal kann angeblich jeder Software entwickeln.

00:22:23: Es ist ja dann auch wieder so ein senkender Einstiegshürde.

00:22:27: Und ich glaube, das ist halt auch spannend,

00:22:31: wie sich das entwickelt.

00:22:33: Also wozu das führt.

00:22:35: Und ich glaube, es wird auch den einen oder anderen Ehrweg geben,

00:22:38: den er kunden.

00:22:41: Aber es ist halt schon ein dynamisches Umfeld.

00:22:45: Ja, aber es gehört ja auch zum Lernen irgendwo, sag ich mal.

00:22:48: Also auch, dass man das mal ausprobiert

00:22:50: und dann die eben nicht funktionieren,

00:22:52: vielleicht erst auf dem dritten Versuch.

00:22:54: Und auch zum Beispiel,

00:22:56: gerade schon gesagt hast,

00:22:57: mit den ganzen verschiedenen Modellen,

00:22:59: die ja auch, weiß ich nicht,

00:23:01: alle zwei Tage neue auf unserem Mit in

00:23:03: unseren kleinen Bubble hier aufploppen,

00:23:06: da überhaupt up to date zu bleiben

00:23:08: und quasi gleichzeitig noch ein bisschen zu wissen,

00:23:11: was sind denn die Topmodelle,

00:23:13: was nutze ich vielleicht auch für was,

00:23:15: für welchen Use Case.

00:23:17: Was ich auch sehr spannend finde zum Beispiel,

00:23:20: ist die ganze Bewegung,

00:23:22: einfach der Tokenkosten und der Geschwindigkeit

00:23:24: im Verhältnis zu der Perform,

00:23:26: also der Accuracy, also wie gut die Modelle inzwischen sind.

00:23:29: Die Bewegung ist ja auch, also es ist ja völlig verrückt.

00:23:33: Also heutzutage, zum Beispiel,

00:23:35: die Champions League kosten ja so gut wie gar nichts mehr.

00:23:38: Also das ist ja wirklich sehr, sehr günstig,

00:23:41: wenn man ja auch mal an die allerersten GBT 3.5 Togo Modelle denkt.

00:23:47: Ja, das ist jetzt, wie lange ist das jetzt her?

00:23:50: Zwei? Drei? Ja, drei Jahre, glaube ich.

00:23:53: Ja, aber was sich da getan hat,

00:23:56: ist da auch wirklich fantastisch,

00:23:58: eben auch die Möglichkeiten, die da wirklich ausgewachsen sind.

00:24:02: Ja, begeistert mich immer wieder.

00:24:05: Ja, gerade wenn die Kosten halt so sinken,

00:24:11: dann werden halt auf einmal Dinge, ja,

00:24:15: machbar oder finanzierbar,

00:24:19: wo man vorher gar nicht daran gedacht hat,

00:24:22: auch an Automatisierung oder mit größeren Daten setzen

00:24:26: oder was auch immer, das ändert das Game dann ja nochmal deutlich.

00:24:33: Und es ist auf jeden Fall spannend.

00:24:38: Du hast ja schon so ein bisschen, sag ich mal, historische Aspekte,

00:24:43: wie wir so die Veränderung über die letzten zwei, drei Jahre

00:24:46: gesehen haben, anklingen lassen.

00:24:50: Und du hast ja auch mehr oder weniger mit diesem LLM-Thema bei Aalior angefangen.

00:24:57: Willst du da mal ein bisschen erzählen, wie ging das los?

00:25:00: Ich bin ja auch noch nicht so lang wie du da.

00:25:03: Ich habe das auch nur am Rande manchmal durchgespräche,

00:25:06: also erahnen können, wie da die Reise war.

00:25:09: Willst du uns da mal ein bisschen mitnehmen?

00:25:11: Ja, gerne.

00:25:13: Also es ist auch, wie gesagt, immer wieder spannend, auch daran zu denken,

00:25:17: Das ganze erst vor...

00:25:18: Ich glaube, so im Januar 24 ist das für uns hier losgegangen mit dem ersten Projekt in der Richtung.

00:25:24: Da war ich gerade einen Monat hier.

00:25:27: Und genau da habe ich mit Janis da gemeinsam quasi von seinen ersten Kunden den internen Chatboard bearbeiten sollen.

00:25:34: Da habe ich jetzt ein paar mal angesprochen.

00:25:37: Und genau, wir haben das da von Grund auf selbst gemacht.

00:25:40: Also da gab es eben auch noch jetzt.

00:25:42: Heute kann man für das einfachste Frontend, geht man auf GitHub,

00:25:46: kriegt direkt irgendwie 10 gute Vorgeschlagen,

00:25:50: vielleicht sogar mit Backend, auch Streamlit zum Beispiel, da gab es diese Chatinterface-Komponenten, die bei Streamlit noch gar nicht.

00:25:58: Also quasi wir haben es dann deswegen auch wirklich rangegangen und haben das selbst implementiert.

00:26:04: Und gerade so Backend Frontend, im Chat-Kontext, wie gesagt damals noch mit GBT 3.5 Turbo,

00:26:12: oder 3.5 glaube ich war das erste,

00:26:15: und da hat man aber auch super viel gelernt.

00:26:19: Also es war schon echt spannend, da mit Janis gemeinsam das auch groß zu ziehen und auch all die Schwierigkeiten kennenzulernen,

00:26:28: die auch so ein Chat mit einer KI mit sich bringen,

00:26:34: oder genau so eine Chat-Applikation zu entwickeln.

00:26:38: Da gab es einfach wirklich viele Momente, die hätte ich auch als Softwareentwickler vorher nie gedacht.

00:26:44: Also ein zum Beispiel kann ich gerne mal lernen, was mir auch immer präsent ist,

00:26:49: ist das Thema Streaming, also quasi Textstreaming.

00:26:53: Das einzubauen, das hat echt länger gedauert als ich dachte, als ich es erwartet hätte.

00:26:59: Und Grund dafür ist einfach, also erstens, ich hatte kaum Frontend-Erfahrungen,

00:27:05: das ist natürlich, hilft nicht besonders.

00:27:07: Da waren die Code-Modelle auch wirklich so super gut, wie sie heute sind,

00:27:11: da gab es noch keinen Code 3.5, 3.7, sondern da konnte man manchmal schon Chat-GPT fragen,

00:27:17: aber das war halt nur so semi, also da gab es noch Google und Stack Overflow,

00:27:22: also wie sieht auch Entwicklung in den letzten 1/2 Jahren verändert hat.

00:27:27: Und genau, also beim Textstreaming zum Beispiel, quasi musste ich vom Backend und zum Frontend

00:27:33: einfach token-to-token die Informationen weitergeben,

00:27:36: oder kannst du so Server-Seite-Events zum Beispiel nutzen als Übertragungsprotokoll.

00:27:41: Und genau dann quasi sind die die aber so visuell irgendwie ins Gesicht gesprungen, zum Beispiel.

00:27:48: Also das sah nicht angenehm aus, wie sich das so aufgebaut hat,

00:27:51: weil manchmal war es ein bisschen schneller, manchmal war es ein bisschen langsamer.

00:27:54: Und dann dachte ich mir so, Herr, wie schafft Chat-GPT hier es denn,

00:27:58: dass das so richtig so ganz smooth, so richtig reinerollt, auch visuell angenehm daran,

00:28:03: was man ja auch denkt.

00:28:05: Und dann habe ich das eben auch irgendwann selbst implementiert, zum Beispiel,

00:28:08: dass du die Tokens im Frontend erstmal bafferst und dann so quasi Zeichen für Zeichen

00:28:14: mit irgendwie, weiß ich nicht, 5 Millisekunden Warten anzeigen lässt.

00:28:18: Und dann hast du so ein ganz smoothen Textflow.

00:28:21: Und das Coole ist natürlich auch, du kannst dann natürlich nach einer Zeit aus sagen,

00:28:25: ich gehe jetzt von 5 Millisekunden Warten auf 2 runter und dann quasi beschleunigst du dein Modell.

00:28:32: Also, ne, da war der Text sehr schneller aufgebaut.

00:28:35: Das, also allein solche Learnings oder auch genau Web-Worker,

00:28:41: aber will es auch nicht zu detailliert werden, also dass man zum Beispiel den Chat wechseln kann

00:28:45: und es trotzdem weiter floaten.

00:28:47: Wie gesagt, das ist ein ganz anderes Protokoll, mit dem hatte ich vorher auch noch nie gearbeitet.

00:28:51: Das ist auf jeden Fall einster Präsentisten, Geschichten, die mir da im Kopf bleiben.

00:28:57: Aber ansonsten hat sich da ja wirklich viel getan inzwischen, wir haben ja den Word weiterentwickelt.

00:29:03: Aber wenn wir halt auch ganz ehrlich sind, also das haben wir quasi Janis und ich gemeinsam gemacht.

00:29:09: Irgendwann war Janis noch vor einem anderen Projekt mehr mit drauf.

00:29:13: Und das heißt, ich war quasi mehr oder weniger alleine, um diesen Word weiterzuentwickeln,

00:29:18: während bei ChatGVT natürlich ein ganzes Team von Entwicklern sitzt und neue Features baut

00:29:25: und dann kam natürlich auch immer wieder die Anfragen, hey Alex, können wir nicht auch noch dieses Feature haben, dieses Feature haben.

00:29:32: Manchmal ist es so, ja, aber es dauert halt.

00:29:35: Also ich erkoppt man eben gar nicht hinterher, weil einfach so viele Personen Interesse daran hatten,

00:29:40: was weiterzuentwickeln und es ja auch super spannend war.

00:29:43: Und ich glaube, man kam ja dann auch zu dem Punkt, wo wir jetzt auch heute stehen,

00:29:48: dass wir sagen und uns auch eingestehen, okay, mit dieser eigenen Entwicklenden,

00:29:52: ChatKomponente kommen wir einfach nicht mehr ganz mit.

00:29:56: Da ist einfach diese Welle von Weiterentwicklung viel zu schnell.

00:30:00: Und wir deswegen ja auch heute auf die Open Source Community und Open Source Komponenten setzen,

00:30:08: um den Chat einzusetzen.

00:30:10: Denn als Community, gerade als Open Source, kann man halt eben deutlich mehr und schneller und sicherer weiterentwickeln.

00:30:19: Gerade in diesen super schnell bewegenden Spektrum von Generei und was man alles machen kann.

00:30:27: Und genau, deswegen ist mir heute sehr stark dahin zu übergegangen.

00:30:32: Aber auch quasi unsere eigene Sockenbeckungen laufen auch trotzdem noch bei manchen Kunden weiter.

00:30:37: Also das läuft stetig und macht einen auch immer noch mal ein bisschen stolzer, wenn man so von Grund auf uns gut selbst gemacht hat.

00:30:46: Und man weiß quasi, was passiert an welcher Stelle, weil man das eben selbst geschrieben hat.

00:30:53: Aber dass es eben da haben wir jetzt ja heute hin entwickelt und mit Erfolg würde ich sagen.

00:31:00: Ja, hört sich auf jeden Fall nach mal sehr lehrreichen Erfahrungen an, so die Story.

00:31:07: Und ich glaube auch, das ist ja auf gar keinen Fall vergebene Arbeit gewesen.

00:31:15: Da haben wir einerseits, hast du dann viel gelernt, viel mitgenommen und andererseits ja erstmal eine erste Lügergelösung gehabt für Kunden,

00:31:28: die glaube ich auch stabil ist.

00:31:30: Aber ich glaube auch irgendwann standen wir dann auch bei Elio vor der Entscheidung ganz oder gar nicht.

00:31:36: Entweder hätte man wirklich da nochmal mehr drauf gehen müssen und eigene Anwendungen entwickeln,

00:31:42: das als Produkt weiter entwickeln, oder man schließt sich halt der Community an und geht mehr den Open Source Weg,

00:31:53: der ja auch in verschiedenen Bereichen finde ich, was so dieses ganze LLM-Thema angeht,

00:31:59: absolut an Fahrt gewinnt, wo ich jetzt auch sagen, von der gesellschaftlich politischen Seite finde ich das sehr gut.

00:32:07: Dass da auch die Community stärker wird, das finde ich auch so ein Gefühl auf der Picon, was ich da so mitgenommen habe,

00:32:18: dass da halt wahnsinnig viel passiert.

00:32:21: Und ja, das ist jetzt mehr oder weniger unser Stand, dass wir da versuchen, die Open Source Lösung zu hebeln

00:32:34: und dann halt punktuell an Sachen dann selber entwickeln bzw. orchestrieren, nenn ich es mal,

00:32:47: was glaube ich dann auch schon eine erheblichen Svid-Up in den Projekten bringt.

00:32:55: Also in meinem ersten Berührungspunkt mit dem ganzen Thema, da war es ja noch nicht so 100%ig sprunggreif,

00:33:03: dass wir komplett auf Open Web UI wechseln und es waren immer noch so beide Optionen im Kopf

00:33:10: und alleine hör man dann mal so ein Projektscoped und guckt ja, wie lange dauert das denn, wenn ich das jetzt als selber entwickeln muss

00:33:17: und dann gerade du und Janis haben dann umgelegt, ja und daran muss man decken, und daran muss man decken, und ich dachte mir so, oh wow wow,

00:33:24: also das sind nicht 20 Tage, das sind eher 200 Tage, was das dann dauert.

00:33:30: Und ich war dann sehr erleichtert in der Umsetzung, dass dann Dinge mit zum Beispiel Open Web UI als Lösung viel schneller ging

00:33:41: und einfach so da waren, das hat mir dann auch den Einstieg in die Thematik sehr erleichtert

00:33:49: und das ist glaube ich auch eine Sache, die man da mitdenken muss, wenn man sich auf so ein Texteck festlegt,

00:33:59: und fand ich dann auch interessant da mal reinzukommen in das Thema.

00:34:06: Ja, wollen wir nochmal so ein bisschen über die einzelnen Komponenten drüber gehen, die wir ja mittlerweile so verwenden

00:34:17: und warum man das braucht, wo das sinnvoll ist in dieser ganzen Thematik.

00:34:24: Ich würde auch mal den Anfang machen. Ich habe ja den Namen schon mal fallen gelassen, Open Web UI als Lösung für das Frontend,

00:34:39: für den Chat, kann ich jedem mal empfehlen, der da noch keine Erfahrung gehabt hat, sich das mal anzuschauen.

00:34:49: Wenn man so ein bisschen technisches Know-how hat, ist man da auch sehr schnell am Start, das einfach mal lokal auf seinem eigenen Rechner auszuführen

00:34:58: und dann kann man da testen und sich die Oberfläche angucken.

00:35:03: Es ähnelt natürlich sehr auch den Plattformprodukten, aber ich finde, es hat schon so ein bisschen in dem von dem UI-Aspekt zu seinen eigenen Flavor,

00:35:14: ist natürlich deutlich mehr konfigurierbar, so auch im Hintergrund, was glaube ich auch eine große Stärke ist und halt auch die Erweiterbarkeit,

00:35:27: also dass man dann halt auch selbstgeschriebenen Code da einfließen lassen kann, wenn man jetzt Probleme lösen kann, die nicht out of the box schon vorgedacht sind von der Plattform.

00:35:40: Da ist schon wahnsinnig viel vorhanden, aber gerade wenn man dann so einen technischen Background hat, finde ich, ist das noch immer so ein erleichternder Punkt,

00:35:52: so im Hinterkopf, wenn man immer weiß, ja, so Not kann ich es ja selber programmieren.

00:35:56: Ich weiß ja, wie das geht, auch wenn es oft, wenn man sich mal ein bisschen Gedanken macht, gar nicht dazu kommt.

00:36:04: Aber man kann vielleicht ein bisschen ruhiger schlafen.

00:36:08: Ja, das würde ich so sagen, ist natürlich die, gerade auch in den Projekten für die Kunden, oft die prominenteste Komponente, weil man das halt wirklich sieht.

00:36:19: Aber zu so einer fertigen Lösung gehört ja wohl auch noch ein bisschen mehr, oder?

00:36:25: Ja, genau. Also, also quasi Open Web UI ist das so ein bisschen das Herzstück, wie du es gerade schon gesagt hast,

00:36:33: mit Frontend und Backend und wie die Nachrichten verpasst werden und Filehandling und so weiter.

00:36:41: Aber das ist ja nichts, also kann theoretisch nichts ohne irgendwie API-Schnittstellen und dann kommen die ganzen interessanten Komponenten,

00:36:49: die man da eben noch hinzufügen kann, sollte, an einer Stelle vielleicht auch muss.

00:36:54: Eine weitere zum Beispiel, die wir auch einsetzen an der Stelle ist LightLLM.

00:37:01: Das kann man eben auch als Proxy Server deployen und ist eben, das bietet eine einheitliche Schnittstelle zu ungefähr allen Anbietern, die es da draußen gibt.

00:37:14: Und quasi in der Open UI-Norm, Open UI hat gestartet das ganze, deswegen haben die so ein bisschen den Standart etabliert.

00:37:23: Und das heißt, ob jetzt jemand, ein Kunde zum Beispiel oder ich persönlich jetzt mit Google Gemini, Open AI, Cloud oder vielleicht sogar ein öffentlicher Modell von Hackingface

00:37:36: interagieren möchte, das ist mir eben darüber komplett freigestellt.

00:37:42: Und ich kann auch über ein eigenes Dashboard zum Beispiel das auch einfach mit, ja, einfach über das User-Interface neue Modelle hinzufügen,

00:37:50: über den App die Kiste hinterlegen und das ploppt zum Beispiel in Open API automatisch auf dann und dann auch kann ich auch das ein bisschen entzerren.

00:37:58: Und das finde ich, die beiden gehen wirklich gut Hand in Hand, weil du gerade auch das lokale noch angesprochen hast, was auch wirklich jeder mal einmal ausbringen sollte, glaube ich,

00:38:10: ist dann zum Beispiel auch Ollama, als wenn man zum Beispiel jetzt lokal auf seinem Rechner Hackingface Modelle laufen lassen möchte,

00:38:19: dann braucht man vielleicht Light-Elelem nicht unbedingt, wie gesagt, das ist in meinen Augen sehr gut dafür geeignet, wenn man gerade für den großen Providern was zusammenklicken möchte.

00:38:28: Weil nur für lokale würde auch ein Ollama-Ollama-Server völlig ausreichen, das ist ja auch super gut, Modelle bereitstellen kann.

00:38:37: Bist du weiter machen, was mir noch so?

00:38:41: Ja, genau, ich glaube quasi den CoreStack haben wir schon ganz gut umrissen, gerade dass man halt die drei Komponenten hat, Front-End-Open-Weld-UI, dann das Light-Elelem dazwischen und dann seine verschiedenen Provider, die man anbindet und hier auch wieder dieses strategische Thema Flexibilität,

00:39:08: was man ja durch so eine Infrastruktur dann halt auch gewährleistet hat, dass man Provider tauschen kann, Dinge einfach ändern, seine Infrastruktur.

00:39:19: Und ein großes Thema ist ja auch, wenn wir so klassischen Projekt-Kickoff haben mit Kunden, dann sagen die immer, ja, wir hier im Unternehmen, wir haben ja so viel Wissen irgendwo gesammelt.

00:39:33: Und das wollen wir natürlich verfügbar machen, dass es immer ein Riesenthema ist und alle sind zu Recht natürlich total stolz auf das ganze Domänenwissen, was sie gesammelt haben und was halt auch einfach vorhanden ist.

00:39:50: Und wahrscheinlich wird in den Köpfen der Witarbeitenden noch viel mehr Wissen eigentlich da sein, aber es ist ja schon auch viel dann digital festgehalten.

00:40:00: Zum Glück in den meisten Unternehmen, sag ich mal.

00:40:03: Und das will man natürlich auch zugänglich machen und das will man natürlich nicht irgendwo hochladen, wo das allgemein zugänglich ist, sondern halt nur für die Auswertung der internen Fragen, sag ich jetzt mal, der Belegschaft zur Verfügung stellen.

00:40:28: Und das ist natürlich auch ein Riesenthema.

00:40:34: Da kommen wir dann zu dem, ja, zum Beispiel zum Thema Rack, wo man dann halt auch in Open Web UI zum Beispiel selber eine Wissensbasis, Wissensdatenbanken aufbauen kann,

00:40:52: mit denen man dann die Fragen, die man so stellt, anreichern kann, um quasi Antworten gezielt auf mit dem Unternehmenshintergrund oder was auch immer Hintergrund stellen kann, was auch eine schöne Alternative ist zu den allgemeinen Modellen.

00:41:18: Auf jeden Fall.

00:41:21: Dann auch so ein bisschen die Magie ausmacht.

00:41:24: Was ich sehr mitgenommen habe, ist da auch wieder so dieser didaktische Ansatz.

00:41:29: Man muss natürlich auch da wieder hingehen und sagen und dann Verständnis dafür entwickeln, welche Fragen kann ich stellen, welche kann ich nicht stellen, was kann ich auch von so einem Racksystem erwarten.

00:41:46: Aber technisch gibt es glaube ich dem Ganzen nochmal eine neue Dimension oder was ist dein Eindruck zu dem Thema?

00:41:57: Ja, auf jeden Fall.

00:41:59: Also ich meine, das ist natürlich auch eine der weiteren Komponenten, warum Kunden auch auf uns zukommen.

00:42:03: Mir ist nicht einfach nur um viele zu chatten, sondern quasi das ganze Thema Dokumenten passiert, die Antworten auch zu erhalten, weil eben auch viele, ganz viele Teilen silos irgendwo haben.

00:42:15: Die wissen, wie du es gerade schon hervorgerufen hast.

00:42:18: Und ja, also das hat sich halt auch, also wenn ich jetzt an mein letztes Jahr zurück denke, hat sich da auch schon super viel getan.

00:42:25: Gerade ich bin sehr dankbar, dass Open Web UI auch da weitere Sprünge macht.

00:42:30: Es ist leider an der Stelle immer ein bisschen hinterher hinkend, nenne ich es mal, weil es sehr, sehr, sehr viele Komponenten gibt an so einem Chat, die man gar nicht bedenken kann.

00:42:38: Oder wenn man für alle Use Cases eine Lösung bereitstellen möchte.

00:42:44: Und dadurch ist es natürlich jetzt immer einfacher, es benötigt aber natürlich auch weiterhin viel Konfiguration, externe Anbieter zum Beispiel, um Dokumente auszulesen.

00:42:57: Oder für so was wie Rewranking nochmal an externe Anbieter, die muss man auch irgendwo bereitstellen.

00:43:04: Das ist eben nicht immer einfach getan mit so, ich habe hier Open Web UI, sondern man kann ja sehr viel konfigurieren zum Beispiel auch darin.

00:43:12: Auch nativ. Aber das muss man auch erstmal alles natürlich auf die eigenen Dateien feintunen und die Dateien erreichen.

00:43:20: Ja, das sind aber auch dann schon wirklich die häufigsten Herausforderungen oder letztlich die längste Zeit, mit der wir uns, denke ich, auch so im Projekt beschäftigen, quasi wirklich wie komme ich,

00:43:30: mit den richtigen Permissions auf die richtigen Files, haltet die aktuell so was?

00:43:36: Oder wie siehst du es?

00:43:39: Ja, auf jeden Fall, was ich auch immer so als Herausforderung oder als Learning sehe, was jetzt uns als Data Scientist noch nicht überraschen sollte.

00:43:50: Ja, Datenqualität ist auch entscheidend und die Qualität der Dokumente ist auch entscheidend, wobei ich auch manchmal wahnsinnig überrascht bin, was so ein modernes LLM auch aus schlechten Texten rausholen kann.

00:44:06: Also das ist manchmal schon auch beeindruckend, nichtsdestotrotz hat es, glaube ich, gerade in dem Kontext nochmal umso mehr Wert,

00:44:17: seinen internen Dokumentationen auf einem hohen Qualitätsstandard zu halten.

00:44:24: Das würde ich sagen.

00:44:26: Und je nachdem, was man für Daten hat, kann man sich natürlich, gerade wenn man an einer hohen Antwortqualität interessiert ist, Gedanken machen,

00:44:38: durchsuche ich die jetzt mit einem Break System, kann ich die anders durchsuchen.

00:44:43: Manchmal gibt es ja auch ganz andere Methoden, gerade wenn man zum Beispiel tabellarische Daten hat, dass man halt sagt, ja, ich kann ja an der Frage, die ich jetzt hier erstelle, zum Beispiel ein Zeitraum erkennen und eine Tabelle auf einen Zeitraum zu filtern,

00:45:01: das mache ich jetzt einfacher mit vier Zeilen Python Code als mit einem Break System.

00:45:09: Wenn die Anfragen immer so aussehen, kann man natürlich auch in die Richtung denken.

00:45:14: Und das macht es, glaube ich, auch spannend, quasi diese Anführungszeichen modernen Komponenten mit klassischen Lösungen zu verbinden,

00:45:25: gerade da, wo es sich lohnt.

00:45:27: Also muss das Projekt natürlich auch hergeben.

00:45:29: Das macht man nicht, weil man mal irgendwie zwei Fragen stellen will.

00:45:33: Das würde ich da auch so ganz klar sagen.

00:45:37: Ja, auf jeden Fall.

00:45:39: Also ich finde auch, das ist der großen Punkte, die eben auch so diese heutigen Chatbots einfach mit sich bringen.

00:45:46: Ich habe irgendwie gerade ein Problem, das taucht vielleicht gerade nur einmal auf.

00:45:51: Und ich habe jetzt hier so diese Wunderwaffe, die mir eventuell gleich eine Lösung dafür ausbringt.

00:45:56: In vielen Fällen vorher hat man dann eben dafür, weiß ich nicht,

00:46:00: wir hätten uns vielleicht ein Python oder ein Bash Script geschrieben oder das irgendwie anders gelöst.

00:46:05: Aber heute hast du hier diesen Zero Shot Wunder fast schon,

00:46:10: wo du eben nicht jedes einzelne Problem, jeden einzelnen Use Case einzeln dafür programmieren musst,

00:46:15: sondern du hast diese Möglichkeit.

00:46:17: In vielen Fällen, das funktioniert auch nicht immer,

00:46:19: man wird es auch wieder halseniert oder einfach schlecht beantwortet.

00:46:23: Und dann ist das eine sehr, sehr problemlöse Maschine,

00:46:27: die einem dann manchmal auch schon ein bisschen Arbeit abnehmen kann.

00:46:30: Auf jeden Fall.

00:46:32: Ja, ich glaube, das ist ja ein ganz schönes Fazit auch so zu der technischen Infrastruktur.

00:46:42: Wir können ja nochmal so einen kleinen Moment zurückblicken.

00:46:47: In unserem Gespräch, wir haben sowohl, sag ich mal, die weicheren Themen in diesem LLM-Bereich

00:46:56: mit auch technischen Hins und Geschichten so ein bisschen verbunden in unserem Gespräch.

00:47:06: Ich glaube, wir haben auch noch die eine oder andere Türseite lassen, in die wir hätten reingehen können.

00:47:14: Also, wenn ihr da beim Zuhören Feedback oder Fragen habt, immer her damit,

00:47:22: dann sehe ich da auf jeden Fall auch noch Potenzial für eine Fortsetzung.

00:47:30: Ja, was wäre dein Fazit so dazu?

00:47:37: Nein, ich glaube auch, wir konnten einiges ein bisschen anschneiden.

00:47:42: Wir könnten uns auch noch drei Stunden darüber unterhalten,

00:47:45: weil es einfach auch gibt es das Thema, vielleicht, wie es auch schon rauskam, so bereit ist

00:47:50: und gerade auch auf der technischen Seite sehr, sehr viele Komponenten mit abbildet und wie man das angehen kann.

00:47:58: Aber ja, ich glaube, wir haben so den Grundsatz gecappelt und wie du schon meintest,

00:48:04: also, wenn jemand Feedback oder Fragen hat zu einzelnen Komponenten,

00:48:09: das ist mir da sehr offen für, und ich bin sehr interessiert, was da die Hörer*innen auf dem Herzen liegt.

00:48:17: Ja, und ich hoffe gerade, dass wir auch so ein bisschen den Enthusiasmus für das Thema rübergebracht haben

00:48:28: und ich glaube, da ist jetzt auch in Unternehmen, gerade jetzt auch in Unternehmen,

00:48:34: wie jetzt vielleicht von dem, sag ich mal, sehr technischen Bereich ein bisschen weiter weg sind,

00:48:42: das Allerwichtigste, man sollte sich damit auseinandersetzen.

00:48:48: Ich glaube, da auch so eine gewisse Portion, ja, Enthusiasmus schadet nicht,

00:48:56: da einfach mal reinzustarten, sich Dinge anzugucken, Dinge auszuprobieren.

00:49:01: Der Teufel liegt ja oft auch in der Anwendung auf die spezifischen Probleme, die man selber hat.

00:49:07: Ja, und da lernt man auch immer noch eigene Dinge und ich glaube, da hilft ein allgemeines blablarr oft gar nicht so weiter.

00:49:16: Es geht um selber ausprobieren.

00:49:18: Das versuche ich auch immer, jedem mitzubringen, jedem mitzugeben.

00:49:25: Und dafür ist, glaube ich, gerade so im Unternehmenskontext auch die Kultur total wichtig,

00:49:32: Freiräume zu schaffen, Leute zu ermutigen, Dinge auszuprobieren und halt auch zu wissen, es ist neu, es ist für alle neu,

00:49:43: es entwickelt sich auch für uns alles wahnsinnig schnell weiter.

00:49:46: Ja, also man kann nicht alles wissen, das geht hier schon prinzipiell, glaube ich, gar nicht und einfach Dinge auszuprobieren.

00:49:55: Das würde ich so als allerwichtigstes Fazit zu dem Thema ziehen.

00:50:00: Ja, hätte ich echt nicht schöner zusammenfassen können.

00:50:03: Das ist wirklich, glaube ich, ganz mühscht und fällt alles.

00:50:06: Du kannst noch so eine schöne, tolle und ja, capable technische Lösung haben.

00:50:12: Wenn einfach die Einstellung drumherum nicht stimmt, dann bringt dir auch das Beste der Tunis.

00:50:17: Ja, super. Ich glaube, da machen wir jetzt einen Punkt.

00:50:22: War ein schönes Gespräch, ein schöner erster Auftritt hier im Podcast.

00:50:28: Und dann würde ich sagen, bis zum nächsten Mal.

00:50:32: Ja, danke schön auch noch mal. Bis zum nächsten Mal.