Rasante KI-Entwicklung

Seit November bin ich tief beeindruckt von der rasanten Entwicklung der KI-Technologie. Bis vor kurzem schien es, als ob die großen Anbieter wie Google, Microsoft, OpenAI und andere das Rennen bestimmen würden. Man benötigte Hardware im Wert von mindestens 100.000 Euro, um ein Sprachmodell zu trainieren. Dass Moores Gesetz auch in diesem Bereich Anwendung findet, war mir bewusst, aber dass sich die Dinge so schnell ändern würden, hat mich überrascht.

Jetzt können wir schon erste Modelle auf einem gewöhnlichen PC trainieren! Facebook hat eine Version namens LLaMA eingeführt, die ursprünglich nur auf Anfrage erhältlich war. Doch bereits nach wenigen Tagen hat sie sich im Internet verbreitet und wird weiterentwickelt. Interessant ist auch, dass Facebook als einziges Unternehmen Einblicke in seinen Prozess gewährt. Hier ist das dazugehörige Paper, das leicht verständlich und sehr informativ ist: https://lnkd.in/eyGMef48
Ein Team hat das Lama-Sprachmodell übernommen und in Richtung ChatGPT optimiert. Sie nannten das Projekt Alpaca – LLaMA, Alpaca, Sie verstehen schon. Das Problem war, dass LLaMA out-of-the-box nicht gut auf Fragen reagieren konnte, sondern lediglich Sätze vervollständigte. Sie stellten 175 Fragen, die an GPT-3 gesendet wurden, welches daraufhin Zehntausende von neuen Fragen generierte.

Diese Stanford-Forscher haben dann noch einmal 500 US-Dollar investiert, um Cloud-Rechenleistung zu kaufen. Mit den 52.000 Frage-Antwort-Paaren haben sie das bestehende LLaMA-Modell verfeinert. Das Ergebnis war Alpaca, das laut den Stanford-Forschern in seinen Fähigkeiten mit text-davinci-003, einem der besten GPT-Untersprachmodelle von OpenAI, vergleichbar ist. Und das mit nur 7 Milliarden Parametern, im Vergleich zu text-davinci-003's 175 Milliarden. Also haben sie für 600 US-Dollar ein State-of-the-Art KI-Sprachmodell trainiert bzw. geklont – ein Szenario, das vor kurzem noch undenkbar war.

Ich gehe fest davon aus, dass die Büchse der Pandora nun geöffnet ist und sich aus diesem Durcheinander bald eine echte 100% offene und legale Open-Source-Lösung herauskristallisieren wird. So wie Stable Diffusion kurz nach der Veröffentlichung von OpenAI's Bildgenerator Dall-E2 erschien.

Zugegeben, ChatGPT ist immer noch überlegen, aber man darf nicht vergessen, wie viel Geld und Zeit hier investiert wurden. Wenn dieser Trend anhält, könnte Open Source in 6 bis 12 Monaten gleichziehen.

Die Tatsache, dass wir überhaupt schon so weit sind, ist bemerkenswert und zeigt die unglaubliche Geschwindigkeit, mit der sich die KI-Thematik derzeit entwickelt – und zwar jetzt auch außerhalb der etablierten Tech-Unternehmen. Ich glaube, wir sollten uns echt anschnallen, die Beschleunigung einer SpaceX-Rakete ist nichts dagegen.

#ki #ai #tech #art #google #opensource #hardware #startup