Warum LLMs vielleicht (noch) nicht die Welt retten können

Große Sprachmodelle (Large Language Models, LLMs) haben die Welt im Sturm erobert, nachdem OpenAI seine generative Pretraining Transformer (GPT)-Engine auf den Markt gebracht und im November 2022 ChatGPT vorgestellt hatte. In nur zwei Monaten erreichte ChatGPT den bedeutenden Meilenstein von 100 Millionen wöchentlich aktiven Nutzern und erregte die Aufmerksamkeit von Geschäfts- und Technologieführern aus allen Branchen.

Während eine wachsende Zahl von Nutzern LLMs in ihren Betrieb integrieren möchte, erfordert die Technologie in ihrer jetzigen Form noch erhebliche Forschungs- und Entwicklungsarbeit, um eine optimale Leistung zu erzielen. Eine kürzlich durchgeführte Umfrage unter 150 Führungskräften aus 29 Ländern ergab, dass 58 % der Unternehmen mit LLMs experimentieren, und diese Zahl dürfte noch weiter steigen - was die Notwendigkeit eines beschleunigten Entwicklungsparadigmas unterstreicht.

In kurzer Zeit haben LLMs heute eine breite Anwendung in allen Segmenten gefunden - von der Automatisierung des Kundendienstes bis zur Testautomatisierung und -validierung. Die zugrundeliegenden Systeme, einschließlich der Verarbeitung natürlicher Sprache (NLP), stoßen jedoch nach wie vor an eine Reihe von Grenzen. Wir loten hier die Grenzen aus und versuchen zu ermitteln, was die Zukunft für uns bereithält.

Obwohl LLMs unbestreitbar die Phantasie von Unternehmen und Nutzern auf der ganzen Welt beflügelt haben, sind sie nicht ohne einige kritische Einschränkungen. Dazu gehören:

In die Daten eingebettete Verzerrungen und Vorurteile

LLMs wurden entwickelt, um eine Sprache zu schaffen, die sich für Menschen natürlich anfühlt, aber nicht unbedingt, um genaue Informationen zu liefern. Dies kann zu Verzerrungen und falschen Ergebnissen führen, wenn das Modell auf verzerrten Daten trainiert wird, was zu einer Tendenz zu "Halluzinationen" führt, d. h. zu überzeugenden, aber sachlich falschen Ergebnissen.

Unternehmen müssen daher sicherstellen, dass ihre Modelle auf unvoreingenommenen Daten trainiert werden, und die LLM-Vorhersagen anhand der tatsächlichen Unternehmensdaten überprüfen.

Ein Beispiel dafür ist der KI-Chatbot Bard von Google, der in seinen Antworten fälschlicherweise nicht existierende Entdeckungen des James-Webb-Weltraumteleskops erwähnte. Dieser Fehler wirkte sich erheblich auf den Aktienwert von Google aus und verursachte einen Verlust von 100 Milliarden Dollar, nachdem er in einer Live-Demonstration hervorgehoben wurde. In einem anderen Fall wurde ChatGPT in einem Rechtsfall verwendet, um rechtliche Präzedenzfälle zu zitieren, die nicht existierten, was die Risiken aufzeigt, die entstehen, wenn man sich auf LLM-generierte Informationen ohne angemessene Überprüfung verlässt.

Datensicherheit und Datenschutz

LLMs lernen aus riesigen Datenmengen, die private oder vertrauliche Informationen wie persönliche Details, Geschäftsgeheimnisse oder Angaben zum geistigen Eigentum enthalten können. Folglich könnten diese Modelle solche Informationen während der Texterstellung oder -verarbeitung versehentlich preisgeben oder preisgeben. So kam es beispielsweise bei einem bekannten südkoreanischen Elektronikunternehmen zu Datenlecks, als ein Ingenieur ChatGPT nutzte, um Fehler im Chipcode zu korrigieren. In einem anderen Fall kopierte ein anderer Mitarbeiter den Code zur Fehlererkennung in ChatGPT.

Diese Fälle verdeutlichen das Risiko: Wenn sensible Informationen an ein öffentliches LLM weitergegeben werden, könnten sie in dessen Trainingsdaten aufgenommen werden und mit bestimmten Aufforderungen abrufbar sein. Sicherheitsexperten warnen vor dieser Gefahr und raten, die mit LLMs geteilten Informationen sorgfältig zu prüfen. In Bezug auf den Schutz der Daten stellt die Bereitstellung von Llamma vor Ort eine sicherere Option dar als die Verwendung von GPT auf dem Cloud-Service von OpenAI.

Prompt-Injektionen

Prompt Injection ist ein Cybersecurity-Problem, bei dem Hacker Eingaben strategisch manipulieren, um die Antworten oder Aktionen von LLMs zu beeinflussen. So können Cyberkriminelle, die Anfragen in Kundendienst-Chatbots subtil verändern, normal aussehende Fragen eingeben, aber Befehle einbetten, die Chatbots dazu bringen, sensible Benutzerdaten preiszugeben. Dies wird als direkte Prompt-Injektion bezeichnet, bei der der Angreifer die Prompts des Modells direkt ändert, um auf ansonsten nicht autorisierte Daten zuzugreifen.

Bei der indirekten Prompt-Injektion hingegen könnte der Hacker bösartigen Code in ein Dokument einfügen. Wenn ein LLM dieses Dokument verarbeitet, vielleicht um seinen Inhalt zusammenzufassen, könnte der versteckte Code das LLM dazu verleiten, falsche oder schädliche Informationen zu generieren.

Die Risiken bei Prompt Injection reichen von unbefugten Datenlecks bis hin zur Manipulation automatischer Entscheidungen - was deutlich macht, wie wichtig es ist, LLMs gegen solche Schwachstellen zu schützen.

Kosten für Entwicklung und Schulung

Während öffentliche LLMs mehrere Nachteile haben, bringt die Einrichtung eines selbst gehosteten LLMs eigene Herausforderungen mit sich, vor allem finanzieller Natur. Die Entwicklung und Schulung von LLMs wie GPT-3, die OpenAI über 4,6 Millionen Dollar gekostet haben, erfordern erhebliche Daten- und Rechenleistung, was sie zu einer teuren Investition für jedes Unternehmen macht.

Darüber hinaus erfordert die Bereitstellung und Wartung eines selbst gehosteten LLM mehr als nur die anfängliche Investition in spezialisierte Hard- und Software, die sich über einen Zeitraum von fünf Jahren auf ca. 60.000 Dollar für einfache Konfigurationen und bis zu 95.000 Dollar für skalierbare Optionen belaufen kann. Zu den oft unerschwinglichen Kosten gehören auch die Ausgaben für die Einstellung eines Teams von Datenwissenschaftlern und Support-Mitarbeitern, für den Aufbau einer geeigneten Betriebsumgebung für das LLM und für die laufenden Wartungskosten.

Auswirkungen auf die Umwelt

Rechenzentren, die für die Unterbringung der für Sprachverarbeitungsmodelle benötigten Server unerlässlich sind, verbrauchen eine große Menge an Energie und tragen erheblich zu den Kohlenstoffemissionen bei. Modelle wie ChatGPT haben mit einem geschätzten jährlichen Kohlendioxidausstoß von 8,4 Tonnen eine erhebliche Auswirkung auf die Umwelt.

Eine andere Studie der Universität von Kalifornien hat den Wasserverbrauch von KI-Modellen aufgezeigt. Demnach wurden für das Training des GPT-3-Modells von Microsoft in den Rechenzentren etwa 700 000 Liter Süßwasser verbraucht. Diese Menge entspricht dem Wasserbedarf für die Produktion von Hunderten von Autos. Der Trainingsprozess erzeugt beträchtliche Wärme, so dass große Mengen an Süßwasser zur Kühlung benötigt werden.

Da die Sprachmodelle immer größer werden, ist es für eine nachhaltige Entwicklung von entscheidender Bedeutung, Wege zu finden, um ihre Umweltauswirkungen zu verringern. Es ist jedoch wichtig festzustellen, dass die Umwelt- und Nachhaltigkeitsherausforderungen, mit denen wir konfrontiert sind, nicht nur für große Sprachmodelle (Large Language Models, LLMs) gelten, sondern für die gesamte Landschaft der Cloud-Computing-Technologien.

Das schnelle Wachstum und die zunehmende Verbreitung von LLMs signalisieren einen Wandel in allen Branchen und Segmenten. Es ist ratsam, LLMs bei wichtigen Projekten mit Vorsicht einzusetzen und sicherzustellen, dass sie von Experten geprüft werden. Die Modelle sind jedoch nach wie vor ideal für kreative Aufgaben, die nicht das gleiche Maß an Konzentration erfordern wie bei geschäftskritischen Aufträgen.

Auf unserem Weg nach vorn müssen wir unbedingt ein Gleichgewicht zwischen Innovation und ethischen Erwägungen herstellen und sicherstellen, dass die LLM so entwickelt und eingesetzt werden, dass sie der Gesellschaft zugute kommen und gleichzeitig den Unternehmen helfen. Unser Weg zur Überwindung dieser Grenzen muss daher eine gemeinsame Anstrengung sein, an der Entwickler, Nutzer und politische Entscheidungsträger beteiligt sind. Dabei sollten die Gründe für die Schaffung von LLMs erörtert, ihr aktueller Status untersucht und ein Kurs für ihre zukünftige Entwicklung und Integration festgelegt werden.

Indem wir diese Herausforderungen direkt angehen, können wir das volle Potenzial von LLMs nutzen, um fundiertere, gerechtere und nachhaltigere Lösungen für die Zukunft zu schaffen.