Unsere Welt ist im Wandel und die Künstliche Intelligenz wird diesen Wandel maßgeblich mitgestalten als der Technologietrend des 21. Jahrhunderts.

Die Arbeit mit großen Sprachmodellen, auch als Basismodelle bekannt, stellt dabei eine der zentralen Säulen dar. Diese Modelle sind in der Lage, menschenähnliche Texte zu generieren und haben dadurch unzählige Anwendungsmöglichkeiten. Doch zusammen mit diesen Möglichkeiten kommen auch Herausforderungen. Mit diesem Beitrag stellen wir sechs dieser Herausforderungen vor und zeigen, welche Lösungsansätze bereits entwickelt werden. Tauchen wir gemeinsam in die Welt der großen Sprachmodelle ein!

‍

‍1. Fairness vs. Ungleichheit: Wie Sprachmodelle zu einer breiteren und gleichberechtigten Gesellschaft beitragen können.

Es gibt verschiedene Herausforderungen im Zusammenhang mit Gerechtigkeit und Fairness im Bezug auf Basismodelle (Foundation-Modelle). Eine der wichtigsten ist die Voreingenommenheit oder Diskriminierung, die zu ungleichen und ungerechten Ergebnissen führt. Dies wird auch als Bias bezeichnet. Es ist möglich, dass Modelle auf Daten trainiert werden, die nicht die gesamte Bevölkerung repräsentieren oder bestimmte Gruppen bevorzugen, was zu Verzerrungen in den dargelegten Lösungen führt.¹

Ein weiteres Problem zeigt sich darin, dass einige Modelle nicht in der Lage sind, die Komplexität bestimmter Themen detailliert zu erfassen. Zum Beispiel kann ein Modell versuchen, die Tonalität eines Textes zu klassifizieren, ohne den Kontext zu berücksichtigen, in dem dieser geschrieben wurde. So entstehen ungenaue Ergebnisse und Nuancen werden nicht erfasst.

Schließlich können einige Modelle auch auf veralteten Daten trainiert werden, was zu entsprechend veralteten Ergebnissen führt. 

Es ist wichtig, dass wir uns bewusst sind, dass Basismodelle nicht perfekt sind und wir uns bemühen müssen, sie so gerecht wie möglich zu gestalten. In Bezug auf gleichberechtigte Modellergebnisse beginnt dies bereits mit den Daten, welche zum Training zur Verfügung gestellt werden. Um bestmögliche Ergebnisse im Modell zu erhalten, sollten die Daten in einer ihrerseits repräsentativen Qualität und Menge zur Verfügung gestellt werden.

2. Der Missbrauch von Sprachmodellen: Wie man kontrolliert, wer Zugang zu diesen hat

Foundation-Modelle bieten neben ihren vielfältigen Anwendungsmöglichkeiten auch Raum für Missbrauch. So können sie beispielsweise dazu genutzt werden, sogenannte Fake News zu generieren und damit Fehlinformationen zu verbreiten oder Meinungen zu manipulieren. 

Dies steht in direktem Zusammenhang mit den bereits beschriebenen Ungleichheiten.

‍

‍

‍

Ein weiteres Missbrauchsbeispiel ist die Erstellung von Fake-Profilen, die nicht nur Cybermobbing fördern, sondern auch Identitätsdiebstahl begünstigen. Auch Deepfakes, also manipulierte Videos oder Bilder, können zur Verbreitung von Desinformationen und Propaganda genutzt werden.

Besonders besorgniserregend ist die Erstellung von Hassreden. Obwohl Modelle speziell darauf trainiert werden, Texte dieser Art zu erkennen und zu filtern, besteht die Gefahr, dass sie durch ihre Verwendung im Internet noch stärker an Einfluss gewinnen und somit Hass wie auch Gewalt weiterhin provozieren.

Es ist daher von großer Bedeutung, dass Forschung und Unternehmen beständig daran arbeiten, Modelle zu entwickeln, die Hassreden erkennen und filtern können. Nur so kann ein sicherer und respektvoller Umgang im digitalen Raum gewährleistet werden.

Immer wenn neue Technologien auf den Markt kommen, finden sich auch neue Möglichkeiten, diese zu missbrauchen. Das wirft die Frage auf, ob der Import von vortrainierten Modellen oder Datensätzen aus unzuverlässigen Quellen ein Sicherheitsrisiko darstellen kann. Untersuchungen haben gezeigt, dass Angriffe auf vortrainierte Modelle, insbesondere das sogenannte Data Poisoning, tatsächlich möglich sind. Als besonders anfällig gelten aktuelle Natural Language Processing-Modellen (NLP-Modelle) im Bezug auf das Einschleusen von falschen oder bösartigen Inhalten.² Dies kann dazu führen, dass schädlicher Code oder falsche Aussagen generiert werden. 

Trotz dieser Risiken ist es entscheidend, sich auf die Entwicklung in diesen neuen Technologien zu konzentrieren und hierzu parallel Maßnahmen zu ergreifen, um die Sicherheit zu gewährleisten.

3. Die Umweltauswirkungen von Sprachmodellen: Können wir sie nachhaltig gestalten?

Die Verwendung von Foundation-Modellen bietet ein enormes Potenzial, um wichtige Veränderungen für die ökologische Zukunft der Erde anzustoßen. Allerdings besteht auch die Gefahr, dass sie selbst negative Auswirkungen auf die Umwelt haben können, was bereits durch verschiedene Untersuchungen wie die von Parcollet und Ravanelli für Sprachmodelle³ oder Patterson et al. für große neuronale Netze⁴ belegt wurde.

Um die Emissionen im Zusammenhang mit Foundation-Modellen zu verstehen, muss man sich ihren Lebenszyklus genauer ansehen. Zunächst werden sie auf riesigen Datenmengen trainiert, was je nach Modellarchitektur, Entwicklungsstand und Zielsetzung mehrere Monate dauern kann und große Rechenkapazitäten erfordert, wie hunderte GPUs⁵ und TPUs⁶. Anschließend werden sie oft an spezielle Aufgaben oder Domänen angepasst oder in kleinere Modelle destilliert, bevor sie schließlich in die Produktion überführt werden. Während dieses Prozesses werden viele Runden der Inferenz durchlaufen, um die Qualität zu überprüfen und neue Modelle zu trainieren.

‍

‍

Jeder dieser Schritte birgt das Risiko, große Mengen an Energie zu verbrauchen und somit zur CO₂ Belastung beizutragen. Insbesondere in der ersten Trainingsphase können Foundation-Modelle große, einmalige Energiekosten und CO₂ Emissionen verursachen. Dennoch gibt es Möglichkeiten, den ökologischen Fußabdruck von Basismodellen zu reduzieren, wie zum Beispiel durch die Verwendung erneuerbarer Energien oder die Optimierung des Trainingsprozesses. Entsprechend muss der Fokus darauf gelegt werden, derartige Maßnahmen zu ergreifen und so sicherzustellen, dass die Verwendung von großen Sprachmodellen auch in Zukunft eine positive Rolle für die ökologische Entwicklung der Erde spielen kann.

‍

‍

In konkreten Zahlen lässt sich der Fußabdruck beispielhaft wie folgt abbilden: Das Training von BERT-Basismodellen hat eine beträchtliche Menge an Emissionen produziert, die durch den Anbau von 40 Bäumen unter bestimmten Bedingungen ausgeglichen werden können. Diese Bäume müssten jedoch zehn Jahre lang wachsen, um die gleiche Menge an CO₂ auszugleichen, die das Training des Modells ausstößt.⁷

4. Rechtsfragen rund um Sprachmodelle: Wie können wir verantwortlich handeln?

Die rechtlichen Herausforderungen im Zusammenhang mit Foundation-Modellen sind nicht zu unterschätzen. Vor allem die Verarbeitung großer Datenmengen wirft Fragen bezüglich des Datenschutzes auf. Denn oft werden für das Training Daten aus dem Internet genutzt, die möglicherweise unter das Copyright fallen. Eine Zustimmung für die Nutzung dieser Daten liegt meist nicht vor, was zu rechtlichen Konflikten führen kann. Aktuell wird beispielsweise in den USA gegen Github, Microsoft und OpenAI vorgegangen, da auf Basis von Open-Source-Code Modelle trainiert wurden, für die keine direkte Nutzungserlaubnis vorlag. Ein weiterer wichtiger Aspekt ist die Datenhoheit. Wissenschaftler konnten bereits Daten aus dem Training wiederherstellen, was die notwendige Klärung rechtlicher Fragen weiter untermauert.⁸ Mit klaren Regeln und einer transparenten Vorgehensweise lässt sich zukünftig die Möglichkeit aufbauen, dass ein erfolgreicher und rechtssicherer Einsatz gewährleistet werden kann.

‍

‍

Auch im Kontext des maschinellen Lernens treten häufig Fragen zur Haftung auf, die klärungsbedürftig sind. Wenn ein Modell einen Fehler oder eine unklare Ausgabe produziert und Personen dadurch schädigt, müssen die Ersteller:innen für den Schaden haften. Dies ist auch ein Thema, das die Europäische Kommission in ihrem ersten Entwurf zum EU AI Act behandelt. 

Ein weiteres Problem ist die Identifizierung von KI-generierten Plagiaten, was insbesondere für Bildungseinrichtungen und Institutionen eine Herausforderung darstellt. Die technischen Mittel und Kenntnisse sind oft begrenzt und es ist schwierig, von Menschen verfasste Texte gegenüber denen von KI-Werken zu unterscheiden. Eine Lösung könnte das Einbetten von spezifischen Wasserzeichen in Texte sein, was sich auch für sehr kurze Texte ab 36 Wörtern bewährt hat.⁹ Weiterhin gibt es auch Modelle und Anwendungen, die automatisch generierte Texte durch einen Klassifikator erkennen können.

5. Wirtschaftliche Implikationen von KI: Chancen und Risiken in der Geschäftswelt

Neben den offensichtlichen wirtschaftlichen Vorteilen birgt die Einführung von großen Modellen der künstlichen Intelligenz auch potenzielle Risiken für die Wirtschaft. Allerdings ist es wichtig zu beachten, dass mit jedem Zeitpunkt, zu dem technische Revolutionen stattgefunden haben, ähnliche Bedenken aufgekommen sind. Doch bisher haben sich die Auswirkungen von technologischen Errungenschaften stets als positive Innovationen für die Zukunft erwiesen.

Die fortschreitende Entwicklung der künstlichen Intelligenz führt dazu, dass auch Basismodelle immer ausgefeilter werden und in verschiedenen KI-Lösungen Aufgaben automatisieren können, die früher von menschlichen Arbeitskräften erledigt wurden. Dies hat zur Folge, dass ein häufiger Kritikpunkt sich in der Verdrängung von Arbeitsplätzen und einer zunehmenden Arbeitslosigkeit für bestimmte Branchen äußert. Aktuelle Entwicklungen zeigen jedoch, dass die Programmierung der Modelle dazu beiträgt, weitaus mehr zu einer Entlastung der Mitarbeitenden beizutragen, so zum Beispiel in Service-Centern. Da zudem ein steigender Bedarf an Arbeitskräften in allen Branchen besteht, kann die Einführung von künstlicher Intelligenz als Chance zur Bewältigung des demografischen Wandels betrachtet werden.¹⁰ So gilt vielmehr: KI hilft bei den Herausforderungen der Arbeiterlosigkeit in der Wirtschaft.

Ein weiteres Anliegen betrifft den wirtschaftlichen Nutzen von Modellen. Es ist denkbar, dass ein Fokus auf nur einige Unternehmen gelegt wird, nämlich jene Organisationen, die in der Lage sind, erfolgreich Modelle zu entwickeln und anzuwenden. Dies kann zu einer Verschärfung der Einkommensungleichheit und unfairen wirtschaftlichen Chancen führen. 

Die Entwicklung grundlegender Modelle erfordert erhebliche Investitionen in Forschung und Entwicklung sowie den Zugang zu umfangreichen Datensätzen. So kann es zu einer Marktkonzentration kommen, bei der einige wenige große Unternehmen den Markt beherrschen und den Wettbewerb einschränken.

‍

‍

‍

‍

Um dieser Situation entgegenzuwirken, ist es wichtig, freie oder zumindest europäische Entwicklungen zu fördern. Einige positive Beispiele hierfür sind OpenGPT-X, LEAM oder LAION-AI mit dem Open-Assistent. Auch hier muss zukünftig sichergestellt werden, dass diese Technologien für alle zugänglich sind, um die wirtschaftliche Chancengleichheit zu fördern und den Wettbewerb zu stärken. 

6. Konzeptionelle Herausforderungen: Der Blick auf Limitationen und Datenanforderungen

Große Sprachmodelle stellen uns vor konzeptionelle Herausforderungen. Beim Training nehmen sie Texte als unabhängige Informationen auf und erkennen Muster von Gemeinsamkeiten. Doch sie haben keine Vorstellung davon, wie diese Texte mit Ereignissen in der realen Welt zusammenhängen. Besonders wenn das Modell auf mehrere Nachrichtenberichte über dasselbe Ereignis trainiert wird, kann es nicht zwischen ähnlichen, aber nicht verwandten Ereignissen unterscheiden. Folglich können diese Modelle kein kohärentes und vollständiges Weltbild aus allen gelesenen Texten bilden. 

Die Modelle sind nicht in der Lage, Vorhersagen über Folgeereignisse in ihren Trainingsdaten zu treffen und haben wenig Verständnis für Zeit, außer bei expliziter Erwähnung. Sie können lernen, was in der Vergangenheit passiert ist, aber haben Schwierigkeiten, den Fluss der Zeit zu verstehen und die Beziehungen zwischen verschiedenen Ereignissen zu erfassen. Zudem haben sie keine praktische Möglichkeit, Aussagen über die Beziehung zwischen verschiedenen Modellen zu interpretieren. Es ist offensichtlich, dass die Modelle nicht wirklich wissen, was sie wissen und lediglich versuchen, das nächste Wort in einem Datenstrom zu erraten. Dies führt manchmal zu absurden und beängstigenden Ergebnissen. Mit dem Lernen durch Demonstration wird den Modellen beigebracht, dass einige Antworten mit Vorsicht zu behandeln sind, aber auch hier gehen sie schnell in den "Erfindungsmodus" über - Sie halluzinieren.¹¹ Es ist wichtig zu betonen, dass die Modelle keine menschenähnliche Intelligenz haben und es unrealistisch ist, dies zu erwarten. Trotz ihrer Grenzen können sie jedoch nützliche Werkzeuge sein, wenn sie mit Bedacht eingesetzt werden.

‍

Obwohl es speziell trainierte Modelle für mathematische Aufgaben gibt, so sind sie grundlegend nicht dafür konzipiert.¹² Ihre grundlegenden Bausteine sind Wörter oder Wortteile, die nicht mit Zahlen in einer geeigneten Basis übereinstimmen. Zudem besitzen sie keine geeignete Methode, um die Beziehungen zwischen verschiedenen Zahlen, wie "kleiner als", auf sinnvolle und konsistente Weise abzubilden und zu erlernen. Obwohl sie bei einigen Fragen halbwegs adäquat in mathematischen Aufgaben abschneiden, gibt es mit anderen Technologien bessere und explizite Möglichkeiten, Zahlen und Mathematik darzustellen. 

Eine erhebliche Herausforderung bei der Entwicklung von großen (Sprach-) Modellen ist der unstillbare Appetit nach Daten, der sich auch auf die Umwelt auswirken kann. Um solche beeindruckenden Leistungen zu erzielen, werden Billionen von Wörtern trainiert, was insbesondere für Bild-basierte Modelle gilt. Im Vergleich dazu ist der Mensch hingegen in der Lage, mit wesentlich weniger Daten zu lernen. 

‍

Im Bereich des Erlernens von Sprachen zeigt sich diese Problematik deutlich: Die meisten menschlichen Sprachen verfügen nicht über ausreichend Daten, insbesondere nicht in digitaler Form. Dies erschwert es, in allen Sprachen gute Ergebnisse zu erzielen. Obwohl annotierte Daten und Instruction-Learning (RLHF) helfen können, ist es für ressourcenarme Sprachen schwierig, diese Probleme zu lösen. Eine mögliche Lösung besteht darin, ins Englische zu übersetzen, da auch hier in den vergangenen Jahren enorme Fortschritte erzielt wurden. Allerdings haben alle Sprachen auch eine enge Beziehung zur Region, Geschichte oder Religion, sodass es Begriffe gibt, die in der englischen Sprache nicht verankert sind oder anders interpretiert werden. Der Mangel an Daten stellt daher ein echtes Problem dar, wenn große (Sprach-) Modelle auch außerhalb der englischen Sprache eingesetzt werden sollen. 

Chancen und Herausforderungen: Wie wir die Potenziale von Sprachmodellen verantwortungsvoll nutzen können.

Es ist klar, dass die Arbeit mit großen Sprachmodellen eine Vielzahl von Herausforderungen mit sich bringt. Die sechs wichtigsten Herausforderungen haben wir nun in diesem Beitrag vorgestellt.

Obwohl diese Herausforderungen bedeutend sind, dürfen wir nicht vergessen, dass Sprachmodelle auch immense Potenziale haben. Sie können zur Entwicklung von bahnbrechenden KI-Lösungen beitragen und dabei unterstützen, eine breitere Gesellschaft aufzubauen, die so auch Gleichberechtigung stärker umsetzt.

Es ist also entscheidend, dass wir uns bei der Arbeit mit Sprachmodellen darüber im Klaren sind, welche Herausforderungen bestehen und wie wir sie bewältigen können. Letztlich werden wir nur dann in der Lage sein, ihre Potenziale umfassend auszunutzen und gleichzeitig ein verantwortungsvoller Partner zu sein, wenn wir proaktiv und bedacht handeln.

‍

‍

Quellen: 

¹ https://www.anti-bias.eu/biaseffekte/biases-in-kuenstlicher-intelligenz/

² https://paperswithcode.com/task/data-poisoning

³ https://www.isca-speech.org/archive/interspeech_2021/parcollet21_interspeech.html

⁴ https://arxiv.org/abs/2104.10350

⁵ Grafikprozessor, engl. graphic processing unit (Abk. GPU)

⁶ Abk. für Tensor Processing Units

⁷ https://arxiv.org/abs/1906.02243

⁸ https://arxiv.org/abs/2301.13188

⁹ https://arxiv.org/abs/2301.10226

¹⁰ https://www.abendblatt.de/hamburg/article237539887/geht-uns-die-arbeit-aus-oder-sind-es-die-arbeiter.html

¹¹ https://www.sify.com/ai-analytics/the-hilarious-and-horrifying-hallucinations-of-ai/

¹² https://arxiv.org/abs/2106.07340