Fast 10 Jahre sind vergangen, seitdem eine kleine Gruppe von Forscher:innen der University of Toronto ihr zuvor entwickeltes Programm bei der ImageNet Competition einreichte: AlexNet – eine Bilderkennungssoftware, fähig verschiedene Objekte auf Bildern zu identifizieren und entsprechenden Kategorien zuzuordnen. Das Programm war eine regelrechte Sensation.
Heute mag das selbstverständlich sein. Seinerzeit jedoch war AlexNet ein Durchbruch, welcher künstlicher Intelligenz (KI) neues Leben einhauchte. Google stellte im Folgenden die Entwickler:innen von AlexNet ein und ebnete somit während der 2010er neben anderen den Weg zu visuell-basierten Technologien, welche integraler Bestandteil unseres Alltags geworden sind.
Doch entwickeln Technologien sich bekanntlich rapide und der nächste Durchbruch, könnte uns in den 2020ern erwarten.
Sprache: Die Zukunft künstlicher Intelligenz?
Wir wissen, ein guter Text will Weile haben – was wäre allerdings, wenn man diesen in Sekundenschnelle verfassen könnte? Mit GPT-3 ist das theoretisch möglich.
Generative Pre-trained Transformer-3 (GPT-3) – ein von OpenAI entwickeltes Programm, welches fähig ist, Text auf menschlichem Niveau zu generieren. Neben Kurzgeschichten (auch im Stil verschiedener Autor:innen), weiß GPT-3 Songtexte, Anleitungen, Dungeons & Dragons-Kampagnen, Rechtsdokumente und vieles mehr anzufertigen. Beeindruckend ist das allemal, zumal das Programms sich all das selbstständig beigebracht hat. Für manch Eine:n mag es hier auch etwas schaurig werden.
Deep Learning bei GPT-3
So heißt die Methode, unter welcher die Anwendung lernt. Deep Learning als Begriff ist heutzutage ziemlich verbreitet, ein regelrechtes Buzzword, doch wie dieser Prozess eigentlich funktioniert, ist weniger bekannt.
Neurale Netzwerke wie GPT-3 werden mithilfe von Raw Data in Verbindung mit einem Transformer ausgebildet, der den Text analysiert, anhand der Korrelationen zwischen verschiedenen Wörtern aus wirklich, wirklich vielen Texten. Hunderte Gigabyte! Um das in Perspektive zu setzen: Die wenigsten Textdateien überschreiten 1 MB. Mittels dieser Analysen entwickelt GPT-3 ein Gefühl für Syntax, welches im Folgenden getestet wird.
GPT-3 erhält einen Satz und soll diesen vervollständigen. Das Programm bietet hierauf verschiedene Vorschläge und sortiert nach Wahrscheinlichkeit – das Problem ist jedoch, wenn auch das Syntaxverständnis ausgebildet sein mag, fehlt jegliche Semantik, was vorerst zu sehr unsinnigen Antworten führt. Ein Beispiel:
Ich habe mich auf meine Brille gesetzt, also ist sie…
Frank Sinatra.
tot.
defenestriert.
traurig.
Und so weiter. Irgendwo, teils ganz unten in der Liste, steht dann aber vielleicht: Kaputt. Sobald dieser Vorschlag als korrekt erkannt wird, stärkt die Software die neurale Verbindung, welche zu diesem Resultat geführt hat – so arbiträr sie auch sein mag – und schwächt solche, die inkorrekte Ergebnisse hervorbrachten. Genug Wiederholungen und das Programm lernt.
Eindrucksvoll, aber wieso schaurig? Nun, GPT-3 kann auch coden. Ungeplant. Es stellt sich raus, dass sehr viele der eingespeisten Texte eben dieses Thema behandelten, weshalb die Software das gleich mitgelernt hat, wenn sie schon dabei war. Nach etwas spezifischem Training, war GPT-3 ebenfalls fähig, natürliche Sprache in Programmiersprache zu übersetzen und umgekehrt (was die Software zu einem großartigen Diplomaten macht, wenn der Aufstand der Maschinen erfolgt😉).
Wo liegen die Potenziale?
Grundsätzlich interagieren wir mit Programmen wie GPT-3 bereits beinahe täglich: Auf WhatsApp oder per Instagram – wenn die Autokorrektur mal wieder zuschlägt. Doch ist das sehr klein skaliert, GPT-3 kann bedeutend mehr und wäre potenziell in der Lage, verschiedenste Areale unseres Alltags zu verändern, von der Informationsgewinnung bis hin zum Arbeitsalltag.
Sind wir mit einer komplexen Frage konfrontiert, ist häufig der erste Instinkt Google zu konsultieren und eine Liste verschiedener Suchresultate zu durchwühlen, bis gewünschte Informationen vorliegen. Sofern Programme wie GPT-3 so gut funktionieren, wie Anhänger:innen dieser Technologie erhoffen, so wäre GPT-3 fähig, die Antwort sofortig vorzulegen. Hier hört es allerdings nicht auf: GPT-3 könnte Betriebe im Tech Support unterstützen und somit Kundenberatung maßgeblich beeinflussen. Eigentlich sind hier keine Grenzen gesetzt, denn Sprache begleitet uns in jedem Beruf. Daher wenig überraschend: Dem Harvard Business Review zufolge, wären alle 73 Berufskategorien, welche die U.S.-Regierung standarisiert, von GPT-3 betroffen. Die Potenziale sind ausgesprochen groß – doch würde GPT-3 wohl nur die wenigsten Aufgaben ersetzen; vielmehr würde die KI von Menschen geleitete Prozesse assistieren, erleichtern und verbessern.
GPT-3 in der Kritik
Befreit von Kritik ist die Software jedoch nicht – und wer nun befürchtet, als nächstes würde das Programm ein Bewusstsein entwickeln und die Unterjochung der Menschheit in die Wege leiten, den können wir beruhigen. Doch ist das tatsächlich eine Kritik am Programm! Gut, mehr oder minder. Kritiker:innen bemerken nämlich, GPT-3 habe kein tatsächliches Verständnis der „gelernten“ Inhalte, vielmehr gäbe das Programm einer Mimikry nach und imitiert somit lediglich syntaktische Muster natürlicher Sprache.
[GPT-3 is] an amazing version of pastiche generation, in a way that high school students who plagiarize change a couple words here or there but they’re not really putting the ideas together. It doesn’t really understand the underlying ideas.
-Gary Marcus, Autor von Rebooting AI
Das Programm sei somit unfähig jemals etwas zu werden, das menschlicher Intelligenz nahekommt und fungiere einzig und allein als stochastischer Papagei – im schlimmsten Fall ein sehr teures Spielzeug oder ein ausgesprochener Partytrick. Ob das stimmt, weiß man allerdings gar nicht so richtig, aufgrund eines fundamentalen Problems:
Deep Learning-Prozesse sind undurchsichtig. Dadurch, dass das Programm eigenständig lernt und neurale Prozesse verstärkt/abschwächt, mangelt es an Transparenz, was zu anderen Problemen führt, etwa im Sprachgebrauch selbst. GPT-3 lernt schließlich in einer Gesamtheit und produziert somit auch diskriminierende Sprache, kann Fehlinformationen verbreiten oder im Falle von beispielsweise medizinischen Problemen lebensgefährliche Ratschläge geben. Programme wie diese lernen über die Materialien, welche wir ihnen geben – und bei solch einer massiven Anzahl an Texten, entsteht nun mal ein repräsentatives Abbild menschlichen Kollektivs, welches nicht frei von Rassismen, Missbildung und weiteren Gräueln ist.
Des Weiteren haben Logic Learning Machines wie GPT-3 die seltsame Tendenz sich Dinge auszudenken oder Fakten zu erfinden. Unter Deep Learning-Experten bezeichnet man das als „halluzinieren“ – irgendwie liebenswert. Trotzdem gefährlich.
Die Zukunft künstlicher Intelligenzen oder technischer Schnickschnack?
Ausgehend vom aktuellen technischen Stand lässt sich nicht beurteilen, ob GPT-3 die Revolution wird, welche sich manche:r erhofft, doch ist das Potenzial gegeben. Allemal wird es spannend zu beobachten sein, welche Folgeentwicklungen die Software noch erfahren wird und ob GPT-3 essenzieller Bestandteil unseres Alltags wird.
Wir bleiben dran und freuen uns auf den Austausch mit Euch!
Übrigens, ob dieser Beitrag nun von einer KI geschrieben wurde, lassen wir...
sein.
unbeantwortet.
Ballons steigen 🎈
Zum Weiterlesen:
Johnson, Steven (2022): A.I. Is Mastering Language. Should We Trust What It Says?
Metz, Cade (2020): MeetGPT-3. It Has Learned to Code (and Blog and Argue).
Wilson, H. James. & Daugherty, Paul (2020): The Next Big Breakthrough in AI Will Be Around Language.