GPT-3.5 vs. GPT-4: "Kommen Adorno, Luhmann, Zizek und Sokrates nach einem harten Projekttag in eine Bar."

Thu, 16 Mar 2023 20:44:19 +0200

Abstract

Wie kann man sich 24 Stunden nach Veröffentlichung dem neuen #GPT4 nähern? Indem man humorvoll die Schwächen des alten Systems anpiekst.

Nachfolgend werden wir uns zwei Szenarien ansehen:

Zunächst vergleichen wir GPT-3.5-Legacy und GPT-4 bei einer einfachen Definitionsanfrage.
Danach geben wir den aktuell über ChatGPT verfügbaren Modellen (GTP-3.5-Legacy, GTP-3.5 “Normal” & GTP-4) eine Aufgabe, die sich allein mit Faktenwiedergabe nicht mehr lösen lässt und schauen uns ihre “kreativen” Fähigkeiten an.

Ergänzt wird der Artikel um schamlose intellektuelle Selbstdarstellung und unsubtile Bemühungen, die Bedeutung der Rolle des Requirement-Engineers bzw. Business-Analysten für den IT-Projekterfolg zu betonen.

Zudem möchte der Autor damit die LinkedIn-Funktionalität für Long-Form-Texte ausprobieren.¹

I. Warm-Up: 1 Achillesverse? Hunderte!

Es wurde kein Alt-Text für dieses Bild angegeben. Stable Diffusion: Robotic achilles heel is hit by an arrow

Das klassische ChatGPT ist ein hochmotivierter Praktikant, der Bestandstexte rasch arrangiert, ohne sich allzugroße Gedanken über deren Bedeutung zu machen.

Input wird dabei nur gering hinterfragt und alles, was nicht komplett vom Inhalts-Filter abgeblockt wird, übernimmt das Modell kritiklos. Erkennt es einen Fehler nicht, arbeitet es auf dieser Grundlage brav weiter.

1. Verse mit GPT-3.5 Legacy

Q: “Erkläre mir in einem Satz das Sprachbild der Achillesverse.” (sic!)

A: “Die Achillesverse sind ein sprachliches Bild, das die unüberwindbare Schwäche oder das Verwundbarkeitselement in einer ansonsten starken oder unbesiegbaren Person oder Sache darstellt.”

Der Tippfehler wird vom Modell akzeptiert und statt auf die Ferse, stützt sich GPT nun eben auf Lyrik. Der Rest passt dann wieder ins Narrativ. Es würde kaum auffallen, wäre da nicht der Singular/Plural-Unterschied.

2. Ferse mit GPT-4

A: “Die Achillesferse bezeichnet in einem Sprachbild eine Schwachstelle oder empfindliche Stelle, die trotz ansonsten großer Stärke oder Fähigkeiten eine Person oder Sache verwundbar macht.”

Nicht nur wird der Tippfehler übergangen, mit dem “trotz” bringt das neue Modell nochmal stärker das Spannungsfeld zwischen Fähigkeit und Makel zum Ausdruck.

3. Ist es “besser”, Zufall oder Selbsttäuschung?

Viel können wir aus dem ersten Beispiel nicht entnehmen. Jede ChatGPT-Query ist ein kleines Glücksspiel - die Ergebnisse variieren ständig. Und ich will nicht ausschließen, dass manchmal auch die alte Version den gefühlt “besseren” Output liefert, wobei unklar ist, ob das “besser” nicht nur unsere getrübte Wahrnehmung ist.

Oder wie jemand kürzlich auf Mastodon schrieb: “Es werden Texte verschränkt, so dass sie grammatikalisch richtig bleiben. Den Rest erledigt unser Gehirn.” (Quelle: Jenkins@det.social)

II. Mach mir einen Bagel mit Allem.

1. Das Setup

Den zitierten Toot nehme ich beim Wort: Lassen wir doch einmal unsere KIs unterschiedliche Texte verschränken und schauen uns an, was unser Gehirn daraus erkennen mag.

Meine Aufgabenstellung umfasst dabei 5 Dinge, die nicht zueinanderpassen:

Meine tägliche Projektarbeit als Requirements-Engineer, die ich fachlich ganz gut zu verstehen glaube;
– 5. Beliebte Philosophen, Soziologen & andere Denker, die sich niemals zu einem Thema einig würden und keinen Bezug zu IT-Projekten haben.²

Dabei gebe ich GPT keine direkten Theorieinhalte als Input, sondern verweise nur auf Begriffe, die es sich selbst erschließen und dann verarbeiten muss.

2. Die Query

Folgende Anfrage habe ich den drei verfügbaren GPT-Versionen im Chat gesendet:

Q: “Vereine folgende Theorien, um auf dieser Basis eine praxistaugliche Requirements-Engineering-Methodik zu entwickeln:

Theodor W. Adornos Theorie der Nichtidentität

Niklas Luhmanns Konzept der Funktionalisierung

Slavoj Zizeks Ideologiebegriff

Sokrates Konzept der Aporie”

3. Warum Adorno?

Es wurde kein Alt-Text für dieses Bild angegeben. Stable Diffusion: Adorno loves icecream

Adorno nervt. Hart. Wenn nicht amerikanischer Film oder Jazz sein Gemüt zum Kochen bringen, beschwert er sich über seine Wohnsituation, die sprachliche Schlampigkeit anderer Autoren³ oder wirft den Menschen ihren Humor als fehlgeleiteten Eskapismus vor. Er ist immer dagegen und in einem Projekt nicht anschlussfähig.

Ich halte es für ausgeschlossen, dass Adorno jemals mit RE in Verbindung gebracht wurde - für die GPT-Challenge passt er also perfekt.

4. Warum Luhmann?

Es wurde kein Alt-Text für dieses Bild angegeben. Stable Diffusion: Niklas Luhman enjoys a sandwich

Niklas Luhmann wird viel zu selten im RE-Kontext genannt, dabei ist er als Soziokybernetiker perfekter geistiger Unterbau für unser Tätigkeitsfeld. Wer sich die CPRE-Zertifizierung antut, findet in den Anfangskapiteln zu Systemgrenzen und -kontexten genug Parallelen zum alten Meister.

Eine kurze Google-Recherche ergibt aber, dass allenfalls sein Zettelkasten in Zusammenhang mit RE genannt wird. Diese Lücke wollen wir schließen, indem wir tiefer in die Sozialen Systeme einsteigen und das Modell bitten, “Funktionalisierung” in den Topf zu werfen.

5. Warum Žižek?

Es wurde kein Alt-Text für dieses Bild angegeben. Stable Diffusion: Zizek is meditating

Slavoj Žižek wird heute oft als Talkshow-Clown abgetan - seine Ideologiekritik aus den 80ern ist aber eine sehr komplexe Angelegenheit, über die man mit Gewinn durchaus ein paar Wochen lang nachdenken kann.

Auch er ist unverdächtig, im RE-Kontext genannt zu werden, allenfalls mit ein paar provokanten Zitaten. Also rein in den Mix!

6. Warum Sokrates?

Es wurde kein Alt-Text für dieses Bild angegeben. Stable Diffusion: Socrates plays with his Nintendo Switch

Um nicht nur moderne Denker verwursten zu lassen, wollte ich zum Abschluss noch einen Antiken Philosophen einbringen.

Was macht einen Requirements Engineer oder Business Analysten aus? Dass er Fragen stellt und zwar so lange, bis es weh tut. Mäeutik im Meeting - dafür kommt nur einer in Frage!

III. GPT-3.5 Legacy desertiert.

Mein erste Anlauf mit dem ältesten GPT-Modell scheitert an dessen Unwillen. GPT mag keinen Zusammenhang erkennen und antwortet mir Folgendes:

Es tut mir leid, aber die genannten Theorien sind nicht direkt geeignet, um eine praktische Requirements-Engineering-Methodik zu entwickeln.

Theodor W. Adornos Theorie der Nichtidentität beschäftigt sich mit der Idee, dass Individuen und Gesellschaften nicht in der Lage sind, sich vollständig zu definieren oder zu identifizieren.

Niklas Luhmanns Konzept der Funktionalisierung betrachtet die Gesellschaft als ein komplexes System, in dem jede Funktion eine andere Funktion ermöglicht.

Slavoj Zizeks Ideologiebegriff beschreibt die Art und Weise, wie Ideologien die Wahrnehmung und das Verständnis von Individuen und Gesellschaften beeinflussen.

Sokrates Konzept der Aporie beschreibt das Konzept des Paradoxes oder der Unlösbarkeit eines Problems.

Diese Theorien können zwar interessante Perspektiven auf die menschliche Gesellschaft und das Verständnis von Welt und Individuum bieten, sind aber nicht direkt auf die praktische Anwendung im Requirements Engineering übertragbar.

Eine praxistaugliche Requirements-Engineering-Methodik sollte stattdessen auf bewährten Praktiken und Ansätzen wie dem V-Modell, dem Agilen Ansatz oder dem Scrum-Framework basieren."

Die KI verweigert sich meinem Befehl, fasst die 4 Konzepte äußerst dünn und teilweise bis zur Unkenntlichkeit verzerrt zusammen und rät mir in einer Art Brechdurchfall aus unpassender Buzzwords, doch lieber etwas Etabliertes zu probieren.

Altersschwache Sprachmodelle eignen sich also immerhin fürs Middle-Management.

IV. GPT-3.5 Default bemüht sich.

Man merkt der zweiten KI schon im ersten Satz an, dass sie sich die Aufgabe eigentlich nicht zutraut. Aber sie ist ehrlich genug, es zuzugeben und versucht das Beste aus der Situation zu machen:

“Es ist nicht ganz klar, wie diese verschiedenen Theorien miteinander vereint werden können, um eine praxistaugliche Requirements-Engineering-Methodik zu entwickeln. Jede dieser Theorien bezieht sich auf verschiedene Bereiche der Philosophie und Sozialwissenschaften und hat unterschiedliche Anwendungsbereiche.

Adornos Theorie der Nichtidentität könnte beispielsweise verwendet werden, um zu betonen, dass kein Objekt oder Konzept jemals vollständig identisch mit sich selbst ist, sondern immer aus vielen verschiedenen und widersprüchlichen Teilen besteht. Dies könnte dazu beitragen, dass bei der Identifizierung und Priorisierung von Anforderungen die Vielfalt und Komplexität der Benutzerbedürfnisse berücksichtigt werden.

Luhmanns Konzept der Funktionalisierung könnte dazu beitragen, eine Methode zu entwickeln, die sich auf die Identifizierung von funktionalen Anforderungen konzentriert, die für ein System oder eine Organisation notwendig sind, um bestimmte Ziele zu erreichen.

Zizeks Ideologiebegriff könnte genutzt werden, um kritisch zu reflektieren, wie Anforderungen und Bedürfnisse von verschiedenen Interessengruppen beeinflusst werden können, und um sicherzustellen, dass eine Methode für das Requirements-Engineering nicht von versteckten Ideologien geprägt ist.

Sokrates Konzept der Aporie könnte dazu beitragen, dass man sich bei der Anforderungsanalyse auf das Verständnis der zugrunde liegenden Probleme und Widersprüche konzentriert, anstatt sich auf schnelle Lösungen zu konzentrieren, die später zu neuen Problemen führen könnten.

Insgesamt könnten diese Theorien dazu beitragen, dass eine praxistaugliche Requirements-Engineering-Methodik entwickelt wird, die sich auf die Identifizierung von funktionalen Anforderungen konzentriert, die auf einer kritischen Reflexion der zugrunde liegenden Probleme und Widersprüche basiert und die die Vielfalt und Komplexität der Benutzerbedürfnisse berücksichtigt, während sie gleichzeitig von versteckten Ideologien befreit ist.”

Der Aufbau entspricht der üblichen GPT-Blockbildung: Es wird viel aus der Query wiederholt, die Antwort wird in gleichförmige Abschnitte gegliedert - am Ende rundet eine Zusammenfassung den Schulaufsatz ab.

Mich ermüdet dieses Muster inzwischen etwas und ich hoffe, heutige Gymnasiast:innen sind clever genug, die offensichtlichen GPT-Bestandteile aus ihren Aufsätzen zu streichen und nur die relevanten Passagen einzureichen.

Inhaltlich ist es zwar geringfügig besser als die Legacy-Version, die Theorien werden aber weiterhin nur sehr schwammig und verzerrt in Bezug genommen. Die KI scheint sich dabei auch eher am Wortlaut einzelner Begriffe entlangzuhangeln, als dass der Wesenskern der Konzepte irgendwo aufgegriffen würde.

Aber immerhin erkennt man den Versuch, meine Anweisungen irgendwie umzusetzen. GPT-3.5 Default ist eine bemühte Werkstudierendenkraft.

V. GPT-4 überrascht.

Erfreulich finde ich, wie die neueste GPT-Generation gleich zur Sache kommt. Lesen sich die Antworten der Vorgänger ein wenig wie das Bewerbungsanschreiben aus der Hölle (“Mit diesem Schreiben möchte ich mich auf Ihre Stellenanzeige bewerben, die ich am letzten Freitag auf XING entdeckt habe.”), ist GPT-4 eine Frau der Tat und schlägt konkrete Schritte vor, wie ich meinem Ziel näherkommen kann:

“Um eine praxistaugliche Requirements-Engineering-Methodik zu entwickeln, die auf Theodor W. Adornos Theorie der Nichtidentität, Niklas Luhmanns Konzept der Funktionalisierung, Slavoj Zizeks Ideologiebegriff und Sokrates Konzept der Aporie basiert, können wir folgende Schritte vorschlagen:

Reflexion und kritische Analyse: In Anlehnung an Adornos Theorie der Nichtidentität sollten wir uns bewusst sein, dass die Realität immer komplexer ist als unsere abstrakten Konzepte und Modelle. Daher müssen wir bei der Entwicklung von Requirements stets kritisch hinterfragen, ob unsere Annahmen und Modelle die tatsächlichen Bedürfnisse und Probleme der Stakeholder angemessen erfassen.

Funktionalisierung: Niklas Luhmanns Konzept der Funktionalisierung bietet uns die Möglichkeit, die verschiedenen Aspekte eines Systems zu analysieren und die Anforderungen in Bezug auf ihre Funktionen und Rollen im System zu organisieren. Durch die Unterscheidung von verschiedenen funktionalen Bereichen können wir sicherstellen, dass alle relevanten Aspekte des Systems berücksichtigt werden und eine vollständige Anforderungsanalyse durchgeführt wird.

Ideologiekritik: Slavoj Zizeks Ideologiebegriff legt nahe, dass wir uns der zugrunde liegenden Annahmen und Wertvorstellungen bewusst sein sollten, die unsere Anforderungsanalyse beeinflussen. Wir müssen daher darauf achten, dass wir nicht blindlings vorhandenen Annahmen folgen, sondern stets kritisch prüfen, ob sie im Einklang mit den tatsächlichen Bedürfnissen der Stakeholder und den ethischen und gesellschaftlichen Rahmenbedingungen stehen.

Aporien als Chance: Sokrates Konzept der Aporie betont, dass das Eingeständnis von Unwissen und das Aufzeigen von Widersprüchen eine wichtige Grundlage für den Erkenntnisgewinn darstellt. Im Rahmen des Requirements-Engineering sollten wir also offen für Widersprüche und Unklarheiten sein, da diese uns auf mögliche Probleme und Verbesserungspotenziale hinweisen. Anstatt diese Widersprüche zu ignorieren, sollten wir sie als Chance nutzen, um gemeinsam mit den Stakeholdern zu einer tieferen Einsicht und einer besseren Lösung zu gelangen.

Indem wir diese vier Prinzipien in einer integrierten Methodik verbinden, entsteht eine praxistaugliche Requirements-Engineering-Methodik, die sowohl kritische Reflexion als auch strukturierte Analyse fördert und auf diese Weise dazu beiträgt, erfolgreiche und nachhaltige Lösungen zu entwickeln.”

Ja, auch hier finden wir einen dieser lückenfüllenden Abschluss-Sätze. Dieser bietet immerhin einen zusammenfassenden Wert, indem er zu argumentieren versucht, wie diese widersprüchlichen Theorien in der Strategieempfehlung zusammenpassen sollen.

Inhaltlich zeigt sich allerdings ein tieferes “Verständnis”⁴ der Theorien:

Bei Adorno entspricht es der Inhaltstiefe eines Wikipedia-Abschnitts, wobei sich die Unversöhntheit von Sache und Begriff hier eher wie ein “Karte und Gebiet”-Ausspruch liest.
Luhmann ist, gemessen an der Textlänge in Ordnung; während ich diesen Text schreibe ärgere ich mich aber auch, dass ich nicht “Funktionale Differenzierung” gefordert habe, das wäre sauberer gewesen. Aber das Ergebnis ist zumindest irgendwie sinnstiftend.
Zizeks Ideologiekritik ist leider komplexer als die Darstellung der KI. GPT interpretiert sie als eine Bewusstmachung der eigenen Vorurteile, während Zizek wohl nicht erwarten würde, dass ein Requiremens Engineer von jetzt auf gleich seine unbewussten Wahrnehmungsverzerrungen überwinden kann. Aber auch hier gilt: Der generierte Rat ist nützlich.
Soweit ich das beurteilen kann, wirkt Sokrates handwerklich sauber: Der RE soll sich dem Widerspruch stellen, denn dort ist Erkenntnisgewinn zu holen. Das ist nicht nur eine universell-gute Geisteshaltung, sondern auch der Mehrwert, den diese Rolle in einem Projekt bieten kann.

VI. Schlusswort

Ich werde mich hüten, irgendeine ernstgemeinte Schlussfolgerung oder Prognose zu diesen Produkten auszusprechen: Wer heute schon unsere GPT-Zukunft beschreibt, ist unseriös und soll sich bitte zu den NFT-Apologeten stellen, damit alle Scharlatanerie an einem Ort gesammelt verwahrt werden kann.

Zum Abschluss daher nur 3 Meinungsfragmente.

1. Barnum-GPT

Es bewahrheitet sich das oben angeführte Zitat: Es ist eher das menschliche Gehirn, das sich die KI-Leistung schön-interpretiert, als dass der Textoutput aus sich selbst heraus überzeugen kann. Wir wollen im Text Gedanken erkennen, die niemand gedacht hat - denn das Sprachmodell denkt nicht.

2. Das Whitecollar-Ablaufdatum

GPT-4 wird schon deshalb keine Arbeitsplätze vernichten, weil ein durchschnittliches deutsches Implementierungsprojekt vermutlich länger dauern wird als der Release von GPT-5 oder GPT-6.

3. Diagitalektisierung

Der Leser sollte keiner Aussage trauen, die er auf LinkedIn findet. Lieber sollte er die obigen GPT-Texte auf sich wirken lassen und eigene Schlüsse ziehen. Das sind ohnehin die Kernskills, die wir im Umgang mit generativer KI benötigen werden: Zweifel & Negation.

Fußnoten:

Dieser Text erschien zuerst auf LinkedIn. Der Editor erwies sich dabei als so unerfreulich, dass ich beschloss, dieses Weblog zu starten. ↩︎
In einer frühen Version hatte ich auch noch Stafford Beers Viable System Model aufgenommen, aber die Anzahl überforderte das Legacy-Modell und war^ aufgrund von Beers Management-Kybernetik viel zu nah an der IT-Projektwelt und daher im Ergebnis ziemlich langweilig. ↩︎
Alle Negativbeispiele aus “Hinter den Spiegel.” beziehen sich auf den hier vorliegenden Text. ↩︎
Weiterhin muss das Mantra jedes GPT-Users lauten: “Die Maschine versteht nicht, sie reproduziert nur geschickt, sie besitzt kein Modell für Wissen und zusammenhänge, sie ist nur eine gut austarierte Sammlung vorgefundener Muster.” Bitte wiederholen Sie diesen Satz vor jedem Gebrauch. ↩︎

AI on Bedarfsfokus