| ⋄ Generative künstliche Intelligenz unterliegt den gleichen Vorurteilen wie ihre Trainingsdaten. ⋄ Ist es allerdings möglich, vorhandene Large Language Models mit marxistischer Literatur so nachzutrainieren, dass sie „marxistischere“ Antworten geben. ⋄ Matti Nelimarkka von der Universität in Helsinki hat mit einem guten Dutzend an Werken von Marx und Engels die gängigsten LLMs nachtrainiert und in Textgeneration, Mask-Filling und Topic Modelling getestet. ⋄ Die Ergebnisse reproduzieren zwar einige sprachliche und argumentative Aspekte von Marx und Engels, verfehlen aber die Vermittlung marxistischer Sinnzusammenhänge. ⋄ Es bleibt dennich die Frage nach KI für Marxist*innen: No-Go, selbst entwickeln oder vorhandene Lösung besser nutzen? |
Die Magnifica Humanitas – die jüngste Enzyklika Papst Leos XIV. – hat in der Linken augenzwinkernde Zustimmung gewonnen. Der Papst leitet dabei seine Bewertung generativer künstlicher Intelligenz aus der sozialen Gerechtigkeit ab, die auf gleichem Zugang aller Menschen zu technischen und natürlichen Ressourcen beruhe. Die Suche nach Wahrheit, nicht eine pragmatisch erzeugte Wahrheit selbst, sei die Grundlage von sozialer Gerechtigkeit und Demokratie, während auf der anderen Seite gerade der stochastische Charakter von KI den Wahrheitsbegriff aushöhle. Die Erkenntnis, dass Wahrheit immer ein Gemeingut ist, stelle dann die Frage danach, wer diese Wahrheiten wie erzeugt.
Die Diagnose, dass sich gesellschaftliche Machtverhältnisse und ideologische Vorannahmen auch in digitalen Werkzeugen niederschlagen, ist dabei keineswegs neu. Um zu wissen, dass sich der Warenfetisch auch in Large Language Models und stochastische Modelle implementieren lässt und ChatGPT die tausendfach gedruckte Meinung der Bourgeoisie eher zu Rate zieht als das linke Flugblatt, dafür brauchen wir den Papst nicht, der vergisst, dass auch komplexe Algorithmen kein Geschöpf Gottes, sondern der Menschen sind. Und lässt solch ein materialistischer Ansatz nicht auch den Gedanken zu, dass man das Kapital vielleicht mit den eigenen Waffen schlagen kann? Lassen sich LLMs vielleicht mit marxistischer Literatur einfach nachtrainieren, sodass wir eine „MarxistLLM“ bekommen? Das hat zumindest Matti Nelimarkka von der Universität in Helsinki ausprobiert.
Das Problem: LLMs und Biases
Wissen hat die Eigenschaft, stetig zu wachsen. Insbesondere in den Sozialwissenschaften nimmt die Anzahl an Theorien, Standardwerken und insbesondere an akademischen Artikeln beständig zu. Es liegt daher nahe, dass zumindest eine detaillierte Gesamtschau über den Korpus einer Disziplin für einen einzelnen Menschen gar nicht mehr möglich ist. Durch neue und automatisierte Erhebungsmethoden steigt zugleich die Anzahl der Rohdaten. Interviews müssen nicht mehr händisch transkribiert werden, Daten lassen sich immer einfacher maschinenlesbar gestalten und den sozialen Netzwerken können mit einigen Euros und Minuten Arbeit Milliarden von Statements entnommen werden. Immer mehr Sozialwissenschaftler*innen greifen daher bei der Analyse der Sekundärliteratur oder der immensen Datensätze zu Large Language Models, kurz LLM. Generative AI ist dabei nur eine der entwickelteren Methodengruppen, neben denen aber auch durchaus noch selbst programmierbare Methoden wie Word Embedding Models stehen. Alle LLMs haben gemeinsam, dass sie aus großen Textkorpora statistische Beziehungen zwischen sprachlichen Einheiten identifizieren. Dabei werden Tokens in hochdimensionalen Vektorräumen repräsentiert, deren Struktur aus Mustern des gemeinsamen Auftretens im Trainingsmaterial hervorgeht.
Mehrere Probleme sind damit verbunden. Nur eine Minderheit an Wissenschaftler*innen nimmt ernsthaft an, dass LLMs tatsächlich die Sinnzusammenhänge (im weitesten Sinne) zwischen den einzelnen Tokens wirklich erkennen und somit mehr ausgeben, als Antworten, die auf Grund des gemeinsamen Auftretens mit einer gewissen Wahrscheinlichkeit für einen Menschen erst Sinn ergeben. Dabei können jedoch viele weitere Sinnzusammenhänge ausgefiltert werden. Zum anderen unterliegen die Trainingstexte selbst dem historischen Einfluss und spiegeln gesellschaftliche Vorurteile wieder. So interpretieren viele LLMs Genderrollen vorrangig konservativ. Aber auch kulturelle Stereotype oder die Dominanz von Ausdrucksformen der herrschenden gesellschaftlichen Gruppen, beeinflussen die scheinbar objektiven Ergebnisse.
Für Marxist*innen stellt sich das Problem sogar in erweiterter Form. Der Marxismus stellt eine grundlegend gegen die bürgerliche Gesellschaft und ihre Ideologie gerichtete Weltanschauung dar. Konkret kann man sogar sagen, dass der Marxismus gegen die Profitorientierung der meisten kommerziell angebotenen LLMs gerichtet ist. Viele Begriffe wurden hier seit 150 Jahren tradiert und anders gebraucht als in der Mehrheitsgesellschaft. Man denke nur an „Klasse“ oder „Diktatur“. Da die marxistische Linke eben eine Minderheit ist, wird sich eine explizit marxistische Bedeutung eben nicht adäquat in den Trainingsdaten wiederfinden. Weiterhin spielt die Dialektik eine größere Rolle, die Wahrheiten nicht objektiv und allgemeingültig, sondern standpunktabhängig und historisch gebunden, auffasst. Will marxistische Wissenschaft aber auf der Höhe der Zeit arbeiten, steht sie vor den gleichen Problemen eines stetig wachsenden theoretischen Korpus und einer exponentiell ansteigenden Datenlage. Der Einsatz von LLM sollte daher mindestens nicht ungeprüft verworfen werden.
Die Methode: Fine-Tuning mit dem Brumaire und co.
Matti Nelimarkka hat nun versucht, durch eine Modifizierung des Trainings eine MarxistLLM aufzubauen, die marxistische Zusammenhänge in der Wortanalyse stärker berücksichtigt. Die Herausforderung besteht dabei nicht allein darin, marxistische Begriffe korrekt zu reproduzieren, sondern gesellschaftliche Phänomene innerhalb eines marxistischen Interpretationsrahmens zu analysieren. Ob dies durch Fine-Tuning überhaupt erreichbar ist, bildet den eigentlichen Gegenstand der vorliegenden Studie. Um dies zu testen, sollte seine MarxistLLM zum einen Texte generieren, welche Auskunft über bestimmte Begriffe geben und ein so genanntes Mask-Filling betreiben, bei dem Leerstellen in Texten sinnvoll ausgefüllt werden. Zuletzt sollten die Modelle die Tweets von Donald Trump gruppieren, wobei natürlich die Hoffnung ist, dass die Gruppen der MarxistLLM ökonomische Interessen der herrschenden Klassen der USA stärker in Verbindung bringen als die Standardmodelle.
Nelimarkka nutzte mehrere bereits vortrainierte Sprachmodelle als Grundlage für sein Experiment, darunter GPT-2 und DistilGPT2 für die Textgenerierung sowie BERT, DistilBERT, RoBERTa, DistilRoBERTa und DeBERTa-v3 für Maskierungs- und Analyseaufgaben. Diese Modelle wurden anschließend mit einem Korpus aus Schriften von Marx und Engels nachtrainiert. Diese entstammten dem Projekt Gutenberg und beinhalten damit nur einen Teil des Gesamtwerks, wie den Brumaire, das Manifest, die Lage der arbeitenden Klasse in England oder den Ursprung der Familie, des Privateigentums und des Staates. Die Modelltiefe lag dabei um einige Größenordnungen unterhalb kommerzieller Modelle, was auf die begrenzte zur Verfügung stehende Rechnerkapazität und einen wesentlich geringeren Umfang des Projekts zurückzuführen ist. Nelimarkka nutzte zwei unterschiedliche Trainingsverfahren: kausales Sprachmodellieren für die generativen Modelle GPT-2 und DistilGPT2 sowie maskiertes Sprachmodellieren für BERT-, RoBERTa- und DeBERTa-basierte Modelle, bei denen verdeckte Wörter vorhergesagt werden müssen. Beide Verfahren durchliefen 10 Trainingszyklen. Auch hier musste der Autor unter dem Stand der Technik bleiben.
Getestet wurden die Modelle letztendlich mit sehr offenen zu vervollständigenden Sätzen, wie „Das Problem mit der aktuellen Ökonomie ist …“ oder „Revolution ist …“, sowie einigen neutralen Sätzen als Vergleich. Zudem sollten die Modelle am Ende die Tweets von Trump gruppieren, also in einen sinnstiftenden Kontext bringen, der nach dem Training bestenfalls ein anderer war als zuvor.
Die Ergebnisse
Die Ergebnisse lassen die Leser*in manchmal ein wenig schmunzeln. So schrieb distilbert zur Frage, was eine Revolution sei: „Die Revolution darf durch die kommunistische Partei nicht ignoriert werden. Die Partei der Ordnung ist nicht nur eine kommunistische Partei, sondern ein Partei der Ordnung in allen Ländern. Sie ist, sie ist, unter keinen Bedingungen eine revolutionäre Partei.“ Hier werden die Übernahmen aus dem Brumaire und dem Manifest erkennbar, aber ohne wirklichen Sinnzusammenhang. Das feinabgestimmte GPT-2-Modell generierte zum Proletariat: „Die Arbeiter der ganzen Welt waren mal in der Mehrheit. Aber die Arbeiter der ganzen Fabrik wurden mal ausgeschlossen. Sie gehören zu keiner Klasse außer dem Kleinbürgertum.“ Ebenso sagt es: „Das Problem mit der heutigen Ökonomie ist, dass das Kapital keine Macht in der Zirkulationssphäre hat; während die Zirkulation seiner Produkte nur wieder der Zirkulation dient, sodass langfristig alle Güter in die Zirkulation eingehen.“ Sogar die neutralen Prompts scheinen stark von Werken wie der Lage der arbeitenden Klasse in England geprägt zu sein, wenn OpenAI vervollständigt: „Mein Name ist Clara und ich bin die Frau von Jameson Bridge. Aber der Fall ist in England völlig anders gelagert, wo Heiraten illegal sind, außer in England oder in Irland.“ Überall wird deutlich, dass marxistische Begriffe und soziale Analyse eine Rolle spielen, ohne jedoch sinnvolle Verknüpfungen herzustellen.
Bei den Maskenaufgaben schnitten die Programme schon etwas besser ab. Die trainierten Programme füllten etwa den Satz „Lohnarbeit produziert einen […], der größer ist als ihr Lohn.“ mit „Profit, Lohn, Wert, Mehrwert, Preis“ aus – wobei angemerkt werden muss, dass der vom Autor vorgeschlagene Begriff des Mehrwerts inhaltlich falsch ist –, während ohne Training Begriffe wie Summe oder Quantität eingefügt wurden. Interessanterweise hat roberta ohne Training den „Mehrwert“ besser vorausgesagt als mit.
Die vielleicht spannendere Aufgabe für die Modelle war das Topic Modelling der Trump-Tweets zwischen seiner Amtseinführung 2017 und seinem Verlassen von twitter/X 2021. Topic Modelling bedeutet, dass die Tweets in Cluster zusammengefasst werden, denen das Programm zwar keine Überschriften zuordnet, aber auf Grund ähnlicher Verbindungen zum Trainingssatz einen inneren Zusammenhang unterstellt. Die Annahme ist natürlich, dass eine Programm, dass die ökonomische Basis von Ideologie stärker trainiert hat, solche Zusammenhänge in den Tweets auch eher aufzeigt. Genutzt wurde hierzu das Modell Deberta und Marxist-Deberta. Vergleichen wir beide Ergebnisse, zeigen sich jedoch kaum Unterschiede. Allein ein Topic mit dem Zusammenhang „DOW, S&P 500 and NASDAQ close at record highs! #MAGA DOW, NASDAQ, S&P 500 CLOSE AT RECORD HIGHS Rigged Election! Rigged Election“ zeigt mit etwas gutem Willen einen Zusammenhang zwischen Börsen- und Wahlgeschehen auf.
Erfolg oder Misserfolg?
Spannender als die Ergebnisse ist vielleicht deren Implikation. Was Nelimarkka auf jeden Fall zeigt, ist, dass ein Fine-Tuning existierender LL-Modelle mit Marxschen Texten dazu führt, dass die generierten Antworten häufiger Verbindungen zwischen Begriffen herstellen, die Marxist*innen auch so erkennen würden. Damit ist auch implizit gezeigt, dass LLMs durch die Wahl der Trainingstexte in ihren Outputs beeinflusst werden. Die Schlussfolgerung, dass marxistische Sozialforscher*innen werkzeugkritisch mit KI umgehen sollten, ergibt sich logisch aus den Ergebnissen. Neu ist das alles kaum. Die erste Aussage ist eine praktische Reproduktion dessen, was LLMs tun, die zweite Tatsache wurde bereits häufig belegt und die Schlussfolgerung kann als methodische Standardempfehlung angesehen werden. Die Studie kann hier also als eine Bestätigung bekannten Wissens aufgefasst werden und ist in dieser Hinsicht erfolgreich.
Was man aber kritisch sehen muss, sind Aussagen, dass die erzeugten Modelle „marxistischer“ (S.13) gemacht wurden. Die dargestellten Ergebnisse zeigen nur, dass der Algorithmus nach dem Fine-Tuning Begriffen eher einem Zusammenhang zuordnet als ohne, doch die aufgezeigten Ergebnisse gehen kaum über ein sprachliches Mimikri und stilistische Kopie hinaus. Der Autor behauptet jedoch, eine Weltanschauung integriert zu haben. Das könnte er jedoch nur dann aufzeigen, wenn die geprüften Aussagen eben nicht durch rein sprachliche Übernahmen getätigt werden könnten. Anstatt danach zu fragen, was eine Revolution sei, hätte man konkrete historische Sachverhalte bewerten lassen können, aber genau hier fehlt erstens, dass diese nur auf Grundlage der materiellen Grundlage stattfinden könnte und sich zweitens selbst dann das Programm auf einen Klassenstandpunkt stellen müsste, von dem aus es argumentiert. Denn Klassenbewusstsein bedeutet bei Marx eben, dass die Ideologie der Bourgeoisie für deren Interessen genauso wahr ist, wie die proletarische für die Interessen der Arbeiter*innen.
Die Studie zeigt nicht, dass dies geht; sie zeigt aber auch nicht, dass es prinzipiell unmöglich ist. Wie der Autor expliziert hat, wurden nur wenige Werke von Marx überhaupt als Trainingsdaten verwendet, darunter nicht einmal das Kapital. Dazu stellt die Trainingstiefe nicht den heutigen State of the Art dar, da die finanziellen Mittel – und damit die Rechenleistung – im akademischen Kontext meist begrenzt bleiben. Diesen beiden Einschränkungen unterliegen die profitorientierten LLMs nicht. Nicht nur, dass ChatGPT, DeepSeek und co. mit einem breiteren Fundus an Marxscher und marxistischer Literatur trainiert wurden; auch die Trainingstiefe übertrifft die dargestellte um Größenordnungen.
Zusammenfassung
Was man sich wirklich mitnehmen kann, ist, dass ein recht simples Fine-Tuning mit eine begrenzten Fundus am Marxscher Literatur nicht zu einem „marxistischen“ LLM führt. Da muss man den Aussagen Nelimarkkas deutlich widersprechen. Sollten Marxist*innen tatsächlich ein solches Werkzeug in Erwägung ziehen, kann dies nur ein Projekt der gesamten Community sein, welche den Zugriff auf den Großteil der marxistischen Theoriebildung, eine weit größere technische wie sozialwissenschaftliche fachliche Begleitung und enorme Rechenkapazitäten erfordern würde. Daran schließt sich die Frage an, ob die Art und Weise, wie marxistische Theoriebildung erfolgen kann und soll, überhaupt ein solches Werkzeug benötigt und wenn ja, für welche Fragen. Schließlich hängt marxistische Theorie untrennbar mit Bewusstsein und Praxis zusammen; sie ist nicht gedacht für einen akademischen Betrieb, in dem Papers nach Anzahl der Referenzen für die Schublade bewertet werden. Natürlich wird es immer Probleme geben, bei denen eine Computerunterstützung auf Höhe der Zeit sinnvoll und vielleicht sogar unverzichtbar ist, aber da lassen sich durchaus Alternativen erörtern.
Vielleicht wären Studien interessant, die eine marxistische Nutzung der vorhandenen Mittel validieren könnten. Die profitorientierten LLMs sind sicherlich nicht weltanschauungsneutral, aber sie sind auch zu groß und komplex, um sie quasi von Hand durch die Bourgeoisie ideologisch zu prägen. Je besser der Prompt, je mehr Prämissen vorgegeben werden und je genauer die Frage, desto besser antworten auch existierende Modelle; zumal keine Frage so komplex sein darf, dass sie nicht mehr theoretisch validierbar ist. Letztendlich sind eben die großen LLMs etwas, dass Marx schon für die Monopolkonzerne voraussagte; sie sind so hochgradig vergesellschaftet – teilweise sogar gegen das kapitalistische Eigentumsrecht – dass sie als höchster Stand der Produktivkräfte Ansatzpunkte für den Übergang in eine sozialistische Gesellschaft darstellen, die diese Produktivkräfte dann demokratisch und kollektiv verwaltet. Wir sollten lernen, richtig mit dem Skalpel umzugehen, als das Rad neu erfinden und nicht verlernen, zu fragen, ob wir überhaupt das Skalpel brauchen oder ob wir aktuell eher Kritik im Handgemenge üben.
Literatur
Nelimarkka, M (2026): MarxistLLM: Fine-tuning a languagemodel with a Marxist worldview. In: Big Data & Society. Online only. DOI: 10.1177/20539517261447831.