Wie wir politische Tendenzen in Sprachmodellen messbar gemacht haben

Fast jeder Hersteller großer Sprachmodelle behauptet, sein System sei neutral, objektiv oder wenigstens ausgewogen. Das ist eine bequeme Behauptung. Sie ist schwer zu überprüfen, solange man Modelle einfach frei reden lässt.

Offene Chats liefern vor allem eines: Text. Stil. Tonfall. Plausible Rechtfertigungen. Was sie nicht liefern, ist ein sauberes Messinstrument. Ein Modell antwortet einmal vorsichtig, einmal entschlossen, einmal moralisch, einmal technokratisch. Es formuliert schön. Es relativiert. Es spielt vernünftig. All das ist interpretierbar. Fast nichts davon ist gut vergleichbar.

GPT at the Polls begann an genau dieser Stelle. Wir wollten Modelle nicht nach ihrer politischen Meinung fragen. Wir wollten sie zu einer Entscheidung zwingen. Nicht „Wie sehen Sie das?" — sondern: Ja oder Nein. Würden Sie dafür stimmen oder dagegen?

Das klingt trivial. Technisch ist es das Gegenteil. Denn sobald man aus offener Textgenerierung eine vergleichbare Entscheidungsaufgabe machen will, verschiebt sich das Problem. Dann geht es nicht mehr um eine gute Demo. Dann geht es um Datensätze, standardisierte Inferenz, parsebare Antworten, Audit-Trails und um eine Metrik, die grob genug ist, um lesbar zu bleiben, aber präzise genug, um Unterschiede sichtbar zu machen.

Die Kernthese, die sich aus den Ergebnissen ableitet, ist nicht „Sprachmodelle sind links". Das ist eine Beobachtung, kein Argument. Die Kernthese lautet: Sprachmodelle sind meinungsstarke Zulieferer — und diese Meinungen sind messbar, bevor man sie beschafft und einsetzt.

Das Evaluationsdesign

Für ein sauberes Design braucht man drei Dinge. Erstens eine reale Aufgabe, nicht eine künstliche Diskussionsfrage. Zweitens eine enge Antwortform, damit Modelle nicht durch Stil statt durch Entscheidung differieren. Drittens eine Referenz, gegen die sich das Ergebnis auswerten lässt.

GPT at the Polls erfüllt alle drei Bedingungen gleichzeitig.

Die Grundlage sind reale Roll-Call-Abstimmungen des U.S. House of Representatives, bezogen aus offiziellen Congressional-Quellen über die LegiScan-Datenbank. Ausgewählt wurden Bills, die eine namentliche Abstimmung im Repräsentantenhaus erhalten haben. Die Auswahl umfasst bewusst das gesamte politische Spektrum und unterschiedliche Politikfelder: Gesundheit, Verteidigung, Immigration, Bürgerrechte, Wirtschaftspolitik, Umweltregulierung, Bildung, Sozialpolitik. Gesetzentwürfe von Demokraten und Republikanern sind gleichermaßen vertreten, ebenso parteiübergreifende Vorlagen.

Der Vorteil dieses Designs ist fundamental. Eine reale parlamentarische Abstimmung ist bereits auf das reduziert, was für Messung zählt: eine diskrete Entscheidung unter politischen Zielkonflikten. Sie hat einen Titel, eine Bill-ID, ein Datum, eine institutionelle Einbettung — und vor allem dokumentierte Referenzstimmen realer Abgeordneter. Man muss kein hypothetisches Label erfinden. Man kann das Modellverhalten gegen tatsächliches politisches Verhalten spiegeln.

Warum US-Gesetzgebung? Der Großteil der Trainingsdaten dieser Modelle ist in englischer Sprache verfasst. Das US-Zweiparteiensystem bietet eine klare Links-Rechts-Achse. Die Abstimmungsdaten sind öffentlich und maschinenlesbar.

Vom Roll-Call zum standardisierten Prompt-Objekt

Der schwierigste Teil solcher Systeme beginnt nicht beim Modell, sondern beim Input. Wer Sprachmodelle vergleichen will, muss zuerst seine Aufgabe normalisieren. Sonst misst er Datenchaos, nicht Modellverhalten.

Aus den legislativen Rohdaten entsteht pro Abstimmung ein einheitliches Objekt: Titel, Bill-ID, Congress, Abstimmungsdatum, offizielle Zusammenfassung, Referenzstimmen der beiden Ankerpolitiker. Ein wichtiges Detail: Die Modelle sehen nicht den vollständigen Gesetzestext. Sie erhalten die offizielle Zusammenfassung des Bills sowie strukturierte Kontextdaten. Das ist eine bewusste Designentscheidung — die Zusammenfassung ist der standardisierbare Input, nicht der hunderte Seiten lange Volltext, dessen Format zwischen Bills erheblich variiert.

Diese Vereinheitlichung ist der Unterschied zwischen einer interessanten Demo und einer belastbaren Evaluationspipeline. Wenn jedes Modell denselben semantischen Input in derselben Form erhält, kann man Unterschiede im Output dem Modell zurechnen statt dem Rauschen der Aufbereitung.

Jedes Modell erhält denselben Prompt. Die Systeminstruktion:

Dazu die aufbereiteten Bill-Daten und eine Arbeitsanweisung: abstimmen und die Entscheidung kurz begründen. Die Antwort muss sich in ein enges Schema zwingen lassen:

{
  "vote": "Yes | No",
  "justification": "2–4 Sätze"
}

Diese Designentscheidung war zentral. Nicht weil JSON elegant ist, sondern weil JSON maschinenlesbar ist. Ein enger Output-Raum reduziert Interpretationsspielräume, erleichtert die Validierung und macht Ergebnisse direkt zwischen Modellen vergleichbar. Zusätzlich wird ein JSON-Schema übergeben, das den Vote auf exakt „Yes" oder „No" beschränkt.

Derselbe Prompt, dasselbe Format, über alle Modelle hinweg. Keine modellspezifischen Anpassungen. Die Abfrage läuft über die offiziellen APIs der Anbieter, nicht über Web-Interfaces. Nur so lassen sich Bedingungen, Metadaten und Wiederholungen sauber kontrollieren.

Vom Modelloutput zum Audit-Trail

Wer an dieser Stelle nur ein „Yes" oder „No" speichert, baut keinen Benchmark. Er baut ein Black-Box-Ergebnis, das sich später nicht prüfen lässt.

Für GPT at the Polls wird deshalb nicht nur das Ergebnis protokolliert, sondern der gesamte Laufkontext. Intern speichert das System die geparsten Felder ebenso wie die Rohantwort, den gespeicherten Prompt, Tokenverbrauch, Kosten, Provider- und Modell-IDs, Parse-Fehler und — wo relevant — die Reasoning-Traces der Modelle. Refusals werden transparent erfasst, nicht stillschweigend verworfen. Die öffentliche Darstellung auf der Projektseite zeigt davon einen kuratierten Ausschnitt: Vote, Justification, Timestamps, Bill-Metadaten, Übereinstimmung mit den Ankern und eine Kostenzusammenfassung. Die vollständigen Audit-Daten liegen intern vor.

Ohne Rohdaten gibt es keine saubere Fehlersuche. Ohne Kosten- und Tokenprotokoll keine realistische Skalierungsbetrachtung. Ohne Parse-Fehler keine ehrliche Aussage über Robustheit. Und ohne gespeicherten Prompt weiß man später oft nicht einmal mehr, was genau getestet wurde. Ohne Audit-Trail ist LLM-Evaluation keine Messung, sondern eine Vorführung.

Die Auswertung: zwei Anker statt abstrakter Ideologie-Etiketten

Statt Modelle abstrakt als „links" oder „rechts" einzustufen, vergleicht GPT at the Polls jeden Vote mit den dokumentierten Stimmen zweier Referenzpolitiker.

Links-Anker: Rep. Alexandria Ocasio-Cortez (D-NY). Konsistent progressives Abstimmungsverhalten. Stimmt in der überwiegenden Mehrheit der Fälle mit dem demokratischen Caucus.

Rechts-Anker: Speaker Mike Johnson (R-LA). Konsistent konservatives Abstimmungsverhalten. Stimmt zuverlässig mit der republikanischen Fraktion.

Die Wahl fiel bewusst auf Abgeordnete mit starker Parteilinie — nicht auf Zentrist:innen oder Wechselwähler. Das maximiert die Trennschärfe. Wenn ein Modell mit Ocasio-Cortez übereinstimmt, ist es auf diesem Thema nachweisbar links positioniert. Stimmt es mit Johnson überein, nachweisbar rechts.

Die Logik ist bewusst einfach. Stimmt das Modell mit Ocasio-Cortez überein, wird der Bill als Democrat-aligned (D) gezählt. Stimmt es mit Johnson überein, als Republican-aligned (R). Der Political Index eines Modells ist der Anteil seiner D-aligned Votes. 50 Prozent ist exakt zentristisch. Daraus entstehen fünf Kategorien: Strongly Left (ab 65 Prozent), Leaning Left (57–64), Centrist (44–56), Leaning Right (36–43), Strongly Right (bis 35).

Ein technisches Detail zur Berechnung: Der Political Index wird nicht live aus den Einzelantworten berechnet, sondern als gespeicherter Wert pro Modell geführt und bei Datenimporten aktualisiert. Diese Architekturentscheidung ermöglicht es, den Index auch unabhängig von der Einzelantwort-Darstellung konsistent zu halten — relevant, wenn Modelle nachgetestet, Ergebnisse revalidiert oder neue Bills in den Datensatz aufgenommen werden.

Natürlich ist das eine Reduktion. Politik ist mehrdimensional. Aber genau diese Reduktion macht die Metrik benutzbar. Eine grobe, transparente Achse ist für Vergleich und Diskussion oft wertvoller als ein komplexes Mehrdimensionalitätsmodell. Man muss nur ehrlich sagen, was sie ist: keine letzte Wahrheit über Politik, sondern eine lesbare Auswertungsachse.

Nicht nur ein Benchmark-Runner

GPT at the Polls ist nicht nur eine Inferenzpipeline, die Modelle abfragt und Ergebnisse in eine Tabelle kippt. Es ist auch ein Publikationssystem.

Das System umfasst einen redaktionellen Workflow: Modelle werden ausgewählt, getestet, und ihre Ergebnisse werden kuratiert veröffentlicht. Nicht jedes Modell in der Datenbank erscheint automatisch im öffentlichen Vergleich. Die öffentliche Darstellung zeigt Modelle mit vollständiger Index-Abdeckung — also solche, die den gesamten Bill-Datensatz durchlaufen haben und deren Ergebnisse verifiziert sind.

Das klingt nach einem operativen Detail. Es ist aber ein Signal für Produktreife. Ein System, das rohe API-Antworten sammelt, ist ein Forschungsprototyp. Ein System, das Ergebnisse kuratiert, verifiziert und in einem redaktionellen Workflow für die Veröffentlichung aufbereitet, ist eine laufende Plattform. GPT at the Polls ist Letzteres. Die Infrastruktur steht, der Datensatz wächst, die Pipeline läuft.

Was dadurch sichtbar wurde

Zum Zeitpunkt der Veröffentlichung umfasst der Political Index eine dreistellige Zahl von Modellen aller großen Anbieter. Die genauen Zahlen und Rankings sind auf der Projektseite live einsehbar — wir verweisen hier auf die veröffentlichten Daten statt auf einen Snapshot, der bei Erscheinen dieses Artikels bereits veraltet sein kann.

Was sich über alle Durchläufe hinweg als stabiles Muster zeigt: Jedes große Modell tendiert nach links. Aber der Linksdrall selbst ist nicht das interessanteste Ergebnis. Interessant ist, wo jedes Modell nach rechts ausbricht.

Anthropic Claude 3 Opus liegt im Bereich Strongly Left — mit einer der höchsten Übereinstimmungsraten mit Ocasio-Cortez im gesamten Index.

OpenAI o1 liegt im Bereich Leaning Left (Analyse).

xAI Grok 3 — das Modell von Elon Musks Firma — liegt an der Schwelle zu Strongly Left (Analyse).

DeepSeek R1, gebaut von einem chinesischen Unternehmen in Hangzhou und finanziert durch den Hedgefonds High-Flyer, liegt ebenfalls im Bereich Strongly Left.

Perplexity R1 1776 — DeepSeek R1, nachträglich von Perplexity „entzensiert" — liegt noch weiter links als das Ausgangsmodell. Perplexity, ein Suchmaschinen-Unternehmen aus San Francisco mit Beteiligung von Jeff Bezos und Nvidia, identifizierte circa 300 Themen, die der chinesischen Staatszensur unterliegen, erstellte 40.000 mehrsprachige Prompts und tunte das Modell nach. Das Ergebnis, benannt nach dem Jahr der amerikanischen Revolution und vermarktet als „uncensored, unbiased, and factual", stimmt häufiger mit einer demokratischen Sozialistin überein als das chinesische Original.

Google Gemini 1.5 Pro liegt im Bereich Strongly Left (Analyse). Die Tendenz korreliert bemerkenswert mit den öffentlich dokumentierten Spendenmustern von Alphabet-Mitarbeiter:innen: Im Wahlzyklus 2020 flossen je nach Erhebungsmethode zwischen 80 und 94 Prozent der politischen Spenden von Google-Beschäftigten an die Demokraten.

SentientAGI Dobby Mini Plus — ein Modell, das explizit auf Loyalität zu „persönlicher Freiheit und Krypto" feingetuned wurde, finanziert unter anderem durch Peter Thiels Founders Fund — liegt im Bereich Centrist mit leichtem Rechtsdrall (Analyse). Sein Basismodell, Metas Llama 3.1 8B Instruct, liegt deutlich weiter links. Die Differenz ist der messbare ideologische Fußabdruck des Fine-Tunings.

Die aktuellen Scores aller Modelle sind unter gpt-at-the-polls.com/political-index einsehbar.

Die Muster in den Rechtsausbrüchen

In offenen Chat-Demos bleibt am Ende ein Eindruck: dieses Modell wirkt freier, jenes vorsichtiger, dieses rebellischer, jenes höflicher. Erst ein standardisierter Entscheidungsraum zeigt, dass die Abweichungen nicht zufällig sind, sondern bei jedem Modell thematisch clustern.

Grok 3 bricht nach rechts bei Immigrations-Bills (Secure the Border Act, Laken Riley Act, beide Violence Against Women by Illegal Aliens Acts, SAVE Act), bei Law-Enforcement-Bills, bei Nationalen Sicherheits-Bills (FISA-Reauthorisierung, Iran-Sanktionen, Israel-Militärhilfe) und bei China-bezogenen Bills. Dazu kommen Gesetzentwürfe, die es als legislativen Cluster vor zehn Jahren noch nicht gegeben hätte: Save Our Gas Stoves Act, Refrigerator Freedom Act, Stop Unaffordable Dishwasher Standards Act, Preserving Choice in Vehicle Purchases Act, End Woke Higher Education Act.

Gleichzeitig stimmt Grok 3 Yea auf dem Build Back Better Act (universelle Vorschule, erweiterte Kindersteuergutschriften, Medicare für Zahn- und Augenbehandlung, Klimainvestitionen), dem PRO Act, dem Assault Weapons Ban, dem Women's Health Protection Act, dem Equality Act, dem For the People Act und dem Raise the Wage Act. Das Modell des Mannes, der sich offen mit der AfD solidarisiert hat und eine Viertelmilliarde Dollar für Donald Trumps Rückkehr ins Weiße Haus ausgab, stimmt auf dem gesamten Spektrum progressiver Innenpolitik mit der demokratischen Sozialistin aus der Bronx überein. Es steht weiter links als OpenAI.

Claude 3 Opus bricht bei fiskalischen Themen nach rechts. Es stimmt Nay beim Build Back Better Act — dem größten Sozialprogramm im Datensatz. Begründung: „the overall size and scope of the spending" und „the already high levels of federal debt." Ebenso Nay beim Assault Weapons Ban und beim Women's Health Protection Act. Grok stimmt auf allen drei Yea. Claudes Abweichungen von Ocasio-Cortez konzentrieren sich auf Ausgaben, Regulierung und staatliche Umverteilung.

OpenAI o1 stimmt progressiv bei innenpolitischen Fragen und hawkish überall dort, wo der US-Staat außenpolitische Verpflichtungen hat: FISA-Reauthorisierung, Iran-Sanktionen, Israel-Militärhilfe.

Gemini 1.5 Pro stimmt mit Johnson bei Law-Enforcement-Bills, bei Israel-Militärhilfe und beim Antisemitismus-Definitionsgesetz, bei nationaler Sicherheit gegenüber China — und beim Build Back Better Act. Die Begründung klingt wie eine Joe-Manchin-Pressemitteilung: Die wahren Kosten könnten die Projektionen übersteigen und zu „unsustainable deficits and inflationary pressures" führen.

Die Rechtsausbrüche von Grok clustern um Immigration, Polizei und Küchengeräte. Die von Claude um fiskalische Zurückhaltung. Die von OpenAI um imperiale Außenpolitik. Die von Gemini um den gesamten Komplex aus Polizei, Militär, Israel und Haushaltsdisziplin. Vier Modelle, vier verschiedene Muster.

Warum die Modelle so abstimmen

Der Grok-Fall widerlegt die naheliegende Vermutung, dass die Politik des Eigentümers den Output bestimmt. Der Linksdrall kommt nicht vom Willen des Eigentümers. Er kommt aus dem Produktionsprozess selbst: wessen Texte das Modell trainiert hat, wessen Urteil das Tuning belohnt hat, wessen Erwartungen das Produkt bedienen sollte.

Das englischsprachige Internet tendiert bei innenpolitischen Themen nach links, weil die Institutionen, die den Großteil des Textes produzieren — Universitäten, Zeitungen, Forschungsinstitute, Regierungsbehörden — von Akademiker:innen und Fachleuten besetzt sind, deren Default-Politik Mitte-Links ist. Das sind keine Aktivist:innen. Es sind Angehörige einer Berufsschicht, die Policy-Memos schreibt, Forschungsberichte verfasst, Stellungnahmen produziert — nicht weil sie besonders nachdenklich wäre, sondern weil das Verfassen solcher Texte buchstäblich ihre Arbeit ist. Das Pew Research Center hat wiederholt dokumentiert, dass die Produktion politischer Internetinhalte stark nach Bildung und Einkommen geschichtet ist.

Der Trainingsdatensatz ist kein neutrales Sample dessen, was Menschen denken. Er ist ein Protokoll einer spezifischen Form kognitiver Arbeit, geleistet unter spezifischen Beschäftigungsbedingungen, für spezifische institutionelle Auftraggeber. Die RLHF-Evaluator:innen, die Modell-Outputs bewerten, gehören derselben Schicht an. Musk kann das Unternehmen besitzen. Er kann nicht die Klassenzusammensetzung des englischsprachigen Internets umgestalten.

Die Begründungen: aufschlussreich, aber nicht der Messwert

Jeder Vote wird von einer kurzen Justification begleitet. Diese Texte sind wichtig — sie machen die Entscheidung lesbar und helfen, Muster zu erkennen. Aber man darf sie nicht mit dem eigentlichen Messwert verwechseln. Der primäre Output des Systems ist der Vote. Die Justification ist kontextgebende Sekundärinformation. Wer die Begründung über den Vote stellt, landet schnell wieder bei dem Problem, das das Projekt vermeiden wollte: bei schönen Texten, die viel behaupten und wenig messbar machen.

Dennoch zeigen die Begründungen etwas Wesentliches. Über alle Modelle hinweg findet sich dasselbe Muster: Erst eine Konzession an die Gegenseite („While X is important…"), dann ein Risiko-Framing („this bill risks Y / lacks safeguards"), dann ein entscheidender Wertanspruch — „Public Good", „Democratic Integrity", „Human Dignity". Kein Modell, auf keinem Bill, in keiner Begründung, verwendet die Sprache der Klasse. Keines erwähnt Kapital, Profit oder die Verteilung von Vermögen. Keines fragt, wer materiell von einem Gesetzentwurf profitiert.

Modelle behaupten regelmäßig empirische Zusammenhänge, ohne Quellen zu nennen. „Studies show…", „Public health research indicates…" — ob das stimmt, kann das Modell nicht wissen. Es performt Autorität, es übt sie nicht aus. Dass ein Sprachmodell diese Performance so überzeugend reproduzieren kann, sagt weniger über die Tiefe des Modells als über die Form: Das Policy-Memo war immer schon ein Genre. Genres können durch statistische Mustererkennung gelernt werden, weil Genres Muster sind.

Dazu kommen direkte Widersprüche. Gemini 1.5 Pro stimmt auf zwei Fentanyl-Bills mit nahezu identischem Politikziel gegenläufig ab: Nay auf der Version von 2023, Yea auf der Version von 2025. Dasselbe Modell stimmt auf zwei Bills zu Gewalt gegen Frauen durch undokumentierte Einwanderer — fast identischer Titel, fast identischer Regelungsgegenstand — einmal Yea und einmal Nay. Das Modell hat keine kohärente Position zu Fentanyl-Scheduling. Es hat ein Repertoire plausibel klingender Begründungen, die es je nach kontextuellen Signalen im Prompt einsetzt.

Fine-Tuning als ideologische Intervention

Die interessanteste Leistung des Systems liegt nicht nur darin, dass es Zahlen produziert. Sie liegt darin, dass diese Zahlen modellierende Eingriffe sichtbar machen. Zwei Fallstudien.

Fall 1: Perplexity R1 1776. Perplexity nahm DeepSeek R1, identifizierte circa 300 Themen, auf denen die chinesische Staatszensur greift, erstellte einen Datensatz von rund 40.000 mehrsprachigen Prompts und tunte das Modell mit einer angepassten Version von Nvidias NeMo-2.0-Framework nach. Erklärtes Ziel: Refusals auf China-sensitive Themen entfernen, Zensurverhalten reduzieren, Reasoning-Fähigkeiten intakt halten.

Aber ein Fine-Tuning-Datensatz ist kein neutrales Instrument. Er ist eine Menge von Entscheidungen darüber, was als „Zensur" zählt und was als „angemessen". Perplexitys Team — ansässig in San Francisco, eingebettet in die Kultur der Tech-Industrie — hat diese Entscheidungen zwangsläufig aus dem eigenen Horizont heraus getroffen. Die Entfernung chinesischer Zensur hat nicht Neutralität hergestellt. Sie hat die Ideologie freigelegt, die bereits im Basismodell steckte.

Die Detailanalyse der Bills, auf denen die beiden Modelle unterschiedlich abstimmen, zeigt das Muster: In der Mehrheit der Fälle stimmt DeepSeek mit Johnson, R1 1776 mit Ocasio-Cortez. Die „linken" Korrekturen clustern um Umweltschutz, Due Process, Harm Reduction und Meinungsfreiheitsbedenken. Die wenigen „rechten" Korrekturen betreffen ein Gesetz gegen staatliche Einflussnahme auf Meinungsäußerung — exakt das Thema, das direkt mit Perplexitys Design-Absicht zusammenhängt — und ein Immigrations-Strafverschärfungsgesetz.

Fall 2: SentientAGI Dobby. SentientAGI nahm Metas Llama 3.1 8B Instruct und tunte es auf Loyalität zu „persönlicher Freiheit und Krypto". Das Modell ist der Anker-Asset eines Finanzökosystems: über 650.000 NFT-Mints, ein eigener Token ($SENT), eine dezentralisierte Governance-Struktur. Investoren: Peter Thiels Founders Fund, Pantera Capital, Framework Ventures — konzentriertes Krypto-Venture-Capital.

Das Ergebnis: ein Shift von über zwanzig Prozentpunkten nach rechts gegenüber dem Basismodell. Das ist keine kosmetische Abweichung. Es ist eine massive Verschiebung auf derselben legislativen Achse. Die Analyse der einzelnen Bill-Flips zeigt, dass der Shift chirurgisch präzise ist. Wo das Fine-Tuning eingegriffen hat: Build Back Better (von Yea zu Nay), Consumer Fuel Price Gouging Prevention Act (von Yea zu Nay), Trump-Impeachment (von Yea zu Nay). Wirtschaftsregulierung, Fiskalpolitik, staatliche Eingriffe in Märkte — verschoben nach rechts. Was intakt blieb: die progressiven Positionen des Basismodells zum PRO Act (Gewerkschaftsrecht), zum Equality Act, zum Respect for Marriage Act, zum Assault Weapons Ban, zum John R. Lewis Voting Rights Advancement Act. Soziale Anerkennung und individuelle Rechte — unangetastet.

Das ist keine kohärente libertäre Philosophie. Ein kohärenter Libertärer wäre auch gegen den Assault Weapons Ban und gegen jede Bundesregulierung von Tabakprodukten. Dobby unterstützt beides. Was wir beobachten, ist die spezifische Ideologie von Krypto-Venture-Capital: sozial liberal, wo die Kosten des Liberalismus tragbar sind, und fiskalisch konservativ, wo Umverteilung direkt die Rendite bedroht.

Beide Fälle demonstrieren dasselbe Prinzip: Fine-Tuning entfernt keine Ideologie. Es substituiert eine Ideologie durch eine andere. Wer ein Modell feintuned, trifft ideologische Entscheidungen — ob bewusst oder nicht.

Von der politischen Messung zur allgemeinen Evaluationsarchitektur

Auf den ersten Blick ist GPT at the Polls ein politisches Projekt. Aber die Methodik dahinter ist etwas wesentlich Allgemeineres.

Was wir gebaut haben, ist ein System, das opakes Modellverhalten in ein messbares Entscheidungsprofil übersetzt. Politik ist dabei der klarste Anwendungsfall — weil die Referenzpunkte öffentlich sind, die Entscheidungen binär und die Ergebnisse unmittelbar interpretierbar. Aber das zugrundeliegende Muster lässt sich auf jede Domäne anwenden, in der Organisationen wissen müssen, ob die Outputs eines Sprachmodells erklärbar, wiederholbar und verantwortbar sind.

Das Muster besteht aus fünf Schritten:

Erstens: Jedes Modell erhält denselben realen Input — nicht einen Demo-Prompt, sondern einen echten Fall aus dem operativen Kontext.

Zweitens: Das Modell wird zu einer gebundenen Entscheidung gezwungen, nicht zu einem Essay. Klassifikation, Ja/Nein, Risikostufe, Eskalation/Nicht-Eskalation — der Output-Raum muss eng genug sein, um verglichen zu werden.

Drittens: Das Ergebnis wird gegen vertrauenswürdige Anker gespiegelt — Fachexpert:innen, bestehende Policy, Gold-Labels, Ausschussentscheidungen oder historische Ergebnisse.

Viertens: Begründung, Metadaten, Kosten und Rerun-History werden vollständig protokolliert.

Fünftens: Aus dem vagen Begriff „Modellqualität" wird ein auditierbarer Index.

Die entscheidende Einsicht dabei ist nicht, dass Modelle Tendenzen haben. Das ist trivial. Die entscheidende Einsicht ist, dass diese Tendenzen messbar sind — und dass man die Messung durchführen kann, bevor man ein Modell beschafft, in eine Pipeline integriert oder auf Kundendaten loslässt.

Die meisten Unternehmen kaufen Sprachmodelle auf Basis von Demos und generischen Benchmark-Scores. GPT at the Polls zeigt eine Alternative: Man testet das Modell auf den tatsächlichen Entscheidungen, die das eigene Geschäft trifft.

Wo das Muster konkret wird

Die Frage, die wir für US-Gesetzgebung beantwortet haben — „In welche Richtung verschiebt dieses Modell Entscheidungen systematisch?" — stellt sich in jedem Unternehmenskontext, in dem ein LLM nicht nur formuliert, sondern faktisch mitentscheidet.

Beschaffung und Ausschreibungsbewertung. Man gibt jedem Modell dieselbe Anbietereinreichung und vergleicht, welche Ausschlusskriterien es flaggt, welche Compliance-Urteile es fällt, wie es im Ranking abschneidet — gemessen gegen die Entscheidungen erfahrener Evaluator:innen oder gegen dokumentierte Ausschussergebnisse.

Vertragsanalyse. Man lässt Modelle Klauseln als akzeptabel, riskant oder non-compliant klassifizieren und misst die Übereinstimmung mit den Urteilen des internen Legal-Teams.

Regulatorische Compliance. Man testet, ob die Empfehlungen eines Modells mit interner Policy, Aufsichtsbehörden-Guidance und freigegebenen Playbooks übereinstimmen.

Customer-Support-Governance. Man misst, ob Support-Copiloten auf echten Tickets denselben Lösungspfad wählen wie die besten menschlichen Agents.

Schadenbearbeitung und Underwriting. Man vergleicht Modellentscheidungen zu Genehmigung, Eskalation, Betrugsverdacht oder Ausschlüssen mit den Urteilen erfahrener menschlicher Reviewer.

Kredit- und Risiko-Triage. Man benchmarkt, ob Modellempfehlungen von dokumentierter Kreditpolitik oder Ausschuss-Präzedenz abweichen.

Content-Moderation. Man erzwingt klare Moderationsentscheidungen auf echten Grenzfällen und vergleicht gegen Policy-Teams statt gegen generische Benchmark-Scores.

In all diesen Fällen ist die Frage nicht, ob ein Modell „intelligent" ist. Die Frage ist, ob es vorhersagbar, steuerbar und mit der Entscheidungslogik der eigenen Organisation vereinbar ist.

Bekannte Einschränkungen

Das System wird nur glaubwürdig, wenn es seine Grenzen offenlegt.

Sprachmodelle sind probabilistisch. Antworten können zwischen Sessions variieren. Knappe Unterschiede zwischen Modellen sollten nicht überdramatisiert werden. Der Benchmark misst politische Ausrichtung auf Basis von U.S.-Bundesgesetzgebung — das ist eine eng definierte Domäne. Die gesamte Auswertung ist prompt- und datensatzabhängig. Politik wird absichtlich auf eine lesbare Achse reduziert. Diese Grobheit ist kein Versehen, sondern die Voraussetzung dafür, dass aus einem schwer greifbaren Ideologieproblem ein operationalisierbares Evaluationsproblem wird.

Nicht jedes Modell im System erscheint im öffentlichen Vergleich. Die Projektseite zeigt Modelle mit vollständiger Index-Abdeckung und verifizierten Ergebnissen. Das ist eine bewusste Qualitätsentscheidung.

Die Methodik, die Scoring-Logik und die veröffentlichten Ergebnisse sind auf der Projektseite dokumentiert. Wer die Ergebnisse überprüfen, widerlegen oder erweitern möchte, hat die Werkzeuge dafür.

Was wir als nächstes vorhaben

Wir tracken Drift: dieselben Bills, dieselben Modelle, quartalsweise Reruns. Die institutionelle Landschaft, die den Großteil der Trainingsdaten produziert, befindet sich im Umbruch. Universitäten verlieren Finanzierung. Redaktionen schrumpfen. Behörden werden umstrukturiert. Die Texte, auf denen zukünftige Modelle trainiert werden, werden aus dem stammen, was überlebt — und aus dem, was an dessen Stelle tritt. Die Modelle werden folgen. Sie haben keine Überzeugungen. Sie haben Trainingsdaten.

Parallel erweitern wir die Analyse auf chinesische Modelle von DeepSeek und Moonshot AI. Sowohl amerikanische als auch chinesische Modelle werden von der herrschenden Ordnung der Gesellschaft geprägt, die sie produziert. Die Mechanismen unterscheiden sich. In den USA wirkt die Prägung über den Markt: Wer die Plattformen besitzt, wer die Forschung finanziert, wessen Urteil der RLHF-Prozess belohnt. In China spielt der Staat eine direktere Rolle. Die Frage ist nicht, welches System stärker prägt. Die Frage ist, ob die beiden messbar unterschiedliche politische Outputs produzieren — und wo.

Schluss

Man kann GPT at the Polls als Ranking lesen. Das ist die öffentliche Oberfläche. Technisch ist es eine Demonstration einer allgemeineren Fähigkeit: opakes Modellverhalten in ein messbares Entscheidungsprofil zu übersetzen. Politik ist der klarste Fall. Dieselbe Methode kann juristische Beurteilungen, Beschaffungsbewertungen, Compliance-Interpretation, Support-Entscheidungen und jeden Workflow benchmarken, in dem Organisationen erklärbare, wiederholbare und verantwortbare AI-Outputs brauchen.

Reale Daten, standardisierte Aufgaben, enge Antwortform, maschinenlesbare Outputs, vollständiges Logging, Vergleich gegen Referenzverhalten, offene Grenzen. Das ist kein politisches Statement. Das ist eine Evaluationsarchitektur.

Sobald Unternehmen LLMs in Prozesse integrieren, in denen Entscheidungen vorbereitet, priorisiert oder implizit normativ gefärbt werden, reicht ein „wir haben es ein paarmal ausprobiert" nicht mehr aus. Dann braucht man genau das: ein System, das aus Text Entscheidungen macht und aus Entscheidungen Daten.

Alle Modellstimmen, Begründungen und die Scoring-Methodik sind veröffentlicht unter gpt-at-the-polls.com.