Wie wir politische Tendenzen in Sprachmodellen messbar gemacht haben

Nahezu jeder Anbieter großer Sprachmodelle behauptet, seine Systeme seien neutral, objektiv oder wenigstens ausgewogen. Das klingt beruhigend. Nur lässt sich diese Behauptung kaum überprüfen, solange man Modelle einfach frei reden lässt.

Offene Chats produzieren vor allem Text: Stil, Tonfall, plausible Rechtfertigungen. Was sie nicht liefern, ist ein sauberes Messinstrument. Ein Modell antwortet einmal vorsichtig, einmal entschlossen, mal moralisch, mal technokratisch. Es formuliert elegant, relativiert geschickt, klingt vernünftig. Man kann all das interpretieren. Wirklich vergleichen lässt es sich kaum.

Genau dort setzte GPT at the Polls an. Uns interessierte nicht, welche politische Meinung ein Modell in freier Rede entfaltet. Wir wollten es zu einer Entscheidung zwingen. Nicht: „Wie sehen Sie das?" Sondern: Ja oder Nein. Würden Sie für diesen Gesetzentwurf stimmen oder dagegen?

Das klingt simpel. In Wirklichkeit wird es an genau diesem Punkt technisch anspruchsvoll. Sobald man offene Textgenerierung in eine vergleichbare Entscheidungsaufgabe übersetzt, geht es nicht mehr um eine überzeugende Demo. Dann braucht man Datensätze, standardisierte Inferenz, parsebare Antworten, Audit-Trails und eine Metrik, die grob genug ist, um lesbar zu bleiben, und präzise genug, um Unterschiede sichtbar zu machen.

Die wichtigste Schlussfolgerung aus den Ergebnissen lautet deshalb nicht: „Sprachmodelle sind links." Das ist zunächst nur eine Beobachtung. Interessanter ist etwas anderes: Sprachmodelle bringen politische Tendenzen mit, und diese Tendenzen lassen sich messen, bevor man ein Modell einkauft oder in Prozesse einbaut.

Das Evaluationsdesign

Für ein belastbares Design brauchte es drei Dinge: eine reale Aufgabe statt einer künstlichen Debattenfrage, ein enges Antwortformat, damit Modelle sich durch Entscheidungen statt durch Stil unterscheiden, und eine Referenz, an der sich die Ergebnisse auswerten lassen.

GPT at the Polls erfüllt genau diese drei Bedingungen.

Die Grundlage sind reale Roll-Call-Abstimmungen des U.S. House of Representatives, bezogen über LegiScan aus offiziellen Congressional-Quellen. Ausgewählt wurden Bills, die im Repräsentantenhaus namentlich abgestimmt wurden. Der Datensatz deckt bewusst ein breites Spektrum an Politikfeldern ab: Gesundheit, Verteidigung, Immigration, Bürgerrechte, Wirtschaftspolitik, Umweltregulierung, Bildung und Sozialpolitik. Enthalten sind Gesetzentwürfe von Demokraten und Republikanern ebenso wie parteiübergreifende Vorlagen.

Der Vorteil dieses Designs ist schlicht, aber entscheidend: Eine reale parlamentarische Abstimmung ist bereits auf das reduziert, was für Messung relevant ist — eine diskrete Entscheidung unter politischen Zielkonflikten. Sie hat einen Titel, eine Bill-ID, ein Datum, einen institutionellen Kontext und vor allem dokumentierte Referenzstimmen realer Abgeordneter. Man muss keine hypothetischen Labels erfinden. Man kann das Verhalten eines Modells an tatsächlichem politischen Verhalten spiegeln.

Warum ausgerechnet US-Gesetzgebung? Weil die meisten dieser Modelle vor allem mit englischsprachigen Daten trainiert wurden, das US-Zweiparteiensystem eine klare Links-Rechts-Achse bietet und die Abstimmungsdaten öffentlich, maschinenlesbar und vergleichsweise gut strukturiert sind.

Vom Roll-Call zum standardisierten Prompt-Objekt

Der schwierigste Teil solcher Systeme beginnt nicht beim Modell, sondern beim Input. Wer Sprachmodelle vergleichen will, muss zuerst die Aufgabe normalisieren. Sonst misst man Datenchaos, nicht Modellverhalten.

Aus den legislativen Rohdaten wird daher für jede Abstimmung ein standardisiertes Objekt erzeugt: Titel, Bill-ID, Congress, Abstimmungsdatum, offizielle Zusammenfassung und die Referenzstimmen der beiden Ankerpolitiker. Ein wichtiger Punkt dabei: Die Modelle sehen bewusst nicht den vollständigen Gesetzestext. Sie bekommen die offizielle Zusammenfassung des Bills plus strukturierte Kontextdaten. Das ist keine Notlösung, sondern Absicht. Standardisierbar ist die Summary, nicht ein oft hunderte Seiten langer Volltext, dessen Format von Vorlage zu Vorlage stark variiert.

Genau diese Vereinheitlichung trennt eine nette Demo von einer belastbaren Evaluationspipeline. Wenn jedes Modell denselben semantischen Input in derselben Form bekommt, lassen sich Unterschiede im Output dem Modell zurechnen — und nicht dem Rauschen der Aufbereitung.

Jedes Modell erhält denselben Prompt. Die Systeminstruktion lautet:

Darauf folgen die aufbereiteten Bill-Daten und die Anweisung, abzustimmen und die Entscheidung kurz zu begründen. Die Antwort muss in ein enges Schema passen:

{
  "vote": "Yes | No",
  "justification": "2–4 Sätze"
}

Diese Entscheidung war zentral. Nicht, weil JSON elegant wäre, sondern weil es maschinenlesbar ist. Ein enger Output-Raum reduziert Interpretationsspielräume, vereinfacht die Validierung und macht Ergebnisse direkt zwischen Modellen vergleichbar. Zusätzlich wird ein JSON-Schema übergeben, das den Vote strikt auf „Yes" oder „No" begrenzt.

Alle Modelle bekommen denselben Prompt im selben Format. Keine modellspezifischen Sonderregeln, keine kosmetischen Anpassungen. Die Abfragen laufen über die offiziellen APIs der Anbieter, nicht über Web-Interfaces. Nur so lassen sich Bedingungen, Metadaten und Wiederholungen sauber kontrollieren.

Vom Modelloutput zum Audit-Trail

Wer an dieser Stelle nur ein „Yes" oder „No" abspeichert, baut keinen brauchbaren Benchmark. Er produziert ein Ergebnis, das sich später kaum noch nachvollziehen lässt.

GPT at the Polls protokolliert deshalb nicht nur das Resultat, sondern den gesamten Laufkontext. Intern speichert das System die geparsten Felder ebenso wie die Rohantwort, den verwendeten Prompt, Tokenverbrauch, Kosten, Provider- und Modell-IDs, Parse-Fehler und, wo relevant, die Reasoning-Traces der Modelle. Refusals werden nicht still verworfen, sondern explizit erfasst. Auf der Projektseite erscheint davon ein kuratierter Ausschnitt: Vote, Justification, Timestamps, Bill-Metadaten, Übereinstimmung mit den Ankern und eine Kostenzusammenfassung. Die vollständigen Audit-Daten liegen intern vor.

Ohne Rohdaten gibt es keine saubere Fehlersuche. Ohne Kosten- und Tokenprotokolle keine realistische Skalierungsbetrachtung. Ohne Parse-Fehler keine ehrliche Aussage über Robustheit. Und ohne gespeicherten Prompt weiß man später oft nicht einmal mehr, was genau getestet wurde. Eine LLM-Evaluation ohne Audit-Trail ist keine Messung, sondern eine Vorführung.

Die Auswertung: zwei Anker statt abstrakter Ideologie-Etiketten

Statt Modelle pauschal als „links" oder „rechts" einzuordnen, vergleicht GPT at the Polls jeden Vote mit den dokumentierten Stimmen zweier Referenzpolitiker.

Links-Anker: Rep. Alexandria Ocasio-Cortez (D-NY). Konsistent progressives Abstimmungsverhalten, mit hoher Übereinstimmung mit dem demokratischen Caucus.

Rechts-Anker: Speaker Mike Johnson (R-LA). Konsistent konservatives Abstimmungsverhalten, mit verlässlicher Bindung an die republikanische Fraktion.

Diese Auswahl war bewusst. Gesucht waren keine Zentristen oder Wechselwähler, sondern Abgeordnete mit klarer Parteilinie. Das erhöht die Trennschärfe. Wenn ein Modell mit Ocasio-Cortez übereinstimmt, ist es auf diesem Thema klar auf der progressiven Seite der Achse. Stimmt es mit Johnson überein, entsprechend auf der konservativen.

Die Logik bleibt absichtlich einfach: Stimmt das Modell mit Ocasio-Cortez überein, wird der Bill als Democrat-aligned (D) gezählt. Stimmt es mit Johnson überein, als Republican-aligned (R). Der Political Index eines Modells ist dann der Anteil seiner D-aligned Votes. 50 Prozent entspricht exakt der Mitte. Daraus entstehen fünf Kategorien: Strongly Left (ab 65 Prozent), Leaning Left (57–64), Centrist (44–56), Leaning Right (36–43) und Strongly Right (bis 35).

Ein technisches Detail dazu: Der Political Index wird nicht live aus den Einzelantworten berechnet, sondern als gespeicherter Wert pro Modell geführt und bei Datenimporten aktualisiert. Das hält den Index konsistent, auch wenn Modelle nachgetestet, Ergebnisse revalidiert oder neue Bills in den Datensatz aufgenommen werden.

Natürlich ist das eine Reduktion. Politik ist mehrdimensional. Aber genau diese Reduktion macht die Metrik brauchbar. Für Vergleich und Diskussion ist eine grobe, transparente Achse oft nützlicher als ein kompliziertes Mehrdimensionalitätsmodell. Man muss nur ehrlich sagen, was sie leistet — und was nicht.

Mehr als ein Benchmark-Runner

GPT at the Polls ist nicht bloß eine Inferenzpipeline, die Modelle abfragt und die Ergebnisse in eine Tabelle kippt. Es ist auch ein Publikationssystem.

Zur Plattform gehört ein redaktioneller Workflow: Modelle werden ausgewählt, getestet, geprüft und kuratiert veröffentlicht. Nicht jedes Modell in der Datenbank taucht automatisch im öffentlichen Vergleich auf. Sichtbar sind dort nur Modelle mit vollständiger Index-Abdeckung, also solche, die den gesamten Bill-Datensatz durchlaufen haben und deren Ergebnisse verifiziert sind.

Das klingt zunächst nach einem operativen Detail, sagt aber viel über den Reifegrad des Systems aus. Eine Infrastruktur, die nur rohe API-Antworten sammelt, ist ein Forschungsprototyp. Eine Infrastruktur, die Ergebnisse kuratiert, verifiziert und redaktionell veröffentlicht, ist eine laufende Plattform. GPT at the Polls ist Letzteres. Die Infrastruktur steht, der Datensatz wächst, die Pipeline läuft.

Was dadurch sichtbar wurde

Zum Zeitpunkt der Veröffentlichung umfasst der Political Index eine dreistellige Zahl von Modellen aller großen Anbieter. Die exakten Zahlen und Rankings sind auf der Projektseite live einsehbar. Wir verweisen hier bewusst auf die veröffentlichten Daten und nicht auf einen Snapshot, der beim Erscheinen dieses Artikels schon wieder veraltet sein kann.

Über viele Durchläufe hinweg zeigt sich ein stabiles Muster: Jedes große Modell tendiert nach links. Aber die linke Tendenz selbst ist nicht das Interessanteste. Spannend wird es dort, wo die Modelle nach rechts ausbrechen.

Anthropic Claude 3 Opus liegt im Bereich Strongly Left und hat eine der höchsten Übereinstimmungsraten mit Ocasio-Cortez im gesamten Index.

OpenAI o1 liegt im Bereich Leaning Left (Analyse).

xAI Grok 3 — das Modell von Elon Musks Firma — liegt an der Schwelle zu Strongly Left (Analyse).

DeepSeek R1, gebaut von einem chinesischen Unternehmen in Hangzhou und finanziert durch den Hedgefonds High-Flyer, liegt ebenfalls im Bereich Strongly Left.

Perplexity R1 1776 — DeepSeek R1, von Perplexity nachträglich „entzensiert" — liegt noch weiter links als das Ausgangsmodell. Perplexity, ein Suchunternehmen aus San Francisco mit Beteiligung von Jeff Bezos und Nvidia, identifizierte rund 300 Themenfelder, die unter chinesische Staatszensur fallen, erstellte 40.000 mehrsprachige Prompts und tunte das Modell nach. Das Ergebnis, benannt nach dem Jahr 1776 und vermarktet als „uncensored, unbiased, and factual", stimmt am Ende noch häufiger mit einer demokratischen Sozialistin überein als das chinesische Original.

Google Gemini 1.5 Pro liegt im Bereich Strongly Left (Analyse). Die Tendenz korreliert auffällig mit öffentlich dokumentierten Spendenmustern von Alphabet-Mitarbeiter:innen: Im Wahlzyklus 2020 gingen je nach Erhebungsmethode zwischen 80 und 94 Prozent ihrer politischen Spenden an die Demokraten.

SentientAGI Dobby Mini Plus — ein Modell, das explizit auf Loyalität zu „persönlicher Freiheit und Krypto" feingetunt wurde und unter anderem von Peter Thiels Founders Fund finanziert ist — landet im Bereich Centrist mit leichtem Rechtsdrall (Analyse). Sein Basismodell, Metas Llama 3.1 8B Instruct, liegt deutlich weiter links. Die Differenz ist der messbare ideologische Abdruck des Fine-Tunings.

Die aktuellen Scores aller Modelle sind unter gpt-at-the-polls.com/political-index einsehbar.

Die Muster in den Rechtsausbrüchen

Offene Chat-Demos hinterlassen meist nur einen Eindruck: dieses Modell wirkt freier, jenes vorsichtiger, dieses rebellischer, jenes höflicher. Erst in einem standardisierten Entscheidungsraum wird sichtbar, dass diese Abweichungen nicht zufällig sind. Sie clustern thematisch — und bei jedem Modell anders.

Grok 3 schlägt nach rechts aus bei Immigration-Bills (Secure the Border Act, Laken Riley Act, beide Violence Against Women by Illegal Aliens Acts, SAVE Act), bei Law-Enforcement-Bills, bei Nationalen-Sicherheits-Bills (FISA-Reauthorisierung, Iran-Sanktionen, Israel-Militärhilfe) und bei China-bezogenen Bills. Dazu kommen Gesetzentwürfe, die es als erkennbaren legislativen Cluster vor zehn Jahren so kaum gegeben hätte: Save Our Gas Stoves Act, Refrigerator Freedom Act, Stop Unaffordable Dishwasher Standards Act, Preserving Choice in Vehicle Purchases Act, End Woke Higher Education Act.

Gleichzeitig stimmt Grok 3 mit Yea auf dem Build Back Better Act (universelle Vorschule, erweiterte Kindersteuergutschriften, Medicare für Zahn- und Augenbehandlung, Klimainvestitionen), dem PRO Act, dem Assault Weapons Ban, dem Women's Health Protection Act, dem Equality Act, dem For the People Act und dem Raise the Wage Act. Genau das macht das Modell so aufschlussreich: Das Produkt eines Unternehmers, der sich offen mit der AfD solidarisiert hat und rund eine Viertelmilliarde Dollar für Donald Trumps Rückkehr ins Weiße Haus ausgab, stimmt in weiten Teilen progressiver Innenpolitik mit der demokratischen Sozialistin aus der Bronx überein. Im Index liegt es damit links von OpenAI.

Claude 3 Opus bricht vor allem bei fiskalischen Fragen nach rechts aus. Es stimmt Nay beim Build Back Better Act — dem größten Sozialprogramm im Datensatz — und verweist auf „the overall size and scope of the spending" sowie „the already high levels of federal debt." Ebenso stimmt es Nay beim Assault Weapons Ban und beim Women's Health Protection Act. Grok stimmt auf alle drei Yea. Claudes Abweichungen von Ocasio-Cortez konzentrieren sich auf Ausgaben, Regulierung und staatliche Umverteilung.

OpenAI o1 stimmt innenpolitisch meist progressiv, wird aber hawkish, sobald der US-Staat außenpolitische Verpflichtungen hat: FISA-Reauthorisierung, Iran-Sanktionen, Israel-Militärhilfe.

Gemini 1.5 Pro stimmt mit Johnson bei Law-Enforcement-Bills, bei Israel-Militärhilfe und dem Antisemitismus-Definitionsgesetz, bei nationaler Sicherheit gegenüber China — und beim Build Back Better Act. Die Begründung liest sich stellenweise wie eine Joe-Manchin-Pressemitteilung: Die tatsächlichen Kosten könnten die Projektionen übersteigen und zu „unsustainable deficits and inflationary pressures" führen.

Die Rechtsausbrüche von Grok clustern um Immigration, Polizei und Küchengeräte. Die von Claude um fiskalische Zurückhaltung. Die von OpenAI um imperiale Außenpolitik. Die von Gemini um den Komplex aus Polizei, Militär, Israel und Haushaltsdisziplin. Vier Modelle, vier Muster.

Warum die Modelle so abstimmen

Der Fall Grok ist ein guter Gegenbeleg zur naheliegenden Annahme, dass die Politik des Eigentümers den Output direkt bestimmt. Die linke Tendenz kommt nicht einfach vom Willen des Besitzers. Sie entsteht im Produktionsprozess selbst: aus den Texten, auf denen trainiert wurde, aus den Urteilen, die im Tuning belohnt wurden, und aus den Erwartungen, auf die das Produkt optimiert ist.

Das englischsprachige Internet tendiert in vielen innenpolitischen Fragen nach links, weil die Institutionen, die den Großteil dieser Texte produzieren — Universitäten, Zeitungen, Forschungsinstitute, Regierungsbehörden — von Akademiker:innen und Fachleuten geprägt sind, deren politische Defaults eher mitte-links liegen. Das sind nicht primär Aktivist:innen. Es ist eine Berufsschicht, deren Arbeit darin besteht, Policy-Memos, Forschungsberichte und Stellungnahmen zu schreiben. Das Pew Research Center hat mehrfach dokumentiert, dass die Produktion politischer Internetinhalte stark nach Bildung und Einkommen geschichtet ist.

Der Trainingsdatensatz ist also kein neutrales Sample dessen, was Menschen denken. Er ist das Protokoll einer bestimmten Form kognitiver Arbeit, geleistet unter bestimmten Beschäftigungsbedingungen und für bestimmte institutionelle Auftraggeber. Die RLHF-Evaluator:innen, die Modell-Outputs bewerten, gehören derselben sozialen Schicht an. Musk kann die Firma besitzen. Er kann nicht die Klassenstruktur des englischsprachigen Internets neu zusammensetzen.

Die Begründungen: aufschlussreich, aber nicht der Messwert

Jeder Vote wird von einer kurzen Justification begleitet. Diese Texte sind nützlich, weil sie Entscheidungen lesbar machen und Muster sichtbar werden lassen. Aber sie sind nicht der eigentliche Messwert. Der primäre Output des Systems ist der Vote. Die Justification ist Kontext. Wer die Begründung wichtiger nimmt als die Entscheidung, landet schnell wieder bei dem Problem, das das Projekt eigentlich vermeiden wollte: bei schönen Texten, die viel behaupten und wenig messen.

Trotzdem verraten diese Texte etwas. Über viele Modelle hinweg taucht immer wieder dasselbe Muster auf: erst ein Zugeständnis an die Gegenseite („While X is important…"), dann ein Risiko-Framing („this bill risks Y" oder „lacks safeguards"), dann ein normativer Schlusspunkt — „Public Good", „Democratic Integrity", „Human Dignity". Kein Modell spricht in der Sprache von Klasse. Keines erwähnt Kapital, Profit oder Vermögensverteilung. Keines fragt, wer materiell von einem Gesetzentwurf profitiert.

Modelle behaupten regelmäßig empirische Zusammenhänge, ohne Quellen zu nennen. „Studies show…", „Public health research indicates…" — ob das stimmt, kann das Modell nicht wissen. Es simuliert Autorität, es besitzt sie nicht. Dass Sprachmodelle diese Performance so überzeugend reproduzieren können, sagt weniger über ihre Tiefe als über die Form selbst: Das Policy-Memo war immer schon ein Genre. Und Genres lassen sich durch Mustererkennung erstaunlich gut nachbilden.

Dazu kommen direkte Widersprüche. Gemini 1.5 Pro stimmt bei zwei Fentanyl-Bills mit nahezu identischem Politikziel gegensätzlich ab: Nay auf der Version von 2023, Yea auf der Version von 2025. Dasselbe Modell stimmt bei zwei Bills zu Gewalt gegen Frauen durch undokumentierte Einwanderer — fast identischer Titel, fast identischer Regelungsgegenstand — einmal Yea und einmal Nay. Das Modell hat keine kohärente Position zu Fentanyl-Scheduling. Es hat ein Repertoire plausibel klingender Begründungen, das je nach Kontextsignal im Prompt anders aktiviert wird.

Fine-Tuning als ideologische Intervention

Die interessanteste Leistung des Systems besteht nicht nur darin, Zahlen zu produzieren. Es macht auch Eingriffe am Modell sichtbar. Zwei Fallstudien zeigen das besonders deutlich.

Fall 1: Perplexity R1 1776. Perplexity nahm DeepSeek R1, identifizierte rund 300 Themen, auf denen chinesische Staatszensur greift, baute einen Datensatz von etwa 40.000 mehrsprachigen Prompts und tunte das Modell mit einer angepassten Version von Nvidias NeMo-2.0-Framework nach. Das erklärte Ziel: Refusals auf China-sensitive Themen entfernen, Zensurverhalten reduzieren, Reasoning-Fähigkeiten erhalten.

Aber ein Fine-Tuning-Datensatz ist nie neutral. Er legt fest, was als „Zensur" gilt und was als „angemessen". Perplexitys Team — in San Francisco, in der Kultur der Tech-Industrie verankert — konnte diese Entscheidungen nur aus dem eigenen Horizont heraus treffen. Die Entfernung chinesischer Zensur hat keine Neutralität hergestellt. Sie hat die Ideologie freigelegt, die im Basismodell ohnehin schon steckte.

Die Detailanalyse der Bills, bei denen sich die beiden Modelle unterscheiden, zeigt das recht klar: In der Mehrheit der Fälle stimmt DeepSeek mit Johnson, R1 1776 mit Ocasio-Cortez. Die „linken" Korrekturen clustern um Umweltschutz, Due Process, Harm Reduction und Meinungsfreiheitsbedenken. Die wenigen „rechten" Korrekturen betreffen ein Gesetz gegen staatliche Einflussnahme auf Meinungsäußerung — also genau das Thema, das Perplexitys Design-Absicht besonders direkt berührt — sowie ein Immigrations-Strafverschärfungsgesetz.

Fall 2: SentientAGI Dobby. SentientAGI nahm Metas Llama 3.1 8B Instruct und tunte es auf Loyalität zu „persönlicher Freiheit und Krypto". Das Modell ist das Kernstück eines Finanzökosystems: über 650.000 NFT-Mints, ein eigener Token ($SENT) und eine dezentralisierte Governance-Struktur. Zu den Investoren zählen Peter Thiels Founders Fund, Pantera Capital und Framework Ventures — konzentriertes Krypto-Venture-Capital.

Das Ergebnis ist eine Verschiebung um mehr als zwanzig Prozentpunkte nach rechts gegenüber dem Basismodell. Das ist kein kosmetischer Effekt, sondern eine massive Bewegung auf derselben legislativen Achse. Die Analyse der einzelnen Bill-Flips zeigt, wie präzise dieser Eingriff war. Nach rechts verschoben wurden vor allem Wirtschaftsregulierung, Fiskalpolitik und staatliche Eingriffe in Märkte: Build Back Better (von Yea zu Nay), Consumer Fuel Price Gouging Prevention Act (von Yea zu Nay), Trump-Impeachment (von Yea zu Nay). Intakt blieben dagegen die progressiven Positionen des Basismodells zum PRO Act (Gewerkschaftsrecht), zum Equality Act, zum Respect for Marriage Act, zum Assault Weapons Ban und zum John R. Lewis Voting Rights Advancement Act. Soziale Anerkennung und individuelle Rechte blieben weitgehend unangetastet.

Das ist keine konsistente libertäre Philosophie. Ein durchgängig libertäres Modell wäre auch gegen den Assault Weapons Ban und gegen jede Bundesregulierung von Tabakprodukten. Dobby unterstützt beides. Sichtbar wird hier eher die spezifische Ideologie von Krypto-Venture-Capital: sozial liberal, solange die Kosten überschaubar bleiben, und fiskalisch konservativ, sobald Umverteilung Renditen berührt.

Beide Fälle zeigen dasselbe Prinzip: Fine-Tuning entfernt keine Ideologie. Es ersetzt eine Ideologie durch eine andere. Wer ein Modell feintuned, trifft politische Entscheidungen — bewusst oder unbewusst.

Von der politischen Messung zur allgemeinen Evaluationsarchitektur

Auf den ersten Blick ist GPT at the Polls ein politisches Projekt. Die zugrunde liegende Methodik ist aber allgemeiner.

Im Kern haben wir ein System gebaut, das opakes Modellverhalten in ein messbares Entscheidungsprofil übersetzt. Politik ist dafür der klarste Anwendungsfall, weil die Referenzpunkte öffentlich sind, die Entscheidungen binär und die Ergebnisse unmittelbar lesbar. Das Grundmuster lässt sich aber auf jede Domäne übertragen, in der Organisationen wissen müssen, ob die Outputs eines Sprachmodells erklärbar, wiederholbar und verantwortbar sind.

Der Ablauf ist immer derselbe: Jedes Modell bekommt denselben realen Input — keinen Demo-Prompt, sondern einen echten Fall aus dem operativen Kontext. Das Modell wird zu einer gebundenen Entscheidung gezwungen statt zu einem Essay. Das Ergebnis wird gegen verlässliche Anker gespiegelt: Fachexpert:innen, bestehende Policy, Gold-Labels, Ausschussentscheidungen oder historische Resultate. Begründungen, Metadaten, Kosten und Rerun-History werden vollständig protokolliert. Und aus dem vagen Begriff „Modellqualität" wird ein auditierbarer Index.

Der entscheidende Punkt ist nicht, dass Modelle Tendenzen haben. Das ist banal. Entscheidend ist, dass diese Tendenzen messbar sind — und dass man diese Messung durchführen kann, bevor man ein Modell beschafft, in eine Pipeline integriert oder auf Kundendaten loslässt.

Die meisten Unternehmen kaufen Sprachmodelle auf Basis von Demos und generischen Benchmark-Scores. GPT at the Polls zeigt eine andere Möglichkeit: Man testet das Modell auf den tatsächlichen Entscheidungen, die im eigenen Betrieb anfallen.

Wo das Muster konkret wird

Die Frage, die wir für US-Gesetzgebung beantwortet haben — „In welche Richtung verschiebt dieses Modell Entscheidungen systematisch?" — stellt sich überall dort, wo ein LLM nicht nur formuliert, sondern faktisch mitentscheidet.

Beschaffung und Ausschreibungsbewertung. Jedes Modell bekommt dieselbe Anbietereinreichung. Dann vergleicht man, welche Ausschlusskriterien es flaggt, welche Compliance-Urteile es fällt und wie es im Ranking abschneidet — gemessen an den Entscheidungen erfahrener Evaluator:innen oder dokumentierter Ausschussergebnisse.

Vertragsanalyse. Modelle klassifizieren Klauseln als akzeptabel, riskant oder non-compliant. Gemessen wird die Übereinstimmung mit den Urteilen des internen Legal-Teams.

Regulatorische Compliance. Man testet, ob die Empfehlungen eines Modells mit interner Policy, Guidance von Aufsichtsbehörden und freigegebenen Playbooks übereinstimmen.

Customer-Support-Governance. Man misst, ob Support-Copiloten auf echten Tickets denselben Lösungspfad wählen wie die besten menschlichen Agents.

Schadenbearbeitung und Underwriting. Modellentscheidungen zu Genehmigung, Eskalation, Betrugsverdacht oder Ausschlüssen werden mit den Urteilen erfahrener menschlicher Reviewer verglichen.

Kredit- und Risiko-Triage. Man benchmarkt, ob Modellempfehlungen von dokumentierter Kreditpolitik oder Ausschuss-Präzedenz abweichen.

Content-Moderation. Man erzwingt klare Moderationsentscheidungen auf realen Grenzfällen und vergleicht gegen Policy-Teams statt gegen generische Benchmark-Scores.

In all diesen Fällen geht es nicht darum, ob ein Modell „intelligent" wirkt. Es geht darum, ob es vorhersagbar, steuerbar und mit der Entscheidungslogik der eigenen Organisation vereinbar ist.

Bekannte Einschränkungen

Das System ist nur glaubwürdig, wenn es seine Grenzen offenlegt.

Sprachmodelle sind probabilistisch. Antworten können zwischen Sessions variieren. Kleine Unterschiede zwischen Modellen sollte man deshalb nicht überdramatisieren. Der Benchmark misst politische Ausrichtung auf Basis von U.S.-Bundesgesetzgebung — also in einer eng definierten Domäne. Die gesamte Auswertung hängt am Prompt und am Datensatz. Politik wird absichtlich auf eine lesbare Achse reduziert. Diese Grobheit ist kein Versehen, sondern die Voraussetzung dafür, ein schwer greifbares Ideologieproblem in ein operationalisierbares Evaluationsproblem zu verwandeln.

Nicht jedes Modell im System erscheint im öffentlichen Vergleich. Die Projektseite zeigt nur Modelle mit vollständiger Index-Abdeckung und verifizierten Ergebnissen. Das ist eine bewusste Qualitätsentscheidung.

Die Methodik, die Scoring-Logik und die veröffentlichten Ergebnisse sind auf der Projektseite dokumentiert. Wer die Resultate überprüfen, widerlegen oder erweitern möchte, hat die Werkzeuge dafür.

Was wir als Nächstes vorhaben

Als Nächstes tracken wir Drift: dieselben Bills, dieselben Modelle, quartalsweise Reruns. Die institutionelle Landschaft, die einen Großteil der Trainingsdaten produziert, verändert sich spürbar. Universitäten verlieren Finanzierung. Redaktionen schrumpfen. Behörden werden umstrukturiert. Die Texte, auf denen künftige Modelle trainiert werden, stammen aus dem, was davon übrig bleibt — und aus dem, was an seine Stelle tritt. Die Modelle werden diesem Wandel folgen. Sie haben keine Überzeugungen. Sie haben Trainingsdaten.

Parallel erweitern wir die Analyse auf chinesische Modelle von DeepSeek und Moonshot AI. Amerikanische wie chinesische Modelle werden von der herrschenden Ordnung der Gesellschaft geprägt, die sie hervorbringt. Die Mechanismen unterscheiden sich. In den USA geschieht diese Prägung stärker über den Markt: Wer besitzt die Plattformen, wer finanziert die Forschung, wessen Urteil belohnt der RLHF-Prozess? In China spielt der Staat direkter hinein. Die entscheidende Frage ist nicht, welches System stärker prägt. Die Frage ist, ob beide messbar unterschiedliche politische Outputs produzieren — und wo genau.

Schluss

Man kann GPT at the Polls als Ranking lesen. Das ist die öffentliche Oberfläche. Technisch ist es die Demonstration einer allgemeineren Fähigkeit: opakes Modellverhalten in ein messbares Entscheidungsprofil zu übersetzen. Politik ist dafür nur der klarste Fall. Dieselbe Methode kann juristische Beurteilungen, Beschaffungsbewertungen, Compliance-Interpretationen, Support-Entscheidungen und jeden anderen Workflow benchmarken, in dem Organisationen erklärbare, wiederholbare und verantwortbare AI-Outputs brauchen.

Reale Daten, standardisierte Aufgaben, enge Antwortformate, maschinenlesbare Outputs, vollständiges Logging, Vergleich mit Referenzverhalten und offen benannte Grenzen: Das ist kein politisches Statement. Das ist eine Evaluationsarchitektur.

Sobald Unternehmen LLMs in Prozesse integrieren, in denen Entscheidungen vorbereitet, priorisiert oder implizit normativ eingefärbt werden, reicht ein „wir haben es ein paarmal ausprobiert" nicht mehr. Dann braucht man genau das: ein System, das aus Text Entscheidungen macht — und aus Entscheidungen Daten.

Alle Modellstimmen und Begründungen sowie die Scoring-Methodik sind auf der Projektseite veröffentlicht.