Blog · 2026-09-25
Wir haben Entwürfe getestet, nicht den Ruf der Modelle
Jede Woche ist ein neues Modell in irgendetwas „das beste aller Zeiten“. Als Übersetzerin oder Übersetzer können Sie nicht überprüfen, ob es auch für Ihre Bücher das beste ist. Wir konnten das auch nicht. Also haben wir gemessen.
Die Frage
Nicht „Welches Modell ist am klügsten?“ oder „Welches führt eine Rangliste an?“. Sondern: Welches schreibt einen Erstentwurf, der dem am nächsten kommt, was eine echte Literaturübersetzerin tatsächlich geschrieben hat – am nächsten an ihr, bei einem Roman, den sie gerade übersetzte?
Der Test
Mehr als ein Dutzend Modelle, von den großen Namen bis zu den kleinen, günstigen. Dieselben Anweisungen für alle: genau die, die Own Words tatsächlich sendet, mit ihren bisherigen Absätzen als Beispielen, dem vorangehenden Text und den Notizen zu ihrer Übersetzungsweise.
Ihre eigenen Absätze als Referenz, aus Arbeiten, die sie vor der Existenz des Werkzeugs angefertigt hatte. So hatte kein Modell einen Vorsprung dadurch, dass sie einen seiner früheren Entwürfe überarbeitet hatte. Dialoge und Beschreibungen, kurze und lange Absätze.
Kein Spicken. Bei jedem Entwurf haben wir geprüft, dass ihre Übersetzung dieses Absatzes und alles danach nicht in dem Material enthalten waren, das das Modell zu sehen bekam.
Der Messwert: Wie viel vom Entwurf wird durch ihren Text verändert? Je niedriger, desto näher. Das ist ein grobes Maß, denn eine berechtigte Alternative zählt genauso wie ein Fehler. Aber es ist für jedes Modell dasselbe.
Zuerst den Zufall berücksichtigen. Schon wenn dasselbe Modell denselben Absatz zweimal entwirft, unterscheiden sich die Ergebnisse merklich. Jeder „Sieg“, der kleiner ausfällt als diese Schwankung, ist ein Würfelwurf des Modells. Solche Siege haben wir nicht gewertet.
Das Ergebnis
Kein Modell schrieb messbar näher an ihr als das bescheidene Modell, das wir standardmäßig verwenden. Die beiden, die ihr am nächsten kamen, lagen innerhalb der zufälligen Schwankung und kosteten pro Entwurf ein Vielfaches. Mehrere lagen messbar weiter von ihr entfernt.
Wir haben auch zwei noch günstigere Modelle ausprobiert. Sie waren messbar schlechter, und eines machte Fehler, bei denen es um Bedeutung ging, nicht um Geschmack: Aus „Bartstoppeln“ wurde eine Treppenstufe, aus „unbeholfen“ wurde geschickt. Solche Fehler muss eine Übersetzerin erkennen, und einmal gesehen, bekommt sie sie nicht mehr aus dem Kopf. Dafür lohnt es sich nicht, einen Bruchteil eines Cents zu sparen.
Zwei Dinge, die wir nicht erwartet hatten
Was vor Ihnen liegt, behalten Sie bei. Als wir einen echten Abend ihrer Arbeit nachstellten, „gewann“ das Modell, das damals die Entwürfe für diese Absätze geliefert hatte, mit riesigem Abstand. Nicht weil es besser war, sondern weil ihr fertiger Text eine Überarbeitung seines Entwurfs war. Deshalb braucht ein fairer Test Arbeiten, die ohne das Werkzeug entstanden sind.
Die beinahe passende Form aus einer Nachbarsprache. Jede Übersetzerin kennt die Formulierung, die fast richtig und in ihrer Sprache schlicht falsch ist. Wir haben in etwa fünfzehnhundert Entwürfen danach gesucht und eine Handvoll gefunden. Keine stammte vom Standardmodell.
Was wir daraus gemacht haben
Das Standardmodell bleibt. Sie können jederzeit zu einem anderen Modell wechseln. Und weil sich literarisches Urteilsvermögen nicht durch das Zählen von Wörtern messen lässt, haben Sie das letzte Wort: Bei der tatsächlichen Arbeit zeigt Own Words manchmal zwei Entwürfe nebeneinander, ohne Modellnamen und in zufälliger Reihenfolge. Eine Änderung setzt sich nur dann durch, wenn Übersetzerinnen und Übersetzer sie klar bevorzugen.
Wir verwenden große Sprachmodelle. Wir möchten nur lieber wissen, welches und warum, statt uns auf eine Rangliste zu verlassen.
Das Gesamtbild: So funktioniert Own Words. Oder sehen Sie sich an, welche Entwürfe es für Ihr Buch erstellt: Die ersten zehn Seiten sind kostenlos.