Sexroboter kaufen Logo

Sexroboter: Wortfehlerraten sinnvoll vergleichen

Von Dennis Bonfert

Eine Wortfehlerrate bewertet die Abweichung einer Transkription vom Referenztext, nicht die gesamte Gesprächsqualität eines Sexroboters. Vergleichbar werden zwei Quoten erst durch dieselben Sprachaufnahmen, dieselben Zählregeln und dieselbe Zusammenfassung der Ergebnisse. Eine kleinere Prozentzahl allein belegt keinen besseren Sprachdialog.

Kurz zusammengefasst

Prüfe bei einer WER-Angabe den Datensatz, die Referenztexte, die Textaufbereitung und die Berechnung über mehrere Sätze. WER steht für Word Error Rate. Ersetzungen, ausgelassene Wörter und zusätzliche Wörter gehen in die Kennzahl ein. Die folgenden eigenen Rechenfälle zeigen, warum zwei korrekte Auswertungen unterschiedlich aussehen und warum kurze Sätze beim einfachen Mittelwert stark ins Gewicht fallen. Es wurden keine Verkaufsmodelle getestet. Fehlt ein zugängliches Erkennungstranskript, lässt sich aus der gesprochenen Antwort keine belastbare Wortfehlerrate nachbauen.

Wer deutschsprachige Sexroboter vergleicht, benötigt eine zur eigenen Sprache passende Aussage. Der bestehende Beitrag zur Spracherkennung bei Sexrobotern erklärt Aufnahmebedingungen und persönliche Vorführungen. Hier geht es enger um die Frage, was eine angegebene Fehlerquote rechnerisch bedeutet.

Wie wird eine Wortfehlerrate berechnet?

Die Wortfehlerrate addiert Ersetzungen, Löschungen und Einfügungen und teilt diese Summe durch die Anzahl der Referenzwörter. Für eine Prozentangabe wird das Ergebnis mit hundert multipliziert. Die Wörter des erkannten Textes sind nicht der Nenner dieser Rechnung.

Microsoft beschreibt WER anhand dieser drei Fehlerarten. Die Kurzform lautet WER = (S + D + I) / N × 100 Prozent. S bezeichnet Ersetzungen, D Löschungen, I Einfügungen und N die Zahl der Wörter im Referenztext. Eine Ausgabe als Dezimalzahl und eine Prozentanzeige müssen auseinandergehalten werden: 0,08 entspricht acht Prozent, nicht 0,08 Prozent.

Ein selbst entwickelter Rechenfall verwendet 100 Referenzwörter. Die zugeordnete Erkennung enthält vier Ersetzungen, zwei Löschungen und zwei Einfügungen. Damit ergibt sich (4 + 2 + 2) / 100 × 100 = acht Prozent. Dieser Fall enthält keine aufgenommenen Gespräche. Er erklärt nur die Rechenregel.

Auch eine Quote über hundert Prozent ist rechnerisch möglich. Zu der fiktiven Referenz „Hallo“ mit einem Wort passe die Ausgabe „Hallo guten Morgen heute“. Drei zusätzliche Wörter bei einem Referenzwort ergeben 300 Prozent. Daraus folgt nicht, dass das System „dreimal vollständig falsch“ sei. Die Kennzahl ist keine auf hundert Prozent begrenzte Wahrscheinlichkeit.

Die Zahl korrekt erkannter Wörter und die Wortfehlerrate sind deshalb keine einfachen Gegenstücke. Bei vielen Einfügungen ist „hundert minus WER“ keine sinnvolle Erfolgswahrscheinlichkeit. Für einen Käufer ist eine separat bezeichnete Kennzahl besser als eine Werbung, die aus einer Fehlerquote ohne Erklärung eine allgemeine „Verstehensgenauigkeit“ macht.

Warum muss die Zuordnung der Wörter nachvollziehbar sein?

Die Ausrichtung ordnet Referenz und Erkennung einander zu, bevor Fehler gezählt werden. Ein ausgelassenes Wort verschiebt sonst alle folgenden Positionen. Ein guter Bericht benennt das Auswertungsverfahren und ermöglicht bei auffälligen Beispielen einen Blick auf diese Zuordnung statt nur auf die Endsumme.

Die NIST-Dokumentation zu sclite beschreibt den Vergleich von Referenz und Erkennung als Alignment und unterscheidet Verfahren sowie Dateiformate. Das Werkzeug ist ein Beispiel für dokumentierte Auswertung, kein Nachweis einer Verwendung in einem angebotenen Roboter.

Unser eigenes Beispiel lautet in der Referenz „der kleine becher steht links“ und in der Erkennung „der becher steht links“. Nach sinnvoller Ausrichtung fehlt „kleine“; die anderen vier Wörter stimmen überein. Ein starrer Vergleich nach Position würde dagegen „becher“ mit „kleine“ und „steht“ mit „becher“ vergleichen. Er würde aus einer Auslassung mehrere scheinbare Abweichungen machen.

Bei längeren oder wiederholten Wortfolgen ist die Ausrichtung weniger offensichtlich. Lass dir für eine strittige Zahl deshalb die tatsächlich verwendete Gegenüberstellung zeigen. Der Käufer muss keine eigene Erkennungssoftware programmieren. Er muss erkennen können, ob zwei Berichte denselben Vergleich meinen und ob dieselben Aufnahmen vollständig einbezogen wurden.

Eine Referenz muss außerdem das Gesprochene abbilden. Ein vorab ausgedruckter Satz ist nicht automatisch die richtige Referenz, falls die Person beim Vorlesen ein Wort anders sagt. Für eine dokumentierte Auswertung wird dieser Unterschied geprüft. Sonst wird eine Abweichung beim Vorlesen der Spracherkennung zugeschrieben.

Wie verändern Schreibregeln das Ergebnis?

Großschreibung, Satzzeichen und Zahlenschreibweisen können den Textvergleich verändern, ohne dass eine andere Aufnahme vorliegt. Deshalb gehören die Aufbereitungsregeln zur Kennzahl. Beide Systeme müssen mit derselben dokumentierten Regel ausgewertet werden; nachträgliche Sonderregeln nur für einen Anbieter machen die Rangfolge unbrauchbar.

Die JiWER-Anleitung zeigt, wie Referenz und Erkennung vor der Berechnung transformiert und wie Fehlerzuordnungen angezeigt werden können. Die gesonderte Dokumentation der voreingestellten Transformationen macht deutlich, dass unterschiedliche Verarbeitungsketten verfügbar sind. Ein Werkzeugname allein beschreibt daher noch nicht alle Zählregeln.

Die folgende Tabelle enthält eigene, erfundene Textpaare. Sie zeigt offene Entscheidungen, keine bereits festgelegten Fehlerzahlen:

  • Guten Morgen.: guten morgen – Werden Großschreibung und Satzzeichen vereinheitlicht?
  • um fünf Uhr: um 5 Uhr – Wird derselbe Zahlenwert in eine gemeinsame Schreibweise überführt?
  • das ist okay: das ist ok – Gelten beide Schreibweisen nach einer vorab festgelegten Regel als gleich?
  • nicht heute: heute – Die fehlende Verneinung darf nicht als bloße Formatabweichung entfernt werden.

Eine Normalisierung ist keine freie Textkorrektur. Sie kann festgelegte Schreibvarianten vereinheitlichen, darf aber nicht nachträglich jede unerwünschte Abweichung passend umformulieren. Bewahre Originalanzeige, Referenz und normalisierte Fassungen getrennt auf. Dann ist erkennbar, welche Differenzen durch die Regel verschwunden sind.

Für Deutsch lohnt eine ausdrückliche Nachfrage nach zusammengesetzten Wörtern und gesprochenen Zahlen. Ein englisches Auswertungsbeispiel legt diese Entscheidungen nicht automatisch für deutsche Eingaben fest. Die Anforderung lautet nicht „Benutze möglichst großzügige Regeln“, sondern „Benutze nachvollziehbar dieselben Regeln“.

Warum ist der Durchschnitt einzelner Prozentwerte problematisch?

Eine Gesamt-WER über alle Wörter ist nicht dasselbe wie der einfache Mittelwert der Satzquoten. Bei der Gesamtquote zählen Fehler und Referenzwörter gemeinsam. Beim Satzmittel erhält jeder Satz dasselbe Gewicht, unabhängig davon, ob er zwei oder hundert Wörter enthält.

Der folgende eigene fiktive Vergleich verwendet zwei Abschnitte: einen kurzen mit zehn und einen langen mit neunzig Referenzwörtern. A und B bezeichnen erfundene Erkennungsergebnisse, keine Produkte. Die Fehlerzahlen seien bereits mit derselben Ausrichtungs- und Normalisierungsregel ermittelt.

  • Kurz: 10 – 2 – 20 % – 0 – 0 %
  • Lang: 90 – 0 – 0 % – 9 – 10 %

Über beide Abschnitte zusammen hat A zwei Fehler bei hundert Wörtern, also zwei Prozent. B hat neun Fehler bei hundert Wörtern, also neun Prozent. Nach dieser Gesamtquote liegt A vorne.

Der einfache Mittelwert der beiden Satzquoten ergibt für A dagegen (20 + 0) / 2 = zehn Prozent. Für B ergibt er (0 + 10) / 2 = fünf Prozent. Nun liegt B vorne. Kein Fehler wurde hinzugefügt oder entfernt; nur die Zusammenfassung wurde verändert.

Die beiden Auswertungen beantworten unterschiedliche Fragen. Die Gesamtquote beschreibt die Fehler bezogen auf alle berücksichtigten Wörter. Das Satzmittel gibt jedem Abschnitt denselben Einfluss. Wer beide Werte veröffentlicht, muss sie verschieden benennen. Wer nur „durchschnittliche Fehlerrate“ schreibt, lässt eine entscheidende Information offen.

Vertiefung: Lange Texte können kurze Probleme verdecken

Im Beispiel ist A über alle Wörter besser, scheitert aber häufiger am kurzen Abschnitt. Falls gerade kurze Eingaben für deine Nutzung wichtig sind, sollte ihr Ergebnis sichtbar bleiben. Daraus folgt keine neue allgemeine Gewichtungsformel. Die bessere Dokumentation zeigt Gesamtquote und passende Teilgruppen nebeneinander. Sie entscheidet nicht erst nach dem Ergebnis, welche Zusammenfassung den gewünschten Sieger liefert.

Welche Angaben machen zwei Sprachbenchmarks vergleichbar?

Zu einer Vergleichszahl gehören Sprache, Aufnahmen, Sprecherumfang, Eingabeweg, Softwarestand und Auswertungsregeln. Ein Ergebnis eines zugrunde liegenden Sprachdienstes ist außerdem nicht automatisch ein Ergebnis des vollständigen Roboters. Die veröffentlichte Zahl muss der tatsächlich untersuchten Verarbeitungskette zugeordnet bleiben.

Für die Angebotsprüfung hilft folgende eigene Dokumentenliste:

  • Datensatz: Welche Aufnahmen und Referenztexte wurden verwendet?
  • Sprache: Welche deutsche Sprachvariante und welcher Wortschatz sind abgedeckt?
  • Umfang: Wie viele unterschiedliche Sprecher, Äußerungen und Referenzwörter wurden untersucht?
  • Eingabeweg: Stammt das Signal vom vorgesehenen Gerätemikrofon oder aus bereitgestellten Dateien?
  • Version: Welcher Software- oder Modellstand wurde ausgewertet?
  • Auswertung: Welche Normalisierung, Zuordnung und Zusammenfassung erzeugen die Quote?
  • Ausfälle: Wie werden nicht verarbeitete Aufnahmen und fehlende Ergebnisse behandelt?

Ein Bericht über hundert Aufnahmen einer Person hat eine andere Abdeckung als hundert Aufnahmen von hundert Personen. Diese Feststellung sagt noch nichts über den besseren Zahlenwert. Sie verhindert lediglich, dass „hundert Sprachtests“ als eindeutige Beschreibung der Stichprobe behandelt wird.

Besondere Aufmerksamkeit verdienen fehlende Ausgaben. Eine leere Transkription zu einem tatsächlich gesprochenen Referenzsatz ist nicht automatisch ein auszuschließender Datensatz. Eine technisch gar nicht verarbeitete Datei muss ebenfalls sichtbar dokumentiert werden. Werden schwierige Fälle einfach entfernt, beschreibt die verbleibende Quote nur die Auswahl nach diesem Ausschluss.

Für einen persönlichen Eindruck sind wenige neutrale Sätze nützlich. Für eine allgemeine Leistungsbehauptung über deutsche Gespräche reichen sie nicht. Trenne deshalb im eigenen Kaufvermerk „unter diesen Bedingungen beobachtet“ von „laut dokumentierter Untersuchung über diesen Datensatz ermittelt“. Beide Informationen können helfen, haben aber einen anderen Geltungsbereich.

Welche Aussage bleibt trotz niedriger WER offen?

Eine niedrige Wortfehlerrate belegt weder passende Antworten noch gutes Gedächtnis oder sichere Steuerung. Sie beschreibt den Wortvergleich der untersuchten Eingaben. Bedeutung und Folgen einzelner Fehler müssen daneben beurteilt werden; eine korrekt geschriebene Eingabe kann weiterhin falsch beantwortet werden.

Ein verlorenes „nicht“ zählt bei der gewöhnlichen Wortfehlerrate nicht automatisch schwerer als ein verlorenes unbedeutendes Füllwort. Für deine Entscheidung lohnt deshalb ein gesonderter Blick auf wichtige Inhalte, ohne diese Prüfung wieder als WER zu bezeichnen. Der Beitrag über Halluzinationen der Spracherkennung erklärt speziell ungesprochenen Eingabetext und die Trennung von Transkript und Antwort.

Eine Anbieteranfrage kann knapp bleiben: Bitte nennen Sie zu Ihrer WER-Angabe die untersuchten deutschen Aufnahmen, den Eingabeweg, den Softwarestand und die Berechnung über mehrere Sätze. Bezieht sich der Wert auf den Sprachdienst allein oder auf die angebotene Gerätekonfiguration? Wie wurden ausbleibende Ergebnisse berücksichtigt?

Die Antwort wird nicht nach ihrer Länge bewertet. Ein nachvollziehbarer, begrenzter Nachweis ist nützlicher als eine universelle Prozentzahl ohne Grundlage. Sexroboter lassen sich nicht nach einer Sprachkennzahl allein auswählen: Bedienbarkeit, verfügbare Funktionen und der Umgang mit Missverständnissen bleiben zusätzliche Auswahlfragen.

Redaktionelle Einordnung

Die unerwartete Rangumkehr im eigenen Beispiel entsteht durch die Gewichtung, nicht durch einen heimlichen Qualitätswechsel. Für eine faire Kaufentscheidung ist deshalb zuerst die Vergleichsbasis zu klären. Danach kann eine kleinere WER ein sinnvolles Argument innerhalb dieser Basis sein. Sie ersetzt nicht die Frage, ob die untersuchten Situationen zu deiner Nutzung passen. Weitere Auswahlfragen bündelt der Sexroboter-Ratgeber.

Welche Detailfragen bleiben zur Wortfehlerrate?

Nicht jede Textanzeige eignet sich für eine WER-Auswertung. Vorläufige Anzeigen, zusammengefasste Inhalte und fremdsprachige Benchmarks verlangen jeweils eine eigene Zuordnung. Die folgenden Grenzen verhindern, dass eine scheinbar präzise Zahl mehr verspricht, als die zugrunde liegenden Texte erlauben.

Kann ich die WER aus der Antwort des Roboters berechnen?

Nein. Eine Antwort ist keine wortgetreue Transkription deiner Eingabe. Ohne Zugang zum tatsächlich verwendeten Erkennungstext bleibt diese Messung offen. Eine auswendig wiederholte Frage kann ebenfalls bereits umformuliert sein.

Muss ich private Gespräche für einen Vergleich hochladen?

Nein. Für eine vereinbarte Vorführung eignen sich unverfängliche, eigens formulierte Sätze. Die Prüfung einer Anbieterkennzahl verlangt nicht, private Aufnahmen an einen unbekannten Auswertungsdienst weiterzugeben. Ohne verfügbare Testdaten bleibt die unabhängige Nachrechnung als Grenze vermerkt.

Ist ein englischer Spitzenwert ein Nachweis für Deutsch?

Nein. Er beschreibt zunächst die untersuchte englische Aufgabe. Für deutsche Gespräche benötigst du eine passende Untersuchung oder eine entsprechend begrenzte Vorführung. Ein Sprachname in einer Funktionsliste ist noch kein deutscher Messbericht.

Recherche und redaktionelle Prüfung: 16.10.2026. Primärdokumentation von Microsoft, NIST und JiWER; eigene ausdrücklich fiktive Rechenfälle. Keine wörtlichen Quellenzitate, keine Produkttests. Zusätzliche Gesamt- und Darstellungsprüfung offen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

Dieses Feld ist ein Pflichtfeld

Dieses Feld ist ein Pflichtfeld

Dieses Feld ist ein Pflichtfeld

Bei der Übermittlung Ihrer Nachricht ist ein Fehler aufgetreten. Bitte versuchen Sie es erneut.

Sicherheitsüberprüfung

Ungültiger Captcha-Code. Versuchen Sie es erneut.

Information icon

Wir benötigen Ihre Zustimmung zum Laden der Übersetzungen

Wir nutzen einen Drittanbieter-Service, um den Inhalt der Website zu übersetzen, der möglicherweise Daten über Ihre Aktivitäten sammelt. Bitte überprüfen Sie die Details in der Datenschutzerklärung und akzeptieren Sie den Dienst, um die Übersetzungen zu sehen.