UX messen: Erfolgsquote, Zeit, SUS und Conversion verständlich erklärt

Stell dir ein kleines Team vor, das die Online-Terminbuchung einer Physiotherapie-Praxis neu gestaltet hat. Die neue Version wirkt aufgeräumter, und im Team sind sich alle einig: Das ist viel besser. Dann fragt die Praxisleitung: „Woran sehen wir das?“ Und plötzlich wird es still im Raum.

Genau hier setzt dieser Artikel an. Er zeigt dir, wie du User Experience in Zahlen fassen kannst, ohne Statistik studiert zu haben. Du lernst vier Kennzahlen kennen, die in der Praxis am häufigsten vorkommen: die Erfolgsquote (Task Success), die Zeit pro Aufgabe, die System Usability Scale (SUS) und die Conversion Rate. Und du erfährst, wann welche davon weiterhilft und wann sie dich eher in die Irre führt.

Das Beispiel mit der Terminbuchung begleitet dich durch den ganzen Artikel. Alle Zahlen darin sind ausgedacht und dienen nur der Veranschaulichung.

Warum UX überhaupt messen?

User Experience (UX) beschreibt, wie Menschen ein Produkt erleben, vom ersten Eindruck bis zur erledigten Aufgabe. Vieles davon zeigt sich in Beobachtungen: Jemand zögert, sucht einen Button oder seufzt vor einem Formular. Solche Eindrücke sind wertvoll, aber sie lassen sich schwer vergleichen. War die neue Version wirklich einfacher, oder hatten die Testpersonen diesmal nur einen besseren Tag?

Kennzahlen, im Englischen Metrics, machen Veränderungen sichtbar. Sie helfen dir bei drei Dingen:

• Vergleichen: alte gegen neue Version, dein Produkt gegen einen Durchschnittswert oder heute gegen vor drei Monaten.
• Überzeugen: Ein Satz wie „vorher schafften zwei Drittel die Buchung, jetzt fast alle“ überzeugt eine Geschäftsführung oft schneller als zehn Zitate aus Interviews.
• Prioritäten setzen: Wenn eine Aufgabe deutlich schlechter abschneidet als die anderen, weißt du, wo du zuerst hinschauen solltest.

Dazu eine Unterscheidung, die dir in der Fachliteratur oft begegnet. Qualitative Methoden fragen nach dem Warum: Woran scheitern Menschen, und was denken sie dabei? Quantitative Methoden fragen nach dem Wie viel: Wie viele scheitern, wie lange dauert es, wie zufrieden sind sie? Die Nielsen Norman Group (NN/g), eines der bekanntesten Beratungs- und Forschungsunternehmen für UX, beschreibt qualitative Studien meist als formativ (sie helfen beim Gestalten) und quantitative meist als summativ (sie ziehen Bilanz). Beides ergänzt sich. Zahlen zeigen dir, dass etwas hakt. Beobachtungen zeigen dir, warum.

Die drei Seiten von Usability

Bevor es um einzelne Kennzahlen geht, lohnt sich ein Blick auf die Frage, was du eigentlich messen willst. Eine hilfreiche Grundlage liefert die internationale Norm ISO 9241-11. Sie definiert Usability, also Gebrauchstauglichkeit, sinngemäß als das Ausmaß, in dem bestimmte Menschen ein Produkt in einem bestimmten Nutzungskontext nutzen können, um bestimmte Ziele effektiv, effizient und zufriedenstellend zu erreichen.

In diesem Satz stecken drei Fragen, die du direkt in Kennzahlen übersetzen kannst:

• Effektivität: Schaffen Menschen, was sie vorhaben? Das misst die Erfolgsquote.
• Effizienz: Wie viel Aufwand kostet es sie? Das misst zum Beispiel die Zeit pro Aufgabe.
• Zufriedenheit: Wie erleben sie die Nutzung? Das misst ein Fragebogen wie die SUS.

Die Conversion Rate fällt etwas aus diesem Raster. Sie misst kein Erleben, sondern ein Geschäftsergebnis, das unter anderem von guter UX abhängt. Dazu später mehr.

Erfolgsquote: Schaffen Menschen ihre Aufgabe?

Die Erfolgsquote, englisch Task Success Rate oder Completion Rate, ist die einfachste und oft wichtigste Kennzahl. Sie gibt an, wie viel Prozent der Testpersonen eine Aufgabe erfolgreich abschließen. Gemessen wird sie meist in einem Usability-Test: Menschen aus der Zielgruppe bekommen realistische Aufgaben und versuchen, sie mit dem Produkt zu lösen, während du beobachtest.

So misst du sie

Jeff Sauro von MeasuringU, einem auf UX-Messung spezialisierten Forschungsunternehmen, empfiehlt eine einfache Kodierung: 1 für Erfolg, 0 für Misserfolg. Die Erfolgsquote ist dann die Zahl der Erfolge geteilt durch die Zahl der Versuche.

Der entscheidende Schritt passiert aber vor dem Test: Du legst fest, was als Erfolg zählt. Für die Terminbuchung könnte das so aussehen:

Aufgabe: „Buche für nächste Woche einen Termin für Krankengymnastik am Nachmittag.“

Erfolg: Auf dem Bildschirm erscheint die Buchungsbestätigung mit einem Termin nach 12 Uhr, in der richtigen Woche und mit der richtigen Behandlungsart.

Ohne diese Definition entstehen hinterher Diskussionen. Zählt es als Erfolg, wenn jemand einen Vormittagstermin bucht? Wenn jemand die Aufgabe erst nach einem Hinweis der Testleitung löst? Lege solche Fälle vorher fest und bleib dabei. Wer Hilfe braucht, hat die Aufgabe in der Regel nicht selbstständig gelöst.

Ein Beispiel

Im Beispiel testet das Team beide Versionen der Terminbuchung unmoderiert, also ohne Testleitung, mit je 40 Personen. Mit der alten Version schaffen 26 von 40 die Buchung. Das ergibt eine Erfolgsquote von 65 Prozent. Mit der neuen Version sind es 35 von 40, also knapp 88 Prozent.

Ist 65 Prozent nun schlecht? Ein Anhaltspunkt: Sauro hat 1.189 Aufgaben aus 115 Usability-Tests ausgewertet. Die durchschnittliche Erfolgsquote lag bei 78 Prozent. Die alte Version liegt also darunter, die neue darüber. Solche Vergleichswerte sind aber nur eine grobe Orientierung. Eine einfache Aufgabe wie „Öffnungszeiten finden“ sollte deutlich höher liegen als eine komplexe Aufgabe in einer Steuersoftware.

Vorsicht bei kleinen Gruppen

Bei wenigen Testpersonen sind Prozentwerte trügerisch. Sauro rechnet dazu ein Beispiel vor: Schaffen 10 von 10 Personen eine Aufgabe, kannst du mit 95 Prozent Sicherheit nur sagen, dass in der gesamten Zielgruppe irgendwo zwischen 75 und 100 Prozent erfolgreich wären. Diese Spanne heißt Konfidenzintervall. Je mehr Personen du testest, desto schmaler wird sie.

Deshalb unterscheidet die NN/g klar: Für qualitative Tests, bei denen es ums Finden von Problemen geht, reichen oft fünf Personen. Bei quantitativen Studien werden die Konfidenzintervalle laut NN/g meist erst ab etwa 40 Teilnehmenden schmal genug, um aussagekräftig zu sein. Wenn du mit fünf Personen testest, sag also lieber „vier von fünf haben es geschafft“ statt „80 Prozent Erfolgsquote“. Das ist ehrlicher und weckt keine falschen Erwartungen.

Zeit pro Aufgabe: Wie viel Aufwand kostet es?

Die Zeit pro Aufgabe, englisch Time on Task, misst, wie lange Menschen für eine Aufgabe brauchen. Sie ist ein Maß für Effizienz. Eine Buchung, die fünf Minuten dauert, ist auch dann ärgerlich, wenn sie am Ende klappt.

So misst du sie

Laut Sauro beginnt die Zeitmessung, wenn die Testperson die Aufgabe fertig gelesen hat, und endet, wenn sie alle Schritte abgeschlossen hat. Tools für unmoderierte Tests erfassen das meist automatisch. Bei moderierten Tests reicht oft die Aufnahme, aus der du die Zeiten später abliest.

Zwei Punkte solltest du dabei beachten:

• Erfolg und Misserfolg trennen. Wer nach acht Minuten aufgibt, war nicht langsam, sondern erfolglos. Werte die Zeiten der erfolgreichen Versuche getrennt aus, sonst vermischst du zwei verschiedene Fragen.
• Gleiche Bedingungen schaffen. Wenn Testpersonen beim Lösen laut denken, kann das die Bearbeitung verlangsamen. Vergleiche Zeiten deshalb nur zwischen Tests, die gleich aufgebaut sind.

Warum der normale Durchschnitt hier täuscht

Aufgabenzeiten haben eine Eigenheit: Die meisten Menschen sind ähnlich schnell, aber einige wenige brauchen sehr viel länger. In der Statistik nennt man so eine Verteilung schief. Diese Ausreißer ziehen den normalen Durchschnitt, das arithmetische Mittel, nach oben.

Sauro empfiehlt deshalb für kleine Gruppen bis etwa 25 Personen das geometrische Mittel. Das ist ein Durchschnitt, der große Ausreißer weniger stark gewichtet. In Excel berechnest du es mit der Funktion GEOMITTEL (in der englischen Version GEOMEAN). Bei größeren Gruppen liefert auch der Median ein gutes Bild. Das ist der Wert in der Mitte, wenn du alle Zeiten der Größe nach sortierst.

Im Beispiel liegt das geometrische Mittel der erfolgreichen Versuche mit der alten Version bei 3 Minuten und 40 Sekunden, mit der neuen bei 2 Minuten und 10 Sekunden. Das ist ein deutlicher Unterschied. Was die Zeit allerdings nicht verrät: wo genau die Menschen mit der alten Version hängen geblieben sind. Dafür brauchst du die Aufnahmen oder Notizen aus dem Test.

Zufriedenheit: Wie erleben Menschen die Nutzung?

Erfolg und Zeit beschreiben, was Menschen tun. Ob sie sich dabei sicher, genervt oder überfordert fühlen, sagen diese Zahlen nicht. Dafür gibt es standardisierte Fragebögen. Standardisiert heißt: Die Fragen sind festgelegt und wurden in vielen Studien geprüft. Dadurch kannst du deine Ergebnisse mit denen anderer Produkte vergleichen.

Die System Usability Scale (SUS)

Der bekannteste Fragebogen ist die System Usability Scale, kurz SUS. John Brooke hat sie 1986 entwickelt. Sie besteht aus zehn Aussagen, etwa sinngemäß „Ich fand das System unnötig komplex“, denen Testpersonen auf einer Skala von 1 bis 5 zustimmen oder widersprechen. Am Ende steht ein Wert zwischen 0 und 100. Wie du ihn berechnest, erklärt der Glossareintrag Schritt für Schritt.

Für den Einstieg ist vor allem ein Punkt wichtig: Der SUS-Wert ist kein Prozentwert. Sauro hat rund 500 Studien ausgewertet, der Durchschnitt liegt bei 68. Ein Wert von 68 ist also Mittelmaß, auch wenn er nach „zwei Drittel gut“ klingt. Ab einem Wert von 80,3 gehört ein Produkt laut Sauro zu den besten zehn Prozent. Wenn du SUS-Werte an andere weitergibst, erklär deshalb immer, wo sie im Vergleich liegen.

Im Beispiel kommt die alte Terminbuchung auf einen SUS-Wert von 61, die neue auf 76. Die alte Version lag also unter dem Durchschnitt, die neue deutlich darüber, aber noch nicht in der Spitzengruppe.

Die SUS füllen Testpersonen am Ende einer Sitzung aus, nachdem sie alle Aufgaben bearbeitet haben. Sie bewertet also das Produkt als Ganzes. Laut Sauro hängt die Zuverlässigkeit des Fragebogens nicht von der Zahl der Testpersonen ab, du kannst ihn also auch in kleinen Tests einsetzen. Je weniger Personen ihn ausfüllen, desto ungenauer schätzt der Durchschnitt aber den Wert für deine gesamte Zielgruppe.

Die Single Ease Question (SEQ)

Wenn du wissen willst, welche einzelne Aufgabe sich schwer anfühlt, hilft die Single Ease Question, kurz SEQ. Das ist eine einzige Frage direkt nach jeder Aufgabe, sinngemäß: „Wie schwierig oder einfach war es insgesamt, diese Aufgabe zu erledigen?“ Geantwortet wird auf einer Skala von 1 (sehr schwierig) bis 7 (sehr einfach). Laut MeasuringU liegt der Durchschnitt über mehr als 400 Aufgaben bei etwa 5,5.

Die SEQ ist schnell, stört den Testablauf kaum und zeigt dir, an welcher Stelle sich etwas mühsam anfühlt, selbst wenn die Aufgabe am Ende gelöst wurde.

Conversion: Was passiert im echten Betrieb?

Alle bisherigen Kennzahlen stammen aus Tests mit ausgewählten Personen. Die Conversion dagegen misst, was im echten Betrieb passiert. Eine Conversion ist eine gewünschte Aktion, etwa ein Kauf, eine Anmeldung oder eine Terminbuchung. Die Conversion Rate ist der Anteil der Besuche, die zu dieser Aktion führen.

Die Rechnung ist einfach: Conversions geteilt durch Besuche, mal 100. Starten im Beispiel 2.000 Menschen im Monat die Online-Buchung und schließen 1.300 davon ab, liegt die Conversion Rate dieses Ablaufs bei 65 Prozent.

Die NN/g unterscheidet dabei zwei Ebenen. Makro-Conversions sind die eigentlichen Ziele, im Beispiel die abgeschlossene Buchung. Mikro-Conversions sind kleinere Schritte auf dem Weg dorthin, etwa die Auswahl einer Behandlungsart oder eines freien Termins. Wenn du die Mikro-Conversions Schritt für Schritt betrachtest, siehst du, an welcher Stelle die meisten Menschen aussteigen.

Was die Conversion Rate nicht kann

Die Conversion Rate hat einen großen Vorteil: Sie beruht auf echtem Verhalten sehr vieler Menschen. Sie hat aber auch zwei Schwächen, die am Anfang oft unterschätzt werden.

Erstens hängt sie nicht nur an der UX. Preise, Saison, Werbekampagnen oder die Frage, wer überhaupt auf die Website kommt, beeinflussen sie genauso. Wenn die Praxis im Januar eine Anzeige schaltet, die viele Neugierige anlockt, kann die Conversion Rate sinken, obwohl die Buchung besser geworden ist. Ob eine Änderung am Design wirklich wirkt, prüfst du deshalb am verlässlichsten mit einem A/B-Test. Dabei sehen zwei zufällig aufgeteilte Gruppen zur gleichen Zeit unterschiedliche Versionen.

Zweitens sagt die Conversion Rate nichts darüber, wie es den Menschen dabei ging. Eine Buchung, die nur mit viel Frust gelingt, zählt genauso wie eine mühelose. Und wer die Rate mit versteckten Kosten oder vorausgewählten Zusatzoptionen nach oben treibt, gewinnt kurzfristig Zahlen und verliert langfristig Vertrauen.

Welche Kennzahl hilft wann?

Keine Kennzahl ist für sich genommen die richtige. Es kommt auf deine Frage an. Ein paar typische Situationen:

• Du willst Probleme in einem Entwurf oder Prototyp finden. Hier brauchst du vor allem Beobachtungen aus einem kleinen qualitativen Test. Die SEQ nach jeder Aufgabe ergänzt sie gut, weil sie zeigt, welche Aufgabe sich am schwersten anfühlt. Prozentwerte lässt du bei fünf Personen besser weg.
• Du willst zwei Versionen vergleichen, bevor eine live geht. Dann helfen Erfolgsquote, Zeit pro Aufgabe und SUS mit genug Testpersonen pro Version. Das ist der Fall aus dem Beispiel.
• Du willst wissen, wie gut dein Produkt insgesamt dasteht. Hier eignet sich die SUS, weil es dafür veröffentlichte Vergleichswerte gibt. Wiederholst du die Messung regelmäßig, etwa einmal im Jahr, siehst du auch die Entwicklung.
• Dein Produkt ist live, und du willst Veränderungen im Alltag beobachten. Dafür sind Conversion Rate und Mikro-Conversions aus deinem Analytics-Tool da, am besten kombiniert mit A/B-Tests für einzelne Änderungen.

Ein Rahmen für die Auswahl: HEART

Wenn du nicht weißt, wo du anfangen sollst, hilft ein Modell, das ein Team bei Google 2010 veröffentlicht hat. Kerry Rodden, Hilary Hutchinson und Xin Fu beschreiben darin fünf Kategorien, deren Anfangsbuchstaben das Wort HEART ergeben:

• Happiness: Einstellungen und Zufriedenheit, zum Beispiel per Fragebogen.
• Engagement: wie intensiv oder häufig Menschen das Produkt nutzen.
• Adoption: wie viele Menschen in einem Zeitraum neu einsteigen.
• Retention: wie viele nach einer Weile noch dabei sind.
• Task Success: Erfolgsquote, Zeit pro Aufgabe und Fehler.

Dazu gehört ein einfacher Prozess in drei Schritten, im Original „Goals, Signals, Metrics“: Zuerst legst du das Ziel fest. Dann überlegst du, an welchem Verhalten oder welcher Einstellung du Erfolg erkennen würdest. Erst zum Schluss wählst du die konkrete Kennzahl. Für die Terminbuchung könnte das heißen: Ziel ist, dass Menschen ohne Anruf in der Praxis einen passenden Termin finden. Ein Signal wäre, dass weniger Buchungen abgebrochen werden. Die Kennzahl ist die Conversion Rate des Buchungsablaufs pro Woche.

Das Team um Kerry Rodden betont, dass nicht jedes Produkt alle fünf Kategorien braucht. Für eine Software, die Mitarbeitende im Job ohnehin nutzen müssen, ist Engagement zum Beispiel wenig aussagekräftig. Die Studie warnt außerdem vor Seitenaufrufen als UX-Kennzahl: Mehr Aufrufe können bedeuten, dass etwas beliebt ist, aber genauso, dass Menschen in einem verwirrenden Interface herumirren.

Typische Fehler beim Messen

Ein paar Stolperfallen begegnen dir fast zwangsläufig, wenn du anfängst, UX zu messen:

• Eine Zahl ohne Vergleich. „Unsere Erfolgsquote liegt bei 72 Prozent“ sagt allein wenig. Erst der Vergleich mit einer früheren Version, einer anderen Aufgabe oder einem Durchschnittswert macht die Zahl verständlich.
• Prozentwerte aus winzigen Gruppen. Drei von fünf sind nicht „60 Prozent“ der Zielgruppe. Wer kleine Tests in Prozent berichtet, verspricht eine Genauigkeit, die es nicht gibt.
• Erfolg erst hinterher definieren. Dann wird aus jedem Grenzfall eine Diskussion, und am Ende misst du, was du sehen möchtest.
• Die Kennzahl wird zum Ziel. Wenn ein Team nur noch die Conversion Rate optimiert, landet es schnell bei Tricks, die der Zahl helfen und den Menschen schaden.
• Messen statt verstehen. Zahlen zeigen dir, dass etwas nicht stimmt. Was du ändern solltest, erfährst du erst, wenn du hinschaust. Wie du aus Testbeobachtungen brauchbare Erkenntnisse gewinnst, zeigt der Artikel Wie man wertvolles Feedback aus Usability-Tests extrahiert.

Das Beispiel im Überblick

Zurück zur Physiotherapie-Praxis. Statt „das ist viel besser“ kann das Team der Praxisleitung jetzt Folgendes zeigen:

• Erfolgsquote: vorher 26 von 40 Personen (65 Prozent), nachher 35 von 40 (knapp 88 Prozent).
• Zeit pro Aufgabe: vorher 3 Minuten 40 Sekunden, nachher 2 Minuten 10 Sekunden (geometrisches Mittel der erfolgreichen Versuche).
• SUS: vorher 61 (unter dem Durchschnitt von 68), nachher 76 (darüber).

Nach dem Start der neuen Version beobachtet das Team außerdem die Conversion Rate des Buchungsablaufs. Und es plant schon den nächsten Schritt: Die Aufnahmen zeigen, dass einige Menschen die Behandlungsart „Krankengymnastik“ nicht finden, weil sie in der Liste „Physiotherapie“ erwarten. Diese Erkenntnis hätte keine Kennzahl allein geliefert.

Fazit

UX zu messen ist kein Hexenwerk. Für den Anfang reichen vier Kennzahlen: Die Erfolgsquote sagt dir, ob Menschen ihre Aufgabe schaffen. Die Zeit pro Aufgabe zeigt, wie viel Aufwand es sie kostet. SUS und SEQ verraten, wie sie die Nutzung erleben. Und die Conversion Rate zeigt, was im echten Betrieb passiert.

Wichtiger als jede einzelne Zahl ist die Frage, die du beantworten willst. Leg vorher fest, was du wissen möchtest, was als Erfolg zählt und womit du vergleichst. Und behalte im Kopf, dass Zahlen dir den Weg zu Problemen zeigen, aber nicht die Lösung. Die findest du, wenn du Menschen bei der Nutzung zuschaust.

Checkliste

• Die Frage ist klar: Probleme finden, Versionen vergleichen, Stand bestimmen oder Live-Verhalten beobachten?
• Für jede Aufgabe ist vorab festgelegt, was als Erfolg zählt.
• Die Gruppengröße passt zur Methode: wenige Personen für qualitative Tests, etwa 40 für belastbare Zahlen.
• Zeiten werden getrennt nach Erfolg ausgewertet, mit geometrischem Mittel oder Median.
• Die SUS wird möglichst unverändert am Ende der Sitzung abgefragt, die SEQ direkt nach jeder Aufgabe.
• SUS-Werte werden am Durchschnitt von 68 eingeordnet und nicht als Prozent gelesen.
• Änderungen an der Conversion werden möglichst per A/B-Test geprüft, nicht nur im Vorher-nachher-Vergleich.
• Jede Zahl wird mit Beobachtungen ergänzt, die erklären, warum sie so ist.

Quellen

• ISO 9241-11:2018: Ergonomics of human-system interaction, Part 11: Usability: Definitions and concepts
• Jeff Sauro: What Is a Good Task-Completion Rate? MeasuringU, 2011
• Jeff Sauro: 10 Essential Usability Metrics. MeasuringU, 2011
• Jeff Sauro: Average Task Times in Usability Tests: What to Report? MeasuringU, 2010
• Jeff Sauro: Measuring Usability with the System Usability Scale (SUS). MeasuringU, 2011
• Jeff Sauro: 10 Things to Know About the Single Ease Question (SEQ). MeasuringU, 2012
• John Brooke: SUS: A Retrospective. Journal of Usability Studies, 2013
• Raluca Budiu: Why 5 Participants Are Okay in a Qualitative Study, but Not in a Quantitative One. Nielsen Norman Group, 2021
• Kathryn Whitenton: Macro and Microconversions as Metrics in Analytics. Nielsen Norman Group, 2019
• Kerry Rodden, Hilary Hutchinson, Xin Fu: Measuring the User Experience on a Large Scale: User-Centered Metrics for Web Applications. CHI 2010