So finden Sie mehr Usability-Probleme mit weniger Benutzern

Ich verbringe viel Zeit mit der Arbeit mit User-Forschern, die in der frühen und mittleren Karriere sind. Ich coache sie unter anderem darin, wie man Usability-Tests durchführt. Ich habe früh eine Frage, um den Kenntnisstand zu überprüfen: "Wie viele Teilnehmer benötigen Sie für einen Usability-Test?"

Sie haben unweigerlich gehört, dass 5 eine magische Zahl ist. Einige der Erfahreneren gehen noch weiter: "Sie benötigen nur 5 Teilnehmer, um 85% der Usability-Probleme zu lösen." Nicht alle nennen 85%. Einige sagen, 80%. Einige sagen "am meisten".

Obwohl dieser Glaube weit verbreitet ist, ist er ein Mythos. Beim Testen von 5 Benutzern werden 85% der Usability-Probleme in einem System nicht gefunden. Es ist sehr wahrscheinlich, dass beim Testen von 5 Benutzern ein Bruchteil der Gesamtzahl der Usability-Probleme festgestellt wird.

Der Mythos der Magie Nummer 5

Der Mythos ist nicht auf die ursprüngliche Forschung zurückzuführen, sondern auf die Art und Weise, wie die Forschung interpretiert wurde. Die Aussage bedarf einer wichtigen Qualifikation. Die richtige Formulierung lautet: „5 Teilnehmer reichen aus, um 85% der Usability-Probleme zu lösen, die 1 von 3 Benutzern betreffen.“ Beim ersten Lesen klingt dies möglicherweise wie das Teilen von Haaren. Tatsächlich ist es jedoch wichtig zu verstehen, wie Sie in Ihrem Test mehr Usability-Probleme finden können, mit oder ohne die Teilnehmerzahl zu erhöhen.

Um zu erklären, warum dies der Fall ist, gehen Sie davon aus, dass Ihre Benutzeroberfläche nur ein einziges Usability-Problem aufweist. Angenommen, Sie haben einen neuartigen Schieberegler, mit dem Benutzer eine Zahl in ein Formular eingeben können. Das ist keine großartige Möglichkeit, Zahlen in ein Formular einzugeben, und einige Benutzer werden Schwierigkeiten haben, es zu verwenden. Wie viele Benutzer müssen getestet werden, um dieses Problem zu erkennen?

Die Antwort lautet: es kommt darauf an. Dies hängt davon ab, wie viele Benutzer davon betroffen sind. Für manche Menschen ist das Usability-Problem möglicherweise kein Problem. Sie können technisch versiert sein und es ist ein Kinderspiel, die Steuerung zu verwenden. Bei anderen kann dies dazu führen, dass sie die Aufgabe nicht ausführen können. Sie wissen möglicherweise nicht einmal, wo sie mit dem Schieberegler beginnen sollen.

Da ein Usability-Problem selten jeden einzelnen Benutzer betrifft, müssen wir die Frage verfeinern und fragen: "Wie viele Benutzer müssen wir testen, um ein Problem zu finden, das einen festgelegten Prozentsatz von Benutzern betrifft?"

Forscher setzen diesen Prozentsatz normalerweise auf 31%. Nennen wir diesen einen von drei Benutzern, um die Beträge zu vereinfachen. Lassen Sie uns jetzt einen Test durchführen.

Unser erster Benutzer kommt herein und wir haben eine 1: 3-Chance, das Problem zu erkennen. Unser zweiter Benutzer kommt herein und wir haben eine 1: 3-Chance, das Problem zu erkennen. Unser dritter Benutzer kommt herein und wir haben eine 1: 3-Chance, das Problem zu erkennen. Angesichts der Tatsache, dass wir jetzt 3 Benutzer getestet haben, hätten wir das Problem wahrscheinlich finden müssen, aber die Statistik funktioniert so nicht. Es ist wie beim Werfen einer Münze: Manchmal muss eine Münze mehr als zweimal geworfen werden, um einen Kopf zu erhalten, obwohl die Wahrscheinlichkeit, einen Kopf zu erhalten, 50% beträgt. Aufgrund der Funktionsweise der Wahrscheinlichkeit müssen Sie tatsächlich mit mehr als 3 Benutzern testen, um ein Problem zu finden, das 1 von 3 Benutzern betrifft.

Wie viele? Auch hier können wir nicht genau sein: Wir müssen probabilistisch sein. Was wir sagen können ist, dass Sie bei einem Test mit 5 Benutzern eine 85% ige Chance haben, ein Problem zu finden, das 1 von 3 Benutzern betrifft. (Wenn Sie mehr Details dazu wünschen, hat Jeff Sauro einen großartigen Artikel mit Taschenrechnern, mit denen Sie spielen können, um die Wahrscheinlichkeit zu verstehen.

Einige kritische Usability-Probleme betreffen nur wenige Benutzer

Der Grund dafür ist, dass einige wichtige Usability-Probleme eine kleine Anzahl von Benutzern betreffen. Beispiel: Hinweistext in Formularfeldern. Einige Leute verwechseln den Hinweistext mit einem Formularfeldeintrag: Sie denken, das Feld ist bereits ausgefüllt. Andere Leute versuchen, den Platzhaltertext zu löschen. Für die meisten Menschen (etwa 90%) ist dies kein Problem. Für die 10% der Benutzer, bei denen dieses Problem auftritt, bedeutet dies jedoch, dass sie wirklich Schwierigkeiten haben, das Formular auszufüllen.

Wenn Sie ein System entwerfen, das von einer Vielzahl von Benutzern verwendet werden soll (z. B. ein Regierungssystem), ist dies wirklich wichtig. Denn was ist, wenn ein Problem nicht 1 von 3 Benutzern betrifft, sondern 1 von 10 Benutzern? Wie viele Benutzer müssen wir testen, um dieses Problem zu finden? Es stellt sich heraus, dass Sie 18 Benutzer testen müssen, um eine Wahrscheinlichkeit von 85% zu haben, dieses Problem zu finden.

Um zu sagen, dass 5 Benutzer 85% aller Probleme in einem System bekommen, die die Forschung völlig falsch darstellen. Bei einigen Systemen werden beim Testen von 5 Benutzern möglicherweise nur 10% der Gesamtprobleme festgestellt, da die anderen 90% der Probleme weniger als 1 von 3 Benutzern betreffen.

Erhöhen Sie Ihre Chancen auf Usability-Probleme

Wenn Sie dies frustriert und der Meinung sind, dass Sie Usability-Tests mit größeren Stichproben durchführen müssen, befürchten Sie dies nicht. Es gibt eine Möglichkeit, mehr Probleme zu finden, ohne die Anzahl der Benutzer in Ihrer Studie zu erhöhen. Hier sind drei Ideen:

  • Binden Sie Personen mit geringen digitalen Kenntnissen in die Stichprobe Ihrer Teilnehmer ein. Mit anderen Worten, rekrutieren Sie nicht nur technisch versierte Mitarbeiter. Wenn Sie Menschen mit geringen digitalen Kenntnissen einbeziehen, ist es viel wahrscheinlicher, dass Sie Probleme finden, die einen geringen Anteil der Benutzer betreffen.
  • Bitten Sie die Teilnehmer, weitere Aufgaben zu erledigen. Die Anzahl der Aufgaben, die die Teilnehmer ausführen, erweist sich als kritischer Faktor für das Auffinden von Problemen in einem Usability-Test.
  • Lassen Sie den Test von mehreren Mitarbeitern des Designteams beobachten und notieren Sie sich unabhängig die aufgetretenen Probleme. Untersuchungen haben ergeben, dass die Wahrscheinlichkeit, dass Sie ein kritisches Usability-Problem übersehen, bei den anderen Beobachtern zwischen 50 und 50 liegt.

Wenn Sie noch mehr Benutzer testen möchten, ist bravo! Anstatt einen großen Test mit vielen Benutzern durchzuführen, möchte ich Sie dazu ermutigen, mehrere Usability-Tests mit kleineren Stichproben durchzuführen (möglicherweise bei jedem Sprint). Solange Ihre Tests Teil eines iterativen Entwurfsprozesses sind (bei dem Sie Probleme finden, beheben und erneut testen), werden Sie bei einer Stichprobengröße von 5 möglicherweise einige dieser schwerwiegenden Probleme finden, die weniger als 1 von 3 Benutzern betreffen .

Was als nächstes?

Schließen Sie sich den Tausenden von anderen Menschen an, die meine kostenlosen Online-Lektionen zur Benutzererfahrung nutzen.

Ursprünglich bei userfocus.co.uk veröffentlicht.