Produkte messen und analysieren anhand von quantitativen Tests

Wir als coeno haben sehr viel Erfahrung in qualitativen Testmethoden, wie beispielsweise dem Usability Test. Zusätzlich dazu wollen wir nun unser Wissen und Können für die quantitativen Testmethoden weiter ausbauen. Quantitative Tests haben den großen Vorteil, dass Remote und ohne viel Zeitaufwand eine große Menge an Usern befragt werden kann. Darüber hinaus ist das Ergebnis bedeutend: Das Testergebnis liefert greifbare Zahlen. Das Resultat kann analysiert und zum Vergleich genutzt werden.

‍

Unser Experiment

Um Fragebögen näher zu kommen, haben wir ein Experiment gestartet: Wir wollen einen komparativen UX Benchmark für eine von uns gewählte Branche erstellen. Zu Beginn müssen wir entscheiden, was und wie wir testen wollen. Aber ganz von vorne, was ist überhaupt eine UX Benchmark?

Funktionsweise von Benchmarks

Bei einer quantitativen Studie werden zunächst Daten erhoben. Das erfolgt überwiegend mit einem Fragebogen, der an die Probanden geschickt wird und unmoderiert ausgefüllt wird. Eine Benchmark ist in erster Linie eine Erweiterung: Dort werden mehr Daten erhoben, sodass diese anschließend miteinander verglichen werden können. Das heißt konkret:

Ein Betreiber einer Website für Beautyprodukte misst mithilfe eines Fragebogens, ob Kunden seine Website weiterempfehlen würden. Das Gleiche macht er mit Kunden einer konkurrierenden Website. Die Antwort kann als Zahl quantifiziert werden. Eine Formel hierfür wird für gewöhnlich von den Fragebogenerstellern angeboten. So hat der Betreiber der Website am Ende seiner Studie zwei Zahlen und weiß, welche Website aktuell besser angenommen wird. Schneidet seine schlechter ab, kann er im nächsten Schritt eine Testmethode wählen, die ihm dabei hilft herauszufinden, warum sie schlechter empfunden wird.

Sollte der Betreiber der Website kein Konkurrenzprodukt kennen, gibt es auch eine zweite Möglichkeit für eine Benchmark. Er könnte sein Produkt in festgelegten Zyklen testen und die Ergebnisse vergleichen. Die Zeit zwischen den Studien kann er dafür nutzen, die Website zu verändern.

Wir wollen uns mit dem ersten Ansatz befassen. Bevor ich darauf weiter eingehen kann, gibt es noch eine wichtige und interessante Frage. Wie messen wir überhaupt?

‍

Auswahl der Fragebögen

Es gibt ein großes Spektrum an verschiedenen Fragebögen. Diese sind etabliert und erfüllen verschiedene Gütekriterien. Die Fragebögen können in drei Kategorien unterteilt werden. Ich stelle diese drei Kategorien jeweils am Beispiel eines Fragebogens im Folgenden kurz vor.

‍

Usability Fragebögen

System Usability Scale (SUS)

„Quick and dirty“, trotz dieser misstrauisch klingenden Ankündigung von SUS im Jahr 1986 ist er vermutlich der meist benutzte Fragebogen. Mit nur zehn Fragen kann er schnell ausgefüllt werden. Ein Statement ist zum Beispiel:

Im Wesentlichen wird die Erlernbarkeit und die Durchschaubarkeit eines Produkts abgefragt. Das Resultat ist ein einziger Gesamtwert von 0-100. Zu diesem gibt es ein Ranking online, wie die Zahl einzuordnen ist. Der Fragebogen kann kostenlos verwendet werden.

‍

Weitere bekannte Usability Fragebögen sind:

Software Usability Measurement Inventory (SUMI)
Der Fragebogen ist kostenpflichtig und einige Statements sind etwas in die Jahre gekommen. Er testet die Dimensionen Effizienz, Affekt, Unterstützung, Steuerbarkeit und Erlernbarkeit

ISONORM
Wie der Name vermuten lässt, testet dieser die Dialogprinzipien der ISO 9241. Die Formulierungen sind teils schwierig für UX Laien, daher empfiehlt es sich diesen eher von UX Experten ausfüllen zu lassen.

Questionnaire for User Interaction Satisfaction (QUIS)
5 verschiedene Skalen werden abgefragt: Erlernbarkeit, Terminologie und Systemstatus, Systemfunktion, Bildschirm und Gesamturteil. Die Nutzung ist kostenpflichtig.

‍

User Experience Fragebögen

meCUE 2.0

Der meCUE wurde 2013 veröffentlicht. Dieses Modell beruht darauf, dass das Gesamturteil der User Experience eines Users aus der Wahrnehmung aufgabenbezogener (pragmatischer) Qualitäten und der Wahrnehmung nicht aufgabenbezogener (hedonischer) Qualitäten hervorgeht. MeCUE besteht aus 34 Fragen, die unterteilt sind in fünf Module:

1. Wahrnehmung aufgabenbezogener Qualität: Nützlichkeit und Benutzbarkeit

2. Wahrnehmung nicht-aufgabenbezogener Qualität: Visuelle Ästhetik, Status, Bindung

3. Emotionen: Emotionale Reaktion

4. Konsequenzen: Produktloyalität und Nutzungsintention

5. Global: Gesamturteil

Eine Statement lautet zum Beispiel:

‍

Weitere bekannte User Experience Fragebögen sind:

AttrakDiff 2
Bekannt geworden als erster UX Fragebogen überhaupt. Die Nutzung ist kostenpflichtig. Er ist nicht für Produkte, die zum Erreichen von Arbeitszielen dienen, gedacht.‍

User Experience Questionnaire (UEQ)
Testet die Skalen Attraktivität, Effizienz, Durchschaubarkeit, Steuerbarkeit, Stimulation und Originalität. Den Fragebogen gibt es auch in vereinfachtem Deutsch, was notwendig ist, wenn Kinder diesen ausfüllen. Grundsätzlich ist er auch sehr gut für Produkte geeignet, die zum Erreichen von Arbeitszielen dienen.‍
User Experience Questionnaire Plus (UEQ+)
Das ist eine Weiterentwicklung des UEQs. Es stehen 20 Skalen zur Verfügung (unter anderem die sechs aus dem UEQ) aus denen beliebig viele ausgewählt werden können.‍
Standardizied User Experience Percentile Rank Questionnaire (SUPR-Q)
Dieser Fragebogen war bis vor Kurzem der einzige Fragebogen, der die Dimension Vertrauen abbildet. Mit seinen 8 Fragen ist er ein sehr kurzer Fragebogen.

‍

Spezielle Fragebögen

Positive and Negative Affect Schedule (PANAS)

Der PANAS ist ein Fragebogen zur Erfassung der emotionalen Befindlichkeit, kreiert im Jahr 1988. Der Fragebogen stellt 20 Adjektive zur Verfügung, davon zehn negative und zehn positive. Die Intensität der Adjektive trägt der User ein.

‍

Für die beiden Dimensionen (positive Aspekte und negative Aspekte) wird anschließend ein Mittelwert berechnet. PANAS kann immer eingesetzt werden, wenn menschliche Gemütszustände und Emotionen gemessen werden sollen.

‍

Weitere bekannte spezielle Fragebögen sind:

Visual Aesthetics of Website Inventory (VisAWI)
VisAWI erlaubt die Messung der visuellen Ästhetik von Web-Seiten, indem er Vielfalt, Einfachheit, Farbigkeit und Kunstfertigkeit behandelt.

MS ProductReaction Cards
Auf Karten stehen 118 Attribute. Aus diesen soll sich der User Attribute auswählen, die das Produkt gut beschreiben. Dieser Test hilft, um einen Eindruck zur UX Wahrnehmung zu erhalten.

Game Experience Questionnaire (GEQ)
Mit drei Modulen kann die User Experience eines Games gemessen werden. Das erste Modul testet die Erfahrung des Users während des Spiels. Das zweite Modul bezieht sich auf das Spielen mit anderen Usern, also die sozialen Präsenz. Das dritte Modul fragt nach Erfahrungen, direkt nach Beendigung einer Spielsession.

‍

Wie machen wir weiter?

Aufgrund des positiven Eindrucks des User Experience Questionnaires (UEQs) und der Tatsache, dass dieser in 37 Sprachen erhältlich ist, stand er sofort in der engeren Auswahl. Die modulare Weiterentwicklung von UEQ+ ist ebenfalls ein wunderbarer Schritt, da sie erlaubt je nach Branche den Fragebogen zu variieren. Auch dieser ist in einer Vielzahl von Sprachen vorhanden. Das ist wichtig, da ein User einen Fragebogen stets in der Muttersprache ausfüllen sollte. Der UEQ+ ist kostenlos erhältlich und bietet zur Auswertung eine Excel-Tabelle an. Das ist sehr dankenswert, denn bei kostenpflichtigen Fragebögen, ist oft die Berechnung des Ergebnisses nicht einsehbar, was es schwieriger macht das Ergebnis nachzuvollziehen. Zu guter Letzt erfüllt UEQ+ die Gütekriterien, die für UX Fragebögen aufgestellt worden sind.

Wir starten also für unsere UX Benchmark Studie mit dem UEQ+ Fragebogen. Wie der Test damit läuft, wird in einem bald folgenden Blogartikel behandelt.

‍