A/B- und multivariate Tests durchführen (Teil 1)

A/B- und multivariate Testverfahren sind aus der klassischen (Produkt-) Marktforschung bekannt. Dabei werden beispielsweise verschiedene Verpackungsvarianten und ihr Einfluss auf den Verkaufserfolg eines Produkts getestet oder auch Produkte selbst. Prinzipiell gibt es hinsichtlich der klassischen Testverfahren und den neuen Online-Testverfahren kaum Unterschiede. Optimiert werden Websites, Landing Pages, Werbemittel, Texte etc. Das Verfahren an sich bedient sich der Erhebungsmethodik der Web-Analytics.  Die Herangehensweise ist kaum anders als im klassischen Bereich, allerdings können mehr Varianten in kürzerer Zeit getestet werden. Es handelt sich meist auch um Vollerhebungen, was deren Ergebnisse – sobald entsprechende Signifikanzniveaus erreicht sind – ausgesprochen sicher macht. Es gibt keine Stichprobenfehler und auch keine reaktiven Elemente, wie sie beispielsweise Befragungen unsicher machen können. Die verschiedenen Varianten innerhalb eines Tests werden zufällig unter der gleichen Adresse/URL präsentiert.

Zudem ist es bei der Online-Version von A/B- bzw. multivariaten Test so, dass eine Software genutzt wird, die einem einen Großteil der methodischen Arbeit abnimmt. Hersteller wie Webtrends, maxymiser oder Adobe bieten zudem Online-Schulungen für Anwender an. Aus diesem Grund konzentrieren wir uns in diesem Kapitel hauptsächlich auf mögliche Anwendungsfälle und Herangehensweisen.

1. Warum testen?

Es gibt Produkt- und Verpackungstests, die mit A/B-, Split- oder multivariaten Testverfahren durchgeführt werden. Auch in der Werbemittelforschung wird immer wieder mit diesen Verfahren gearbeitet. Dabei handelt es sich meist um Labortests oder Feldtest auf en begrenztem Raum.

Online – so wurde verschiedentlich argumentiert – kann man mit Verfahren der Web-Analytics ohnehin das Nutzerverhalten auf Websites messen und sie auf diesem Weg kontinuierlich verbessern. Sicher – durch das Controlling von Websites mit klassischen Methoden der Web-Analytics ist es möglich Schwachstellen auf Websites zu identifizieren und die Performance zu verbessern. Ob das Ergebnis dabei optimal ist, weiß man leider nicht. Man hat sich zu einer Veränderung der Website entschlossen und diese funktioniert im Nachhinein betrachtet möglicherweise besser als die vorige Version der Website.

Dagegen kann man durch diese hier beschriebenen Verfahren verschiedene Versionen einer Website nahezu synchron testen. Das heißt, man kann in einem A/B- oder Split-Test können zwei oder mehrere grundsätzlich verschiedene Versionen eines Testobjekts entwickeln. Diese werden dann durch die Testsoftware live in die Website eingespielt, so dass die „Teilnehmer“ des Tests nichts davon merken. Auf diesem Weg ist es möglich, sehr viel näher an eine optimale Gestaltung der Website heranzukommen, als das ohne Testen der Fall wäre.

2. Wann A/B- und wann multivariater Test?

Die Tools, die zum Testen benutzt werden erlauben i.d.R. sowohl A/B- und Split-Tests als auch multivariate Tests – auch wenn die technisch statistischen Anforderungen an multivariate Verfahren höher sind.

Im Allgemeinen – aber nicht ohne Ausnahme – ist es so, dass Tests in mehreren Wellen geplant werden. Mit A/B- oder Split-Tests überprüft man den potenziellen Erfolg von grundsätzlich verschiedenen Varianten eines Testobjekts – es geht also um große Ideen, nicht um kleine Veränderungen. Fragestellung und Ergebnis sind einfach.

Aus diesem Grund sind die Tests auch einfach und schnell aufzubauen. Man kann sie auch für Websites mit wenig Traffic benutzten und man bekommt die Ergebnisse deutlich schneller als bei einem multivariaten Test, bei dem viele einzelne Parameter getestet werden. Leider kann man mit diesen Verfahren nur begrenzt die Details eines Untersuchungsobjekts optimieren. Als Ergebnis bekommt man eine Aussage darüber, dass eine Variante die bessere ist, aber weshalb – d.h. auf welche Faktoren dies zurückzuführen ist – weiß man dabei leider nicht.

Wenn man die grundsätzliche Richtung kennt, kann man sich daran machen, die erfolgreichste Variante aus vorangegangenen A/B- oder Split-Tests weiter zu optimieren. Man kann anfangen und verschiedene Buttons, Bilder, Texte und deren Funktionalität zu testen – also multivariat vorgehen.

3. Testgegenstände

Bei Tests kann man in drei Bereichen ansetzen: bei Seiten, Inhalten und beim Traffic – also den potenziell auf eine Seite zugreifenden Nutzern. Testgegenstände im Bereich Seiten von denen man grundsätzliche Varianten mit A/B- oder Split-Tests überprüft, sind beispielsweise

• Landing Pages
• Microsites
• Teaser Pages
• Produktdetailseiten
• Formularseiten (z.B. Registrierungen)
• Bezahlseiten

Landing Pages sind ein dankbares Forschungsfeld. Schließlich geht es an dieser Stelle darum, den Besucher, der auf eine Seite kommt, zu weiteren Aktionen zu bewegen. Da Traffic von Landing Pages noch dazu häufig auch bezahlt werden muss – beispielsweise durch Google-Werbung – ist es besonders wichtig, diese Seiten möglichst gut zu gestalten. Natürlich versuchen Kreativ-Agenturen, Landing Pages zu verbessern. Durch A/B- oder Split-Tests bekommt man aber die wertvolleren Ergebnisse. Wie oben schon beschrieben, geht es darum, die grundsätzlichen Varianten dieser Seitentypen zu vergleichen – also beispielsweise verschiedene Formularkonzepte und nicht etwa das Wording der Labels.

Mit einem multivariaten Test kommt man hier sichtlich weiter, der Inhalt einer Seite wird zerlegt in verschiedene Elemente, und somit Faktoren, die getestet werden können. Es sollten auch stärker beeinflussende Faktoren sein, wie z.B.

• Buttons (Varianten, Größen, Farben, Call-to-Actions)
• Bilder (z.B. werden welche benötigt oder nicht? Funktionieren statische besser als animierte? Sollten Bilder besser sachlich oder emotional sein? Funktionieren Frauendarstellungen besser als Männerdarstellungen?)
• Überschriften (z.B. Funktionieren kurze besser als lange? Welche Textgröße sollen wir wählen? Welche Art der Ansprache ist am besten? Funktionieren andere Überschriftenfarben besser?)
• Texte (z.B. Ist eine sachliche oder emotionale Ansprache geeigneter? Sollen es nur kurze Texte sein oder sind lange besser? Muss mit Aufzählungen gearbeitet werden oder ist Fließtext auch ok? Welchen Einfluss hat die Anzahl der Argumente auf das Ergebnis?)
• Farben (z.B. Textfarben, Button-Farben, Farben von Grafiken etc.)
• Positionen (z.B. soll das Bild besser rechts oder links auf der Seite stehen? Soll die Call to Action besser einmal oder mehrfach an mehreren Stellen genannt werden? Wo funktioniert die Call-to-Action am besten?)

Im Rahmen eines multivariaten Tests werden verschiedene, für den Erfolg der Seite, relevante Faktoren identifiziert. Von diesen Faktoren – beispielsweise einem Button – werden unterschiedliche Varianten entworfen. Diese Varianten werden normalerweise als Level, Ebene oder Ausprägung bezeichnet. Aus der Multiplikation der Zahl der Level pro Faktor erhält man die Zahl der Varianten für ein vollfaktorielles Design. Schon an dieser Stelle muss ich darauf hinweisen, dass die Zahl von Faktoren und deren Ausprägungen begrenzt ist. Im Abschnitt zur Testdurchführung werde ich noch genauer darauf eingehen.

Bisher sind wir auch davon ausgegangen, dass die Nutzer einer Website als eine Einheit zu verstehen sind und Individualisierungen hinsichtlich verschiedener Nutzergruppen nicht berücksichtigt werden müssen. Genau dies kann aber ausgesprochen sinnvoll sein. Vielfach werden auch schon einfache Individualisierungen – v.a. bei AdWord-Kampagnen ohnehin durchgeführt. Ein Beispiel: Sollte beim Google-Suchbegriff „KFZ-Versicherung“ derselbe Begriff in der Überschrift einer Landing Page auftauchen – oder ist vielleicht doch eine einzige Landing Page für die Begriffe „Autoversicherung“ und „KFZ-Versicherung“ ausreichend? Man kann sich noch einige weitere Beispiele überlegen, für die dezidierte Inhalte mehr Erfolg versprechen:

• Keyword-Gruppen bei SEA-Kampagnen
• Anzeigenmotive bei Display-Kampagnen
• Individualisierungen nach Wochentagen und Wocheneden
• Individualisierungen hinsichtlich Tageszeiten
• Unterschiedliche Inhalte für unterschiedliche geographische Einheiten (Stadt/Land, Nord/Süd, Bundesländer etc.)
• Erkennbare Kundensegmente (Demographie, Kaufverhalten, neue vs. wiederkehrende Besucher).

4. Beispiel Landing Page

Beispiel-Struktur Landingpage

Hier geht es zum zweiten Teil des Artikels.