Organisation des A/B-Testing –
Rückblick auf die A/B Insights in Köln

A/B Testing gehört einfach zum Kerngeschäft des Online-Marketing. Die Rolle des Testing als Teil der Digital Analytics ist in vielen Unternehmen mit ausgeprägtem Online-Geschäft fest implementiert. Es geht nicht mehr um die Frage, ob man testet oder darum, wie Tests funktionieren. Sicher – auch in diesem Zusammenhang gibt es beträchtliches Optimierungspotenzial. Hauptthema des Abends vergangene Woche war jedoch die Frage, wie es möglich ist, die relevanten A/B-Tests zu identifizieren und diese zu maximieren. Vorgetragen hierzu haben Bastian Schäfer (Senior Referent Website-Testing & Conversion-Optimierung bei der DB Vertrieb GmbH) sowie Viktoria Zenker und Hauke Floer aus der UX der Galeria Kaufhof GmbH. Es sind immer wieder Unternehmen, die direkt über das Netz absetzen, die weiter sind. Verlage und Fernsehsender sind hier weit abgeschlagen und sollten dringend aufholen!

Kreislauf A/B-Testing

Bastian Schäfer stellte ein Kreislaufkonzept zum A/B-Testing vor:

• Ideensammlung
• Hypothesenbildung
• A/B-Testing
• Umsetzung

Vor einigen Jahren und auch jetzt ist es noch immer so, dass Kreative sich ungern testen lassen. Dabei ist es doch viel angenehmer, viele Ideen zu entwickeln, und zu schauen, welche davon perfektioniert werden sollen. Deutlich sollte eben immer wieder werden, dass es nicht um Schönheitspreise geht. Es geht um »Funktionieren« sowie das Erreichen von Zielen. Ohne Tests sind die Ergebnisse meist suboptimal.

Ist das Bewusstsein für Tests geweckt, dann verkehrt sich die Problemlage: Es soll viel und ausgiebig getestet werden. Hierdurch wird der Zielerreichungsgrad höher. Eine große Herausforderung ist dabei das Aushebeln der eigenen Betriebsblindheit. Das betrifft die eigene Abteilung, aber auch andere Abteilungen, die zu integrieren sind.
Ideen sollten nun unabhängig von der Quelle gesammelt, organisiert und bewertet werden. Die wichtigste Quelle ist und bleibt dabei das Nutzerfeedback. Inzwischen scheint Jira ein Industriestandard für Kanban mit dem Netz zu sein – auf wirklich allen Veranstaltungen wurde darauf verwiesen. Gut – ich benutze das Tool auch. Es taugt zielmlich gut für die Arbeit mit dem Netz. Die Kollegen von Kaufhof verwenden es beispielsweise, um die Bewertung von Testideen zu realisieren. Finale Frage in diesem Zusammenhang: »Wie viel mehr an Umsatz ist nach dem A/B-Test zu erwarten?«

Jira erlaubt die Abbildung von mehreren Bewertungsdimensionen. Die Ermittlung des Erwartungswerts kann mit einer relativ großen Sicherheit erfolgen. Entsprechend des zu erwartenden Umsatzplusses wird das Ranking der Tests gebildet. Eigentlich ganz einfach, wenn man die Idee dazu hat und sich die Kollegen darauf einlassen. Ach – natürlich muss a priori noch geprüft werden, ob der Traffic auf den zu testenden Bereichen der Website ausreicht, um den Test mittels Conversions durchzuführen. Richtwert: 200 Stück pro Zelle.

Einig waren sich die Teilnehmer des Abends übrigens darüber, dass die Farbe eines Buttons nicht wirklich testwürdig ist, die darauf befindliche »Call to Action« sehr wohl.

A/B-Test Hypothesenbildung

Klar – Hypothesen sind notwendig. Ohne Hypothesen ist die Interpretation von Ergebnissen häufig schwierig. Wenn man diesen Schwierigkeiten aus dem Weg gehen möchte, ist eine Systematisierung erforderlich. Hilfreich dabei sind strukturierte Konzepte, wie das »Conversion Framework« von Khalid Saleh (invespcro) oder das, was Konversionskraft zu dem Thema schreibt.

A/B-Test – Analytics Maturity Model

Ich stehe auf Maturity Models – ehrlich. Die haben verschiedene Vorteile. Der wichtigste ist wohl, dass man sich selbst einordnen kann – also den eigenen Stand überprüfen. Hier hat Bastian Schäfer etwas an die Wand geworfen, das ich noch nicht kannte. Mit freundlichem Dank gebe ich es hier weiter.

Ansonsten noch ein großes Dankeschön an Trakken und Optimizely für die Organisation des Abends. Ich komme nächstes Jahr gerne wieder, und zwischendurch auf den Analytics Summit nach Hamburg.