Was funktioniert? A/B-Tests in der politischen Kommunikation

Was funktioniert? A/B-Tests in der politischen Kommunikation

Der US-Kaufmann John Wanamaker soll sinngemäß gesagt haben, „Die Hälfte meiner Werbeausgaben ist verschwendet; das Problem ist, ich weiß nicht welche." Ein ähnliches Gefühl kennen viele auch aus politischen Kampagnen. Sicherlich werden im Nachhinein oft Legenden gestrickt nach dem Motto: „Das Plakat war wahlentscheidend" oder „Die Veranstaltung hat den Volksentscheid gerettet". Allerdings wissen wir unterm Strich noch viel zu wenig über die Wirkung unserer Kommunikation. Ein recht einfaches Mittel dies auch während einer Kampagne zu ändern, sind sogenannte A/B-Tests. Was das ist und wie man sie macht, wird hier erklärt!

Ralf Güldenzopf im #politsnack zu A/B-Tests und wie sie funktionieren:

 

Was ist ein A/B-Test?

Man kennt es aus der Medizin-Forschung: Die eine Gruppe von Patienten bekommt ein neues Medikament. Die andere Gruppe bekommt ein Placebo. Am Ende schaut man, ob das Medikament eine (bessere) Wirkung hat. Dieses Testen von zwei Varianten wird A/B-Test oder auch Split-Test genannt.

Die klassische Form des Experiments ist sehr einfach auch in der täglichen Kommunikation einer Kampagne einzubinden – zumal es eine Reihe technischer Hilfen und Instrumente gibt (siehe unten). Deswegen muss man kein Wissenschaftler sein, um die Wirksamkeit seiner Kommunikation zu testen und somit zu verbessern. Lediglich ein paar einfache Hinweise sollten berücksichtigt werden, die hier am Beispiel erläutert werden.

 

  1. Kennen Sie das Ziel: Nehmen wir den Versand einer E-Mail als Beispiel. Natürlich wollen wir damit zunächst so viele Personen, wie möglich erreichen. Und dafür ist die Öffnung der E-Mail eine Voraussetzung. Das Ziel könnte also folgendes sein: Mit Hilfe von 5.000 E-Mail-Adressen soll für eine Veranstaltung geworben werden. Weil die Betreffzeile Auswirkung auf die Öffnungsraten hat, möchte ich zwei Varianten ausprobieren.
  2. Schalten Sie den A/B-Test vor: Weil ich nicht meinen gesamten Verteiler zum „Labor" machen möchte, werden nicht jeweils 2.500 Personen angeschrieben. Stattdessen schalte ich den A/B-Test mit jeweils 400 Adressen vor. Die Variante mit der besten Öffnungsrate wird dann an die restlichen 4.200 E-Mail-Adressen versendet. Somit bekommen insgesamt 4.600 Personen die „Gewinner"-Variante.
  3. Geben Sie dem Zufall eine Chance: Wichtigste Voraussetzung für einen zuverlässigen A/B-Test ist, dass die E-Mail-Adressen (also Personen) den Gruppen zufällig zugeteilt werden. In unserem Beispiel sollten deswegen zunächst die 800 „Versuchsadressen" zufällig aus den 5.000 gezogen werden. Dann sollte noch einmal der Zufall entscheiden, welche Betreffzeile den jeweils 400er Gruppen zugeordnet wird. Im Falle der E-Mail übernehmen das gängige deutsche und internationale E-Mail-Programme, wie CleverReach, InxMail, MailChimp (bei der Auswahl auf den Datenschutz achten).
  4. Variieren Sie nicht zu viel: Um die Erkenntnisse auch später noch nutzbar zu machen, sollten sich die Varianten nicht zu stark unterscheiden. Im Falle der Betreff-Zeile dürfte das einfach sein. Um das aber deutlich zu machen: Man sollte nicht die Betreffzeile und die Versandzeit unterschiedlich gestalten. Dann ist nämlich nicht mehr klar, ob es Betreff oder Zeit war, was die unterschiedlichen Öffnungsraten herbeigeführt hat. Wenn man also die Versandzeit testen wollte, müsste man diese variieren, aber die Betreffzeile gleich lassen.
  5. Lernen Sie aus den Erkenntnissen: Bei der E-Mail sehen Sie quasi in Echtzeit, welche Betreffzeile attraktiver ist und mehr geöffnet wird. Um allerdings über mehrere E-Mail-Aktionen hinaus Erkenntnisse zu gewinnen, sollten die Fragestellung, Vorgehensweise und Ergebnisse eines jeden Tests festgehalten werden. Dann erhalten Sie möglicherweise Hinweise, dass ein Referentenname besser zieht als nur der Titel einer Veranstaltung. Genauso könnte es sein, dass Sie Hinweise über die Länge von Betreffzeilen bekommen. Auch hier gibt es viele Experimentiermöglichkeiten. Wichtig ist nur, dass Sie diese systematisch erfassen, um davon langfristig zu profitieren.

 

 

Wo werden A/B-Tests eingesetzt?

Das Vorgehen beim A/B-Test kann auf eine Vielzahl von Kommunikationsinstrumenten angewendet werden. Allerdings ist es nicht in jedem Fall gleich einfach, verlässliche Ergebnisse zu produzieren. Vor allem das sogenannte Kontrollieren für andere Einflussmöglichkeiten stellt manches Experiment vor Herausforderungen.

Sicherlich finden sich im „Online-Bereich" die einfachsten Testbedingungen. Unterstützt durch unterschiedliche Anbieter kann nicht nur die besprochene Öffnungsrate von E-Mails (z.B. CleverReach, InxMail, MailChimp), sondern auch das Klickverhalten auf Webseiten (z.B. bei Bernie Sanders oder bei Mitt Romney 2012) oder die Interaktion auf Social-Media-Plattformen (so geht's auf facebook) gemessen werden. Hier gibt es noch einen sehr guten Überblick über verschiedene Experimente aus der US-Präsidentschaftswahl 2016 – quasi ein best-of.

Gerade in den USA spielen E-Mails eine zentrale Rolle beim Fundraising. Hier wird sehr viel in die Optimierung investiert, denn bereits kleine Verbesserungen sind bares Geld wert (hier bei Barack Obama 2008).

Die Experimente sollten aber nicht nur auf den Online-Bereich beschränkt bleiben. Bleiben wir beim Fundraising: Spendenbriefe sollten analog zur E-Mail auf ihre Wirksamkeit hin überprüft werden. Auch hier muss sich an die Regeln gehalten werden: vor allem nicht zu viel variieren und zufällige Stichproben. Sie könnten beispielsweise testen, ob eine Umschlaggestaltung mehr Geld bringt als eine andere (bspw. handschriftliches vs. gedrucktes Adressfeld). Lässt man den Umschlag gleich, kann getestet werden ob die Länge eines Spendenbriefs oder bestimmte Botschaften besser funktionieren. Auch der Versandzeitpunkt kann übers Jahr getestet werden.

Natürlich können auch Veranstaltungen getestet werden. Ein erster Ansatzpunkt könnte die Methode der Einladung sein: telefonisch vs. postalisch beispielsweise. Man würde den Adressverteiler zufällig teilen. Die einen werden angerufen; die anderen bekommen einen Brief. Vor Ort kann bei der Veranstaltung mit Hilfe einer Teilnehmerliste überprüft werden, welche Methode mehr Teilnehmer gebracht hat. Bei der Veranstaltung könnten verschiedene Ideen ausprobiert werden, E-Mails zu sammeln.

 

Einfach mal ausprobieren

Es gibt eine Reihe von Möglichkeiten, die Effizienz von Kommunikation zu testen. A/B-Tests sind dafür ein einfaches und sehr geeignetes Mittel. Sicherlich haben Sie bereits viele weitere Ideen, wo man das Verfahren anwenden kann. Deswegen einfach mal ausprobieren – frei nach dem Motto: Um der Beste zu werden, muss man besser werden.




Mehr zum Thema

Direkte Kommunikation ist wichtig, um Leute für eine Kampagne zu mobilisieren. 5 Schritte, die dabei helfen!

Weil Kampagnen meist nie genug Geld, Zeit und Unterstützer haben, sollten sie möglichst effizient arbeiten und richtige Zielgruppe anprechen.

Twitter als politische Informationsquelle? Welchen Mehrwert Twitter in der Politik haben kann und wo Vorsicht geboten ist, zeigt eine neue Studie.

Welche Lehren sich schon jetzt aus dem US-Wahlkampf 2016 ziehen lassen, beantwortet Hahrie Han im Interview.

Donald Trump Präsidentschaftskandidat?! Vor einem Jahr noch unvorstellbar und heute fast schon Tatsache. Deshalb die Fragen: Wie konnte Trump passieren?