Message Testing Methode für Narrative Change

Beschreibung   

Kleine Gruppen aus der Zielgruppe/dem Zielsegment kommen zusammen (online oder persönlich), um in einer moderierten 1-2-stündigen Diskussion auf Deine Botschaften und Inhalte zu reagieren.

Die Durchführung von mindestens 2 Fokusgruppen mit jedem Zielgruppensegment gewährleistet die Validität der Ergebnisse.

Feedbackdaten   

Vertiefte qualitative Gruppenreaktionen auf Deine Botschaften und Inhalte von Vertretern Deines Zielsegments/Publikums.

Ein großer Vorteil ist, dass Du sehen kannst, welche emotionale Reaktion Dein Inhalt und die darauffolgenden Gespräche auslösen. Es ist wichtig, daran zu denken, dass das Feedback, das Du erhältst, eine Gruppenreaktion ist, die auf Interaktion basiert und nicht auf den individuellen Meinungen der Teilnehmer.
 

Wie und wann zu nutzen    

Die vertieften Antworten eignen sich besser für Tests auf Konzeptebene in einer früheren Phase, da sie ein genaueres Verständnis der Zielgruppe ermöglichen und Aufschluss darüber geben, wie in der Phase, in der die Inhalte entwickelt werden, reagiert werden muss.    

Kann auch zum Testen von Mock-Ups/Inhaltsentwürfen verwendet werden.

Aufwand und Kompetenzen    

Hoher Aufwand und gewisse Recherche- und Analysefähigkeiten. Enge Zusammenarbeit mit einer Forschungsagentur oder einem Moderator bei der Auswahl der Teilnehmer, Absprache der Diskussionsmoderation und Interpretation der Ergebnisse und Schlussfolgerungen aus den Diskussionen.

Es ist deutlich mehr Arbeit, wenn Du auch noch die Teilnehmer finden und auswählen musst.

Kostenintensivere Option

€ 5.000 für zwei Gruppen mit acht Teilnehmern (2021)    

Beauftragung einer professionellen Forschungsagentur (z. B. IPSOS) mit der Suche nach den Zielteilnehmern, der Konzeption, Erstellung und Moderation der Fokusgruppen. Diese können sowohl persönlich als auch online durchgeführt werden, wobei Kampagnenmacher die Möglichkeit haben, die Diskussion zu beobachten.

Es lohnt sich, dafür Geld auszugeben, denn professionelle Marktforschungsinstitute können Folgendes gut:

1. Beschaffen einer repräsentativen Stichprobe Deiner Zielgruppe;
2. Moderieren von Fokusgruppen - insbesondere bei der Diskussion spaltender Themen;
3. Analysieren und Interpretieren der Diskussion, um informative Schlussfolgerungen zu ziehen.

Kostengünstigere Option

Organisationen, die eng mit Gruppen der Zielgruppe zusammenarbeiten, können ganz einfach kleine Gruppen für informellere Fokusgruppen zusammenstellen und diesen Prozess mehrmals durchführen.    

Eine große konfessionelle Organisation, die wir unterstützen, arbeitet mit vielen kommunalen Gruppen zusammen und führte während einer Kampagne regelmäßig und erfolgreich Fokusgruppen durch. Der Nachteil ist, dass man nicht wirklich in der Lage ist, die Repräsentativität der Gruppen zu kontrollieren, aber die Durchführung vieler Gruppen kann helfen, diesen Nachteil auszugleichen.

Beschreibung 

Erfassen der Reaktionen einer repräsentativen Stichprobe der Öffentlichkeit auf Deine Narrative und Kampagnenbotschaften.    

Die typische Stichprobengröße für nationale Umfragen beträgt in vielen Ländern 1.000, und dies ist auch der Standard für unsere Botschaften-Tests.

Feedbackdaten   

Hauptsächlich quantitative Daten über den Grad der Zustimmung zu Deinen Botschaften, die von "stimme überhaupt nicht zu" bis "stimme voll zu" reichen.   

Du kannst auch demografische Zielgruppen und Einstellungsaussagen einbeziehen, um die Ergebnisse zu segmentieren und die Antworten bestimmter Gruppen, z. B. von Anhängern oder der beweglichen Mitte, zu sehen.

Wie und wann einzusetzen  

Diese Methode kann sowohl für das Testen von Konzepten als auch für das Testen von Inhalten verwendet werden, eignet sich aber eher für Tests in einem früheren Stadium der Hauptbotschaften der Kampagne.  

 Wir setzen diese Methode häufig am Ende der Strategie-/Konzeptentwicklungsphase ein, um festzustellen, ob die Kampagnenbotschaften, die in den Fokusgruppen erfolgreich waren, auch im großen Maßstab für die Zielsegmente funktionieren, d. h. zur quantitativen Überprüfung der qualitativen Ergebnisse der Fokusgruppen.

Aufwand und Kompetenzen    

Mittlerer Aufwand und Verständnis für die Grundlagen des Umfragedesigns - teurere Optionen bieten mehr Unterstützung und Analysen, aber Du musst immer noch in Auftrag geben, was Du willst.  

Bei kostengünstigeren Optionen musst Du die Umfrage möglicherweise selbst entwerfen und die Datenanalyse selbst durchführen.

Kostenintensivere Option

ca. € 3.5002

Beauftragung einer professionellen Forschungsagentur oder eines Meinungsforschungsinstituts mit der Entwicklung und Durchführung einer kundenspezifischen Umfrage, Beschaffung einer geeigneten Stichprobe von Befragten und Analyse der Ergebnisse.    

Die kostenintensivere Option wird qualitativ hochwertigere Antworten von einer gezielteren Gesellschaftsgruppe erhalten.

Kostengünstigere Option

ca. € 900 - € 2.5003

Die günstigste Option ist der Kauf von Fragen in einer bestehenden Umfrage, die als "Omnibus"-Umfrage bezeichnet wird (z. B. YouGov Omnibus Daily). Du kannst auch Umfragen entwickeln, die schnelle Ergebnisse liefern, indem Du mit bestehenden Panels von repräsentativen Bevölkerungsgruppen arbeitest (z. B. Fast Facts/IPSOS).    

Kostengünstigere Optionen liefern Daten von geringerer Qualität aus weniger gezielten Stichproben und weniger Flexibilität bei der Segmentierung der Ergebnisse. Außerdem erfordern sie mehr interne Kompetenzen für die Entwicklung der Umfrage und die Datenanalyse. Aber wenn Du eine Bestätigung dafür suchst, dass Du in die richtige Richtung gehst, sind sie gut geeignet.

Beschreibung   

Miss, inwieweit Dein Kampagnenmaterial wichtige Einstellungen bei einer Gruppe (Testgruppe) im Vergleich zu einer ähnlichen Gruppe, die Dein Material nicht sieht (Kontrollgruppe), verändert.    

Die Stichprobengröße für RCTs schwankt zwischen 1.000 und 4.000, je nachdem, wie viel Zugang Dein Anbieter in den verschiedenen Ländern hat und wie groß Dein Budget ist.

Feedbackdaten    

Robuste, vergleichbare quantitative Daten über die Veränderung von Einstellungen, die es Dir ermöglichen, beispielsweise zu sagen, dass das Material die Einstellung der Öffentlichkeit um 3 Punkte zum Positiven verändert hat. RCT-Daten gelten als der Goldstandard für solche Tests.    

Vertiefte Erkenntnisse über die Reaktionen des Publikums auf Dein Material. Bietet auch eine aktuelle Umfrage zu den wichtigsten Einstellungen Deiner Zielgruppe innerhalb der Kontrollgruppe.

Wie und wann einzusetzen    

Eher geeignet für inhaltliche Tests von Kampagnenmaterial, z. B. Videos und memetisches Material. Viele Partner nutzen es, um Gewinner auszuwählen, d. h. um den endgültigen Inhalt für ihre Kampagne zu bestimmen.  

 Außerdem liefert es sehr nützliche Daten für die Evaluation von Kampagnen.

Aufwand und Kompetenzen    

Mittlerer Aufwand und Verständnis für die Grundlagen des Umfragedesign erforderlich. Bei der kostenintensiveren Option musst Du mit einer Forschungsagentur zusammenarbeiten, um die Umfrage für den Test zu entwickeln.    

Die kostengünstigere Option erfordert mehr Aufwand und Kompetenzen - Du musst den Test selber designen und die Datenanalyse durchführen.

Kostenintensivere Option
Ca. € 4.000 pro getestetem Video und Meme (2022)    

Beauftragung eines professionellen Marktforschungsunternehmens (wie Swayable) mit dem Entwurf, der Entwicklung der Umfrage und der Durchführung des Tests sowie der Datenanalyse.    
 

Kostengünstigere Option

Es gibt einige günstigere Optionen für RCT-Tests, aber ein Partner führt seine eigenen Fokusgruppen mit zwei Gruppen der Zielsegmente für die Kampagne durch - eine sieht das Kampagnenmaterial und eine nicht.  

Dieser Ansatz erfordert beträchtliche Anstrengungen und Forschungskompetenzen und liefert nicht die breite Bevölkerungssicht, die für einen solchen Test oft erforderlich ist. Er kann aber in einem begrenzten Datenumfang funktionieren.

Beschreibung  

Triff endgültige Entscheidungen, indem Du Botschaften oder Inhaltsoptionen identifizierst, die besser für Deine Zielerreichung funktionieren wie Reichweite oder Engagement. Kampagnenmacher testen zum Beispiel oft zwei Varianten eines Social-Media-Posts mit demselben Bild/Meme, um den Gewinner zu ermitteln.    

Es kann Dir auch dabei helfen, Deine Inhalte in eine Reihenfolge zu bringen, indem Du feststellst, welche Inhalte besser für den Aufbau von Reichweite oder Bekanntheit geeignet sind und welche mehr Engagement oder Traffic auf Deiner Website bewirken.

Feedbackdaten 

Robuste quantitative Daten zu den wichtigsten Leistungskennzahlen der sozialen Medien, z. B. eine Engagement-Kennzahl wie Kosten pro Klick. Auch vertiefte demografische Daten über die erreichte Zielgruppe.  

 Es kann auch nützlich sein, die Kommentare und qualitativen Antworten zu sehen, um zu verstehen, was das Material bei Deiner Zielgruppe auslöst.

Wie und wann einzusetzen    

Eher geeignet für spätere Tests von Kampagnenmaterial, z. B. Posts, Videos und memetisches Material.    

Um solche Tests auf Facebook/Instagram durchführen zu können, müssen NGOs mit einem sozialer Zweck registriert sein/sich für soziale Zwecke einsetzen. Da sich die Datenschutzbestimmungen verschärfen und die Algorithmen ändern, musst Du auf dem Laufenden sein, was möglich ist.

Aufwand und Kompetenzen    

Geringer Aufwand und ein Verständnis dafür, wie man Zielgruppenprofile entwickelt und Anzeigen auf Plattformen wie Facebook und Instagram schaltet.    

Das Entwickeln von Zielgruppenprofilen, die funktionieren, braucht einige Zeit und ist es wert, sich beraten zu lassen.

Kostenintensivere Option    

Du kannst im Grunde so viel für Anzeigen und Tests im Kampagnenprozess ausgeben, wie Du willst, aber ein einziger grundlegender (A/B-) Test ist relativ günstig, z. B. um die € 50, um einige aussagekräftige Daten zu erhalten.    

Kostengünstigere Option
€ 400 für 8-10 Tests auf FB/Instagram (2019)  

Für jede Kampagne lohnt es sich, ein Budget für Split- oder A/B-Tests einzuplanen, um endgültige Entscheidungen über den Inhalt zu treffen.  

 Du kannst auch in der Anfangsphase der Kampagne weiter testen, indem Du siehst, was mit bezahlten Anzeigen funktioniert, was dann als "Testen und Lernen" bezeichnet wird.

Beschreibung  

Hole Dir Feedback zu Botschaften und Inhaltsoptionen von denjenigen, die Deine Organisation oder Kampagnenmaßnahmen verfolgen, indem sie sich in Deine E-Mail-Liste eintragen.  

Ebenfalls nützlich für das Testen weitreichender E-Mail-Kommunikation oder Übermittlung von Botschaften.

Feedbackdaten 

Quantitative und qualitative Daten von Deinen Anhängern. Für einige Organisationen kann es ein Risiko darstellen, dass Du nur mit Unterstützergruppen testest. Eher geeignet für Organisationen, die eine große Reichweite in verschiedenen Bereichen der Öffentlichkeit haben.    

Sehr gut, um herauszufinden, was nicht funktioniert, wenn Du negative oder (genauso schlimm) keine Antworten erhältst. Du brauchst Daten, um Deine Zielgruppe zu segmentieren. Es könnte zu verzerrten Ergebnissen führen, wenn das Feedback nur von emotionalen Befragten kommt.

Wie und wann zu nutzen    

Kann während des gesamten Prozesses der Kampagnenentwicklung vom Konzept bis zum Testen der Inhalte erfolgreich eingesetzt werden.    

Achte darauf, dass Du die Liste nicht mit zu vielen Tests überfrachtest!

Aufwand und Kompetenzen  

Geringer Aufwand und ein Verständnis für die Durchführung von Split-Tests und die Verwendung von Umfragetools wie SurveyMonkey oder Google Forms.
    

Diejenigen, die über große und weitreichende E-Mail-Listen verfügen, haben normalerweise ein Kommunikationsteam, das regelmäßig mit den Listenmitgliedern kommuniziert, so dass das Hinzufügen der Testdimension normalerweise keine große Belastung darstellt.

Kostenintensivere Option    

Du kannst den Zugang zu zielorientierten E-Mail-Listen kaufen, aber Partner berichten, dass dieser Ansatz keine guten Ergebnisse bringt, und es kann Probleme mit dem Datenschutz geben, wenn es darum geht, wie Personen auf solche Listen kommen.    

Kostengünstigere Option    

Die Arbeit mit einer bestehenden E-Mail-Liste zur Durchführung von Tests erfordert vor allem Arbeitsaufwand und Zugang zu einem Umfragetool wie SurveyMonkey.    

Beschreibung 

Hole Dir in einem speziellen Online-Forum über einen Zeitraum von einigen Tagen bis zu einer Woche (oder sogar länger) von einem Online-Panel Deines Zielpublikums Feedback zu den Optionen für Botschaften und Inhalte ein.    

Neben den Online-Bulletin-Boards kann diese Methode auch als asynchrone Fokusgruppen bezeichnet werden. Wird häufig verwendet, um die Reaktionen der Verbraucher auf Marken über längere Zeiträume zu beobachten. Ermöglicht den Teilnehmern die Teilnahme, wenn es ihnen passt.

Feedbackdaten    

Vertiefte quantitative und qualitative Daten zu den Reaktionen auf Dein Material und Deine Botschaften. Es ist besonders gut geeignet, um zu verstehen, was durch Deine Materialien ausgelöst wird, da Du siehst, wie Gespräche über einen längeren Zeitraum fortgesetzt werden. Du kannst Text-, Audio- und sogar Video-Feedback von den Teilnehmern erhalten.    

Außerdem kannst Du Deinen Frageansatz ändern, wenn sich das Gespräch entwickelt, und die Teilnehmer können sogar ihre eigenen Fragen stellen. Diese Methode eignet sich besonders gut, um schwer erreichbare Zielgruppen anzusprechen, die vielleicht nicht an öffentlichen Foren teilnehmen möchten.

Wie und wann zu nutzen    

Bei einem Kampagnenansatz wird es oft schon zu einem frühen Zeitpunkt eingesetzt, um die Reaktionen auf die wichtigsten Botschaften und den Entwurf von Inhaltsoptionen zu sehen.  

 Dieser Ansatz kann in Verbindung mit einem eher längerfristigen Ansatz verwendet werden, um Veränderungen in den Einstellungen über längere Zeiträume zu beobachten.

Aufwand und Kompetenzen    

Ein ziemlich hohes Maß an Aufwand und Verständnis für den Forschungsansatz, um das, was Du willst, bei einem Forschungsdienstleister in Auftrag zu geben und geeignete Materialien vorzubereiten.    

Um das Beste herauszuholen, muss jemand aus Deinem Team verfügbar sein, um während des Tests Entscheidungen zu treffen, wie zu reagieren ist.

Kostenintensivere Option
€ 3.500-5.000 für 1 Session über 3 Tage (2022)4

Du zahlst für die Nutzung eines sicheren, dedizierten Online-Bereichs zur Durchführung des Tests, einschließlich des mobilen Zugriffs. Normalerweise zahlst Du auch für die Konzeption und Erstellung des Tests, die Rekrutierung der Teilnehmer und die Moderation des Tests. Vielleicht auch für die Auswertung der Ergebnisse.    
 

Die Sicherheit, der Datenschutz und die Sicherheit der Teilnehmer sind bei diesem Ansatz sehr wichtig, so dass kostengünstigere Optionen selten sind bzw. nicht existieren.

Kostengünstigere Option

Du könntest so etwas zum Beispiel in einer privaten Gruppe auf Facebook durchführen, aber die Beteiligung der Gruppenmitglieder wäre wahrscheinlich gering.    

Du musst über eine bestehende Gruppe verfügen, die einen signifikanten Anteil an Mitgliedern Deiner Zielgruppe umfasst.

Beschreibung    

Probiere in der Anfangsphase einer Kampagne alle Optionen für Botschaften, Inhalte und Texte aus und sieh, was funktioniert, d. h. teste und lerne. Konzentriere Dich dann im weiteren Verlauf der Kampagne auf die Botschaften, Texte und Inhalte, die besser funktioniert haben.    

Wer Kampagnen zum Narrative Change durchführt, versucht oft, ein Publikum zu erreichen, das nicht zu seinen Anhängern gehört. Daher sind bezahlte Anzeigen ein Muss und liefern außerdem umfangreiche Daten zur Evaluierung der Leistung.

Feedbackdaten    

Vielschichtige und vertiefte quantitative Daten, die zeigen, ob Du die Ziele Deiner Kampagne triffst. Außerdem qualitative Daten, die es Dir ermöglichen, den Ton der Reaktionen und Gespräche zu verstehen, die durch die einzelnen Inhalte ausgelöst werden.  

 Wenn Du mit Feedback-Daten von mehreren Plattformen und mehreren Anzeigen arbeiten, kann es nützlich sein, eine einzige Schnittstelle oder ein Dashboard zu haben, das Deine Daten zusammenfasst. Hierfür gibt es mehrere Optionen - wir haben Keyhole verwendet.

Wie und wann zu nutzen    

Dieser Ansatz des Testens und Lernens wird normalerweise in der Anfangsphase (z. B. in der ersten Woche) einer Kampagne angewandt.    

Es ist ratsam, nach dieser Testphase eine Woche Pause einzuplanen, um die Daten zu verarbeiten und auf der Grundlage der gewonnenen Erkenntnisse zu entscheiden, wie es weitergehen soll, bevor der Anzeigenkauf fortgesetzt wird.

Aufwand und Kompetenzen    

Dies erfordert vom Kampagnenteam in der Anfangsphase einen erheblichen Zeit- und Arbeitsaufwand für die Organisation und Durchführung der Anzeigen sowie für die Analyse und Erörterung des Feedbacks, damit fundierte Entscheidungen darüber getroffen werden können, welche Inhalte zu verwenden sind und welche weggelassen oder angepasst werden sollen.    

Im Facebook-Anzeigenmanager kannst Du Anzeigen für die Zielgruppen-Reichweite, Engagement oder Traffic einrichten und alle Deine Inhalts-/Botschaftsoptionen für jede Zielgruppe in einer Anzeige (oder „Kampagne“, wie Facebook es nennt) zusammenfassen.

Kostenintensivere Option
z. B. € 1.000 aus einem Anzeigenbudget von € 2.500 in einer aktuellen Kampagne  

Erfahrenen Social-Media-Kampagnenmachern zufolge ist es üblich, 40% bis 50% des Anzeigenbudgets für eine Kampagne in dieser Test- und Lernphase auszugeben.

Kostengünstigere Option
z. B. € 500 für 10 Anzeigen

Du kannst die wichtigsten Arten von Materialien und Botschaften auswählen und einen kostengünstigeren Test durchführen, um zu sehen, was funktioniert.