Geo Lift Testing: Wie es funktioniert und warum es relevant ist

Dieser Artikel erklärt, wie Geo Lift Testing dazu beiträgt, die Effektivität von Marketingstrategien zu verstehen und datengesteuerte Entscheidungen zu treffen.

Was ist Geo Lift Testing?

Geo Lift Testing, auch bekannt als geografisches Lift Testing, ist eine Methode, die in der Marketingforschung eingesetzt wird, um die Wirkung von Werbekampagnen oder anderen Marketingmaßnahmen zu messen. Hierbei wird ein spezifischer geografischer Bereich ausgewählt, in dem eine bestimmte Werbemaßnahme durchgeführt wird, während in einem vergleichbaren Kontrollbereich diese Maßnahme nicht eingesetzt wird. Die Idee ist, die Verkaufszahlen oder andere relevante Leistungsindikatoren in beiden Gebieten zu vergleichen, um die tatsächliche Wirkung der Werbung auf den Umsatz oder das Kundenverhalten festzustellen.

Wichtige Aspekte des Geo Lift Testing sind:

1. Auswahl der Regionen: Die Test- und Kontrollregionen müssen sorgfältig ausgewählt werden, damit sie in Bezug auf demografische, wirtschaftliche und andere relevante Faktoren vergleichbar sind.

2. Messung der Ergebnisse: Die Analyse der Ergebnisse erfolgt durch den Vergleich der Verkaufsdaten oder anderer KPIs (Key Performance Indicators) zwischen den Testregionen und den Kontrollregionen. Dies kann einfache Vergleiche oder komplexere statistische Analysen umfassen.

3. Anpassung für Störfaktoren: Es ist wichtig, für externe Störfaktoren, die die Ergebnisse beeinflussen könnten, zu kontrollieren. Das können zum Beispiel saisonale Schwankungen oder andere Marketingaktivitäten sein.

 Nachdem der "Lift" oder die Wirkung in der Testregion festgestellt wurde, kann dieser Effekt oft genutzt werden, um die potenzielle Wirkung der Kampagne auf größere oder andere Märkte hochzurechnen.

Geo Lift Testing wird oft in Branchen verwendet, in denen regionale Marketingkampagnen eine Rolle spielen, wie im Einzelhandel, bei schnelldrehenden Konsumgütern oder in der Telekommunikationsindustrie. Diese Methode bietet den Vorteil, dass sie relativ realistische Einblicke in die Wirksamkeit von Marketingstrategien liefert, da sie in einer natürlichen Umgebung stattfindet, im Gegensatz zu simulierten Tests oder Umfragen.

Definition von Geo Lift Testing

Geo Lift Testing ist eine experimentelle Forschungsmethode im Bereich des Marketings, die dazu dient, die Effektivität von Werbemaßnahmen in bestimmten geografischen Regionen zu bewerten. Bei diesem Ansatz werden mindestens zwei geographisch abgegrenzte Bereiche ausgewählt: eine Testregion, in der eine spezifische Werbe- oder Marketingaktion durchgeführt wird, und eine Kontrollregion, in der diese Maßnahme nicht stattfindet. Durch den Vergleich der Leistungsindikatoren wie Verkaufszahlen, Kundenbesuche oder andere relevante Metriken zwischen diesen beiden Regionen, kann der direkte Einfluss der Marketingmaßnahme auf das Konsumentenverhalten oder den Umsatz isoliert betrachtet werden. Dieses Vorgehen hilft Unternehmen zu verstehen, inwiefern ihre Werbemaßnahmen tatsächlich zu einer Steigerung der Geschäftsleistung führen, indem es den "Lift" oder die Steigerung misst, die durch die Marketingaktionen erzeugt wird.

Unterschied Geolift, Multi-Touch Attribution (MTA) und Marketing Mix Modelling

Geo Lift Testing, Multi-Touch Attribution (MTA) und Marketing Mix Modeling (MMM) sind drei Methoden, die zur Analyse und Bewertung der Effektivität von Marketingstrategien verwendet werden, wobei jede Methode ihre spezifischen Stärken und Einschränkungen hat.

Geo Lift Testing konzentriert sich auf die Wirkung von Marketingmaßnahmen in geografisch abgegrenzten Bereichen. Dabei werden Testregionen, in denen Kampagnen durchgeführt werden, mit Kontrollregionen verglichen, die keine solche Werbemaßnahme erfahren. Der Hauptvorteil dieser Methode liegt in ihrer Fähigkeit, klare und kausale Beweise für die Effektivität einer Marketingaktion zu liefern, besonders nützlich für Offline- und lokalisierte Kampagnen. Allerdings ist Geo Lift Testing begrenzt auf geografische Analysen und erfordert vergleichbare Regionen, um valide Ergebnisse zu erzielen, was es weniger geeignet für digitale oder global orientierte Kampagnen macht.

Multi-Touch Attribution (MTA) bietet dagegen eine detaillierte Analyse aller Marketingkontakte entlang der Customer Journey. Durch die Bewertung jedes Kontaktpunktes kann MTA zeigen, wie einzelne Interaktionen über verschiedene Kanäle hinweg zum Endziel beitragen. Dies ist besonders wertvoll für Unternehmen mit komplexen digitalen Marketingstrategien, die eine präzise Optimierung der Budgetverteilung auf die effektivsten Kanäle ermöglichen möchten. Die Herausforderungen bei MTA liegen in den Datenschutzbestimmungen und der Komplexität, alle Kundeninteraktionen in Zeiten abnehmender Signale vollständig zu erfassen, sowie der möglichen Vernachlässigung von Synergien zwischen den Kanälen.

Marketing Mix Modelling (MMM) verwendet historische Daten, um die Effektivität verschiedener Marketingelemente sowie externer Faktoren wie das Wirtschaftsklima oder Aktionen von Wettbewerbern zu analysieren. MMM eignet sich hervorragend für die strategische Planung und Budgetierung, da es einen breiten Überblick über den gesamten Marketingmix und dessen Wirkung bietet. Die Methode kann jedoch in dynamischen Märkten oder bei der Bewertung neuer Marketingkanäle weniger effektiv sein, da sie weniger granulare Einblicke auf der Ebene individueller Kundeninteraktionen bietet und keine Echtzeit-Ergebnisse liefert.

Zusammenfassend lässt sich sagen, dass jede Methode wertvolle Einsichten bietet, abhängig von den spezifischen Anforderungen und Gegebenheiten des Unternehmens. Geo Lift Testing ist ideal für die kausale Analyse in physischen Regionen, MTA bietet tiefe Einblicke in digitale Kundenwege, und MMM liefert eine umfassende Perspektive auf den Einfluss des gesamten Marketingmixes unter Einbeziehung externer Faktoren.

Marketing-Mix-Modelle (MMM) und Geo-Experimente können gemeinsam genutzt werden. Nutze die Ergebnisse eines Geo-Lift-Tests, um deine MMM-Ergebnisse zu justieren und sicherzustellen, dassso nah wie möglich an der experimentellen Kausalität liegen. Du kannst GeoLift auch verwenden, um die Auswirkungen der MMM-Budgetempfehlung pro Kanal zu bestimmen und die Auswirkungen mit den üblichen Geschäftskampagnen zu vergleichen.

Da es immer weniger Mechanismen wie Cookies und mobilen IDs gibt, werden Techniken, die auf Aggregation und Modellierung basieren, immer notwendiger. Insbesondere MTA wird zunehmend ungenau. Diese Änderungen beeinflussen jedoch nicht MMM oder Geo-Experimente, die aggregierte Daten verwenden.

Während Triangulation hierbei das Schlagwort ist, scheint Google auf Kalibrierung zu setzen. In ihrem Modern Measurement Playbook schlagen sie eine Lösung für die Frage vor, die ständig von Marketern kommt: „Wie nutze ich meine verschiedenen Messmethoden gemeinsam?“

So funktioniert die Kalibrierungsmethode von Google:
1️⃣ Nimm deinen Attributions-ROAS (sagen wir für Q1)
2️⃣ Nimm deinen geo-experimentellen iROAS (sagen wir von einem Test, den du in Q1 durchgeführt hast)
3️⃣ Teile den iROAS durch den ROAS, um deinen Kalibrierungsmultiplikator zu erhalten
4️⃣ Multipliziere deinen zukünftigen Attributions-ROAS (für Q2) mit dem Kalibrierungsmultiplikator, um einen geschätzten iROAS für Q2 zu erhalten.

Dieses Beispiel für Kalibrierung ist gut, weil es zeigt, wie man Geo-Tests mit Attributions-ROAS kombiniert (für Google bedeutet Attributions-ROAS Berichte innerhalb der Plattform, aber es soll wahrscheinlich auch Google Analytics oder MTA-Berichte bedeuten).

Es zeigt auch, wie du Experimente zu bestimmten Zeitpunkten nutzt, um die Inkrementalität zukünftiger Perioden zu bestimmen. Das ist hilfreich, weil die meisten Marketer keine fortlaufenden Inkrementalitätstests durchführen (es gibt sowohl operationelle als auch finanzielle Kosten für ständige Tests).

Technologien und Tools für Geo Lift Testing

Für die Durchführung von Geo Lift Testing bieten Tools wie Haus und Twigeo, aber auch die Open Source Optionen von Meta und Google, bieten einfache Zugänge an. Die zugrunde liegenden methoden sind zumeist die folgenden.

Differences-in-differences: Dies ist der beliebteste und einfachste Ansatz, um eine Inferenz für einen Geo-Test durchzuführen. Wird normalerweise nicht empfohlen, es sei denn, die vorhergesagte Effektgröße ist wirklich groß. DID ist hauptsächlich aufgrund seiner Abhängigkeit von der Annahme paralleler Trends, die in tatsächlichen Experimenten selten vorkommt, außer Gebrauch gekommen.

CausalImpact (Google): Verwendet eine Bayes'sche Zeitreihenmodellierungstechnik, um das kontrafaktische Szenario vorherzusagen. Dies ist besonders nützlich, wenn starkes Vorwissen verfügbar ist oder wenn die KPI-Metrik nicht verfügbar ist und die Modellierung anhand eines Proxys erfolgen muss.

GeoX (Google):: Verwendet ein lineares Modell, um die kontrafaktische Zeitreihe vorherzusagen. Es wird als robustere Lösung für gepaarte Marktstudien positioniert und hat auch überlegene Eigenschaften bei kleinen Stichproben (geringe Anzahl von Test-/Kontrollmärkten).

Synthetic Control Method (Synth): Verwendet eine gewichtete Kombination von Conversions der Kontrollmärkte, um ein kontrafaktisches Szenario für Testmärkte zu erstellen. Diese Methode hat in letzter Zeit viel Popularität gewonnen, kann jedoch verzerrte Ergebnisse liefern, wenn keine perfekte Übereinstimmung aus dem Pool der Kontrollen gefunden werden kann. 

Augmented Synthetic Control Method (ASCM): Die erweiterte synthetische Kontrollmethode (ASCM) ist eine Erweiterung der Synth-Methode. Zu den Modifikationen der ursprünglichen Methode gehören Kovariaten, um die Testeinrichtung zu verbessern und Verzerrungen zu reduzieren, sowie negative Gewichte im Gewichtungssystem. Obwohl diese Ergänzungen mehr Flexibilität und Anpassungsfähigkeit bieten, um den Marketing-Anforderungen gerecht zu werden, kann die Verwendung von Kovariaten ohne sorgfältige Überlegung das Gegenteil bewirken und neue Verzerrungen einführen.

Jede Methode hat ihre eigenen charakteristischen Merkmale, wobei eine besser zu euren Testanforderungen passen könnte als eine andere. Ihr habt auch die Möglichkeit, Methoden zu kombinieren, um bestimmte Funktionen zu nutzen, die in einer Methode vorhanden sind und in der anderen nicht, um ein Testdesign für euren individuellen Fall zu optimieren. Zum Beispiel könnt ihr mit ASCM beginnen, um eine synthetische Kontrollgruppe zu erstellen, und dann Techniken wie stratifiziertes Matching verwenden, um die Auswahl der Einrichtung zu verfeinern. Ein Fall wie dieser ist sehr fortgeschritten und liegt normalerweise über den Anforderungen, wie die meisten Tests durchgeführt werden.

In den meisten Fällen sollte der Fokus nicht darauf liegen, die „richtige“ Methode auszuwählen, sondern darauf, das Ziel zu definieren, die zugrunde liegenden Daten zu verstehen und die richtigen Transformationen anzuwenden. Es ist ein iterativer Prozess.

Strukturelle Probleme des Geo Lift Testings

• Die fehlende Möglichkeit, Targeting zwischen verschiedenen Plattformen wie Google und Meta zu synchronisieren, bedeutet, dass Ungenauigkeiten vorgegeben sind.
• Standortdaten sind ungenau und unzuverlässig.
• Kosten- und Ressourcenintensiv: Die Durchführung von GeoLift-Experimenten erfordert zusätzliche Ressourcen, einschließlich Zugang zu Standortdaten, technologische Infrastruktur und Expertise in der Datenanalyse.
• Stichprobenverzerrung: Geo Lift-Tests verlassen sich auf Teildaten und können zu unklaren oder einfach falschen Schlussfolgerungen führen.
• Conversionverlust: Wenn 50% des Zielgebietes keine Anzeigen erhalten sollen, wird es 50% weniger Conversions geben - und das für einige Wochen. Ein möglicherweise zu hoher Preis, um die Wirksamkeit zu messen.
• Saisonalität: Ein 4-5 Wochen dauernder Geo Lift-Test wird das Wetter nicht herausrechnen können - ganz im Gegenteil. Das Wetter kann sich in den unterschiedlichen geographischen Regionen auch sehr unterschiedlich verhalten.
• Messverzögerung: Die Analyse der Auswirkungen kann Wochen dauern. In der Zeit sollten keine tiefgreifenden Änderungen, wie z.B. Budgets, Kreation, an den Kampagnen vorgenommen werden.

Warum ist Geo Lift Testing trotzdem relevant?

Geo-Testing ist inzwischen zugänglicher und die Tools sind günstiger geworden, sodass es eine gängige Analysepraxis ist. Auch wenn Geo-Testing nie die präziseste Messmethode sein wird, kann es die beste verfügbare Option sein.

Der fortlaufende Strom von Datenschutzrichtlinien begrenzt inzwischen sogar 1st-Party-Daten. Viele hoffen, dass eine der vielen Lösungen für die Online-Messung, an denen gearbeitet wird, einen funktionierenden Standard schaffen wird – aber darauf zu warten, dass dies geschieht, wäre naiv. Werbetreibende beginnen gerade erst, die Auswirkungen von Apples AppTrackingTransparency-Framework zu verarbeiten und sich mit GA4 und weniger Daten anzufreunden, derweil mehr und mehr Daten verschwinden.

Datengesteuerte Entscheidungsfindung mithilfe von Geo Lift Testing

Durch die Verwendung von Geo Lift Testing können Marketingexperten datengesteuerte Entscheidungen treffen, die auf objektiven Messungen des tatsächlichen Einflusses von Marketingmaßnahmen basieren. Dies ermöglicht es Unternehmen, ihre Ressourcen effizienter einzusetzen und ihre Marketingstrategien kontinuierlich zu optimieren.

Geo-Testing: Unterschätztes Werkzeug für Growth Marketing

Geo-Testing ist grundsätzlich eine flexible Methode, um Inkrementalität auf eine datenschutzfreundliche Weise zu messen. Es ist ein unverzichtbares Werkzeug für App-Marketer auf iOS (ATT, SKAD) und für alle Marketer, die auf schwer zu messenden Kanälen wie TV, OTT oder ATL werben. Geo Lift Tests erfordern saubere Daten, Kenntnisse in Marketing Science und ein Verständnis der üblichen Methoden.

Da das traditionelle digitale Tracking unzuverlässiger wird und die Datenschutzregulierungen zunehmen, hast du als Growth Marketer mit Geo-Testing die Chance, Boden gut zu machen.