Article

Media Mix Modeling: Vragen die attributie niet kunnen beantwoorden

Door

Welk kanaal levert je nu echt additionele omzet? Een "op klikken gebaseerd" attributiemodel geeft daar geen volledig antwoord op. Offline kanalen als TV, radio en out-of-home komen er niet in terug. Met een Media Mix Model, aangevuld met geo-experimenten, kun je die vraag wel beantwoorden. Aan de hand van een klantcase in de Duitse markt, laten we zien hoe dat werkt, wat het model bij deze klant opleverde en, minstens zo belangrijk, wat het je niet vertelt.

Onlangs kregen we van een klant de vraag of ze nog wel TV-campagnes moesten draaien Duitsland, een van de landen waar ze actief zijn. Deze vraag krijgen we vaker: welk kanaal levert mij additionele omzet, klanten of conversies?

In deze case is TV de grootste post op de mediabegroting, en de marketingmanager wilde weten of dat nog wel te verdedigen was. Want in een op klikken gebaseerd attributiemodel komt TV uiteraard niet terug.

1. Waarom een gemiddeld marketing dashboard deze vraag niet beantwoordt

De meeste dashboards laten zien hoe kanalen presteren, op basis van kanaal-eigen of Google Analytics 4 attributie. Dat geeft inzichten, maar beslaat lang niet al je kanalen.
Kanalen die goed meetbaar zijn krijgen zo structureel te veel eer: Search vangt vraag op die vaak al ergens anders is aangewakkerd, en TV, radio en out-of-home leveren geen click en dus geen rij in je attributiemodel, hoe hard ze ook werken. Daar komt bij dat platformen zelf allemaal in hun eigen voordeel rapporteren, waardoor de som van alle geclaimde conversies vrijwel altijd boven je werkelijke omzet uitkomt.

Verdeel je op basis van die cijfers je budget, dan verschuif je systematisch geld naar wat goed meetbaar is. Niet naar wat werkt.

Een Media Mix Model (MMM) is anders. In plaats van individuele klantreizen te volgen, kijkt een MMM naar het geheel: hoe beweegt je KPI mee met wat je uitgeeft, gecorrigeerd voor alles wat je niet in de hand hebt zoals seizoen en zoekvraag. Daardoor tellen offline kanalen gewoon mee.

2. Drie instrumenten, drie vragen

Een MMM is geen vervanging van attributie, en ook geen eindpunt op zich. Wij hangen het onder wat we triangulation noemen: drie instrumenten die elk een andere vraag beantwoorden en elkaar versterken:

Instrument

Beantwoordt

Tijdshorizon

In dit voorbeeld

Media Mix Model (MMM)

Welke kanalen dragen bij aan je KPI, en waar zit per kanaal het verzadigingspunt?

Maanden tot jaren, op basis van historische data

Ruim anderhalf jaar dagelijkse data over TV, YouTube, Google Ads, DV360 en de kleinere kanalen

Incrementality testing (geo-experiment)

Wat gebeurt er echt met je resultaat als je één kanaal uit- of opschaalt?

Weken, één experiment per keer

Aanbevolen om de Google Ads-bevinding uit het model te valideren

Attributie

Welke touchpoints zitten in de klantreis van de conversies die je wél kunt volgen?

Dagelijks, vrijwel realtime

Het dashboard waar de vraag over TV uit ontstond

De drie versterken elkaar. Uitkomsten van geo-experimenten voeden we terug in het MMM als priors, waardoor het model bij de volgende run minder gokt en meer weet. En de MMM-resultaten gebruik je om je attributiecijfers bij te stellen.

3. De case: moet TV nog blijven draaien?

Voor deze klant bouwden we een MMM op ruim anderhalf jaar dagelijkse data: alle mediabestedingen, reach en frequentie voor onder meer TV en YouTube, plus controlevariabelen als zoekvolume en seizoenspatronen.

4. Wat het MMM-model laat zien

Drie dingen sprongen eruit.

  1. TV is 67% van het budget, maar liep maar op 37% van de dagen. Korte, zware flights met lange stiltes ertussen. Het model schatte de gemiddelde frequentie op ongeveer 1,7, terwijl het geschatte optimum rond de 2,7 lag. Diezelfde euro's, anders over de flight verdeeld, leveren meer op: minder bereik, maar wel bereik dat beter blijft hangen.
  2. Google Ads was het grootste digitale kanaal en tegelijk het minst efficiënte. Bijna €400 per incrementele lead, ruim voorbij het optimale punt van de response curve. Elke extra euro daar leverde nauwelijks nog iets op. Dit is precies het risico van een kanaal dat er in een attributiemodel goed uitziet en daardoor wordt opgeschaald, zonder dat er zekerheid is over de incrementele waarde.
  3. Google DV360 DemandGen zat op ongeveer €20 per incrementele conversie. Twintig keer efficiënter dan Google Ads, en ook efficiënter dan TV. Het kanaal zat bovendien nog lang niet op het saturatiepunt, en hetzelfde gold voor YouTube. Beide kanalen waren samen goed voor een fractie van het budget, maar lieten hun potentie al duidelijk zien.
Een kanaal dat er in je op klikken gebaseerd attributiemodel goed uitziet, wordt vaak opgeschaald. Of het ook incrementeel werkt, weet je niet.

Kanaal

Budgetaandeel

Bevinding

TV

67%

Liep op maar 37% van de dagen. Frequentie rond 1,7 waar het optimum rond 2,7 lag. Zelfde budget, anders over de flight verdeeld, levert meer op.

Google Ads

Grootste digitale kanaal

Bijna €400 per incrementele lead, ruim voorbij het optimum van de response curve. Extra budget levert hier nauwelijks nog iets op.

DV360 DemandGen

Fractie van het budget

Circa €20 per incrementele conversie, twintig keer efficiënter dan Google Ads. Nog lang niet op het saturatiepunt.

YouTube

Fractie van het budget

Nog niet verzadigd, ruimte om op te schalen.

5. Het antwoord: ja op TV, maar de winst zat elders

Toen we het model lieten herrekenen met exact hetzelfde totaalbudget, kwam daar zo'n 1.600 extra incrementele conversies uit. Bijna 9% meer resultaat, zonder extra investering.

De verschuiving erachter was niet spectaculair: budget weg bij Google Ads, meer naar DV360, YouTube, Meta en Bing. TV bleef staan op hetzelfde bedrag, maar dan met een hogere frequentie per flight. Er verdween dus geen kanaal uit de mix, en er was ook geen noodzaak voor extra budget. Het budget werd simpelweg anders ingedeeld op basis van het model.

6. Hoe nauwkeurig is zo'n model (en wat het niet oplost)

In dit geval konden we ongeveer 90% van de data verklaren, en de voorspellingen zaten er minder dan 10% naast. Dat is een goede score, maar een MMM blijft altijd een deel van de waarheid, niet de hele waarheid.

Het was bijvoorbeeld lastig dat TV op maar 37% van de dagen aanwezig was in de mix. Meer datapunten daar helpen waarschijnlijk om TV nog beter in te schatten. Ook was het budget van de vier kleinste kanalen samen nog geen tiende van het totaal. Weinig variatie in de uitgaven betekent weinig informatie voor het model.

7. De onbedoelde conclusie: te netjes budgetteren maakt je niet slimmer

Dit was voor deze klant misschien wel het waardevolste inzicht, en het staat in geen enkele brochure.

Een kanaal waar je elke maand hetzelfde in stopt, levert geen enkel aanknopingspunt op voor welk model dan ook. Geen variatie staat gelijk aan niet leren.
Een extreem scheve verdeling is bovendien vooral ruis voor een statistisch model: als één kanaal 67% van je budget krijgt en vier andere elk 2%, sneeuwen die kleintjes statistisch onder.

Wil je iets kunnen leren van je marketinginzet, bouw dan bewust genoeg variatie in en zorg voor een betere balans tussen kanalen. Budget bewust laten fluctueren, een kanaal een korte periode uitzetten, TV op meer dagen laten lopen met een lager dagbudget. Dat voelt misschien inefficiënt, maar het is een investering in de kwaliteit van je data en dus in de kwaliteit van je volgende beslissing.

8. Van MMM naar actie

Het grootste risico van een MMM-traject is dat het eindigt zoals de meeste onderzoeken eindigen: een deck dat na de presentatie in een map verdwijnt, met cijfers die na een halfjaar niet meer kloppen.

Daarom kunnen we MMM koppelen aan een budget optimizer. Wil je weten wat er gebeurt als je Q1 met 15% opschaalt, of wat er van je resultaat overblijft als het TV-budget wordt gehalveerd? Dan draai je dat scenario zelf uit.

[@portabletext/react] Unknown block type "block", specify a component for it in the `components.types` prop

Meer weten over dit artikel?

Nieuwsgierig naar wat wij voor je kunnen betekenen? Of heb je gewoon een vraag?

Neem contact op met Marc en we helpen je snel verder.
Marc van Eck

Marc van Eck

Data Science Consultant