Get Notified and Be Proactive: AI-Powered Business Alerts

Waarom een "gewoon" dashboard niet genoeg is..

Die keer dat de conversietracking Google Ads al weken niet goed werkt.. met een (kostbare) daling van prestaties als gevolg. Wat ging er mis? Hoe lang gebeurt dit al? Helaas, tegen de tijd dat het probleem is geïdentificeerd, is er kostbare tijd en inkomsten verloren gegaan.

Deze situaties komen helaas vaker voor dan je zou denken. Veel bedrijven hebben dashboards om hun belangrijkste KPI's bij te houden, maar ze missen vaak de metrics die deze KPI's beïnvloeden en worden ook niet op tijd op de hoogte gesteld als deze onderliggende metrics afwijkingen vertonen.

Als gevolg hiervan gaan niet alleen kansen verloren, maar kan de impact van problemen veel groter zijn dan wanneer ze eerder waren ontdekt.

Get notified!

Om deze problemen op te lossen, hebben we een notificatiesysteem ontwikkeld dat afwijkingen vroegtijdig opspoort — zowel via handmatige regels als met behulp van AI/ML-modellen. Op deze manier ontvang je meldingen over potentiële problemen voordat ze grote problemen worden.

In dit artikel laten we zien hoe je een effectief notificatie systeem op kan zetten en laten we zien hoe deze oplossing business impact kan maken.

Afbeelding: Notificaties in Microsoft Teams

Afbeelding: Business waarde: Het vergelijken van real-time metrics met historische waarden (en ontvang een melding als er een afwijking is)

Data quality alerts? Focus ook op business alerts!

Veel notificatie systemen richten zich op datakwaliteit — ze waarschuwen je wanneer gegevens ontbreken, data pipelines stuk zijn of het data format niet voldoet aan de verwachte format. Hoewel deze waarschuwingen cruciaal zijn voor het op peil houden van de data kwaliteit (en het vertrouwen in de data), hebben ze vaak niet direct een relatie tot de daadwerkelijke business metrics.

Ons alerting systeem verschuift de focus van datakwaliteit naar business en operationele alerts (bijvoorbeeld voor marketing- of verkoopteams). Door proactief afwijkingen te detecteren, krijg je bruikbare inzichten die direct invloed kunnen hebben op je belangrijkste KPI's, zoals sales, door tijdig te reageren op problemen.

Waarom is dit belangrijk?

1. Blijf in controle: Automatische meldingen houden je op de hoogte van belangrijke veranderingen op het moment dat ze plaatsvinden. Dit betekent dat je nieuwe kansen snel kunt benutten, of problemen snel kunt oplossen.

2. Reageer snel op veranderingen in de markt: Real-time meldingen laten je direct veranderingen in verkoop, traffic of andere belangrijke cijfers zien. Als de verkoop van een product plotseling stijgt of daalt, kan je direct actie ondernemen.

3. Efficiënte operatie: Een slim waarschuwingssysteem houdt je op de hoogte zonder dat je constant bij je team hoeft in te checken en de business altijd op de hoogte is.

Praktische use cases

• Sales Threshold Alerts Monitoren op plotselinge stijgingen of dalingen in de verkoop ( binnen specifieke segmenten). Deze veranderingen kunnen kansen betekenen of problemen die aandacht nodig hebben.

• Search Engine Performance Alerts Monitoren op significante veranderingen in SEO rankings van belangrijke zoekwoorden / clusters. Dit helpt om verschuivingen in zoekmachine-algoritmes te identificeren of andere (technische) problemen te signaleren. Uiteraard kun je ook meldingen instellen voor veelvoorkomende campagnegerelateerde KPI's (bijv. clicks of ROAS), bijvoorbeeld wanneer er een bepaalde minimum of maximum waarde wordt overschreden.

• Product Category Sales and Stock Status AlertsMonitoren op verkooptrends en/of voorraadniveaus (per productcategorie). Veranderingen in deze trends kunnen nieuwe kansen zijn, knelpunten blootleggen die snel opgelost moeten worden of inzicht geven waar je je marketing euro's het beste uit kan geven. Dit geeft je meer mogelijkheden om je aan te passen en te groeien in een dynamische markt.

Afbeelding: Data Quality vs. Operational Alerts

Belangrijk is dat je als organisatie moet begrijpen welke metrics en KPI's je bedrijfsresultaten beïnvloeden. Dit kan te maken hebben met sales, maar ook met operaties en/of klantbeleving (bijv. problemen met de order afhandeling / website).

Proactief geïnformeerd worden wanneer er afwijkingen in deze metrics zijn, helpt je om sneller en effectiever te handelen en betere beslissingen te nemen.

Hoe zet je Google Dataform in voor alerting

Bij Turntwo gebruiken we voor onze oplossingen voornamelijk het Google Cloud Platform. De data producten binnen Google Cloud bieden een goede basis om analyses uit te voeren op grote (en kleine) datasets. Voor datatransformatie, gebruiken we Google Dataform.

Dataform is een tool die helpt transformeren van data. Het maakt samenwerken eenvoudig en zorgt er voor dat transformaties in de juiste volgorde en tijdstip uitgevoerd worden.

Dataform heeft ingebouwde data quality checks, genaamd assertions. Assertions zijn in feite controles die je binnen Dataform kunt configureren, om ervoor te zorgen dat je data aan specifieke regels voldoet.

Je kunt assertions instellen om te controleren of je data up-to-date is, vrij van duplicaten is of voldoet aan specifieke regels. Wanneer een assertion faalt, faalt de workflow in Dataform en wordt dit gelogd binnen Google Cloud Logs.

De grote beperking van Assertions, is dat een foutmelding weinig info geeft. Er wordt slechts vermeld dat het om een error gaat, en niet exact welke error. Dit maakt het lastig om de error met de juiste context naar een extern systeem te pushen.

BigQuery User-Defined Functions to the rescue

BigQuery User-Defined Functions (UDF's) zijn handige functies binnen BigQuery (en Dataform) die je in staat stellen om allerlei datamanipulaties uit te voeren met behulp van Javascript. In deze functies kan je bijvoorbeeld ook een API aanroepen.

Zoals al perfect beschreven in a blog van Alex Feldman, maken deze functies het mogelijk om:

• Maatwerk Alerts te creëren: Met UDF's kunnen we error berichten zelf vormgeven. Bijvoorbeeld met details zoals over de afwijking, de specifieke databronnen en de exacte gegevens (punten) die een afwijking laten zijn. Bijvoorbeeld, we kunnen hier de top 10 SEO-zoekwoorden teruggeven die een significante verschuiving hebben veroorzaakt. Wel zo handig om direct de ernst van een probleem in te schatten.

• Integreren met bestaande Messaging systemen: Omdat we APIs aan kunnen roepen in Google Cloud Functions, kunnen we proactief meldingen delen met externe platforms (Teams / Slack / E-mail, etc). Zo worden teams proactief op de hoogte gebracht.

Afbeelding: Alerting Infrastructuur in Dataform

Voor meer gedetailleerde instructies over hoe je de UDF's/Cloud Function kunt bouwen, raden we aan om het artikel van Alex Feldman te lezen 

Next step: Alerting op basis van ML / Anomalies

Een volgende stap in alerting, is het detecteren van afwijkingen doormiddel van Machine Learning (Anomaly Detection). Voor een aantal klanten hebben we dit ontwikkeld met behulp van BigQuery ML.

We gebruiken binnen BigQuery ML een standaard model, die afwijkingen in trends van bepaalde KPI's te kan ontdekken. Bij een afwijkingen, wordt zoals eerder beschreven, de juiste personen of team(s) geïnformeerd. Dit kan een Teams- of Slack-bericht zijn, een e-mail of zelfs een pushbericht.

Anomaly detection is een mooie aanvulling op handmatige bedrijfsregels en kan eenvoudig worden geïmplementeerd op je belangrijkste KPI's plus segmenten (bijv. sales binnen specifieke kanalen) maar ook op diepere kanaal-KPI's (bijvoorbeeld afwijkingen in de SEO-positie van bepaalde zoekwoord clusters).

Wil je meer over dit onderwerp weten? Laat het ons vooral weten!

Afbeelding: Anomaly Detection Dashboard

Meer info over Anomaly Detection binnen Google Dataform in het artikel van Alex Danilin.