Waarom data harmonisatie zo'n groot probleem is in de praktijk

Het begint onschuldig. Je ontvangt data uit SIS voor Albert Heijn en uit 7EVEN voor Jumbo. Beide bronnen bevatten verkoopdata over dezelfde producten, maar de categorisering is anders opgebouwd. Wat bij de ene bron onder "ontbijt" valt, zit bij de andere onder "granen" of een nog fijnmaziger subcategorie.

Daar komt bij dat retailers regelmatig hun eigen categorisering herzien, een zogenaamde restatement. Op het moment dat dat gebeurt, kloppen al je historische vergelijkingen niet meer. Wat vorig kwartaal nog klopte, moet opnieuw worden doorgezet door je hele dataset.

En dan is er nog de combinatie met syndicated data van Nielsen of Circana, prijs data uit IPV of Superscanner, en je eigen interne data uit je ERP of verkoopsysteem. Al die bronnen hebben hun eigen structuur, hun eigen product hiërarchie en hun eigen manier van groeperen. Alles bij elkaar mappen kost dagen of weken werk per rapportageperiode.

‍

De twee manieren waarop teams dit nu oplossen en wat er misgaat

De meest gebruikte aanpak is Excel mapping. Je maakt een overzicht waarin je de categorienamen van elke bron koppelt aan jouw eigen interne indeling. Werkt prima op het moment dat je het opzet, maar is fragiel. Zodra een bron zijn categorisering aanpast of een nieuw product wordt geïntroduceerd, moet je het bestand opnieuw bijwerken. En als je een fout maakt, trekt die fout door alle analyses die erop gebaseerd zijn.

De tweede aanpak is iets robuuster: een database met een master dataset waarin producten uit verschillende bronnen worden gekoppeld aan één centrale productstructuur. Die master dataset fungeert als single source of truth (SSOT). Alle analyses vertrekken vanuit dezelfde basis, wat zorgt voor consistentie in je rapportages en in de verhalen die je richting retailer vertelt.

Maar ook dit vergt onderhoud. Nieuwe EAN codes, herindelingen van categorieën, restatements bij retailers: ze vragen allemaal om continue aandacht. Zonder geautomatiseerde verwerking blijft dit handwerk.

‍

Wat data harmonisatie concreet betekent voor je categorieplan

Voor trade marketeers aan de leverancierszijde is een consistent categorieplan de basis van elk goed retailer gesprek. Als de data waarop dat plan is gebaseerd per bron anders is geclassificeerd, loop je het risico dat je in een retailer meeting appels met peren vergelijkt zonder dat je het doorhebt.

Een retailer die zijn eigen data gebruikt om jouw analyse te toetsen, ziet het direct als de categorieën niet overeenkomen. Dat ondermijnt je geloofwaardigheid als strategisch partner, terwijl het probleem in de data zit en niet in de analyse zelf.

Goede data harmonisatie zorgt ervoor dat jij en de retailer vanuit dezelfde categorie definities werken. Dat is de basis voor een gesprek dat gaat over inzichten en strategie in plaats van over welke definitie nu eigenlijk klopt.

‍

Data harmonisatie automatiseren: van handmatig mappen naar een levende master dataset

De stap van handmatige Excel-mapping naar een geautomatiseerde master dataset is voor veel teams een grote verbetering. In plaats van dat je elke bron handmatig bijhoudt en periodiek opnieuw synchroniseert, worden nieuwe data automatisch gematcht aan de centrale productstructuur.

Nieuwe EAN codes worden herkend en direct gekoppeld. Restatements worden verwerkt zonder dat historische data handmatig opnieuw moet worden doorgezet. En als een bron zijn categorisering wijzigt, past het systeem de mapping bij zonder dat jij er een dag werk in steekt.

Het resultaat is een master dataset die altijd actueel is en waaruit je bijna real time kunt rapporteren, mits PoS data beschikbaar is. Niet meer wachten op een handmatige slag voordat je aan de echte analyse kunt beginnen.

Er blijft behoefte aan menselijke controle, een human in the loop. Data kwaliteit blijft het allerbelangrijkst. Als een automatische koppeling iets verkeerd matcht, wil je dat direct kunnen signaleren en corrigeren. Het fundament moet goed zijn, anders trekt een fout door alle rapportages heen.

‍

Wat dit oplevert voor trade marketeers en category managers

Uit onze ervaring met category teams bij FMCG leveranciers blijkt dat data crunching en het handmatig bijhouden van mappings tussen 25% en 60% van de beschikbare tijd kan opslokken. Dat is tijd die niet naar analyse gaat, niet naar het versterken van het categorieplan en niet naar de voorbereiding van een retailer meeting.

Als die stap wegvalt, verandert het werk van karakter. Category managers en trade marketeers kunnen meer categorieplannen onderbouwen met data, meer retailers bedienen met dezelfde capaciteit en sneller reageren op ontwikkelingen in de markt. 

Dat is een win win: de leverancier wint aan slagkracht en de retailer krijgt een partner die sneller en met betere inzichten aan tafel zit.

Bij elho was dit precies het probleem. Het category team besteedde tot 60% van de tijd aan het harmoniseren van data uit 33 verschillende retailkanalen. Na automatisering groeide het aantal onderbouwde categorieplannen van 10 naar 25 en zat het team structureel sterker aan de retailer tafel. Lees de volledige case hier.

‍

Hoe Captain data harmonisatie aanpakt

Captain bouwt automatisch een master dataset op basis van alle databronnen die jouw team gebruikt. Data uit SIS, 7EVEN, Nielsen, Circana, IPV en Superscanner wordt direct gekoppeld aan jouw eigen interne productstructuur. Nieuwe producten en EAN codes worden herkend en verwerkt. Restatements worden automatisch doorgezet.

Het resultaat is één consistente dataset waaruit je altijd kunt analyseren, zonder dat je eerst handmatig hoeft te mappen. Zo kun jij je richten op wat er echt toe doet: analyses die kloppen, categorieplannen die standhouden en retailer gesprekken die gaan over strategie in plaats van onderbuikgevoel.

Vraag een strategisch gesprek aan waarin we meteen praktische tips kunnen geven voor jouw specifieke data situatie.

‍

‍

Veelgestelde vragen over data harmonisatie

Wat is data harmonisatie in category management?

Data harmonisatie is het proces waarbij productdata uit verschillende bronnen wordt samengevoegd tot één consistente dataset. In categorie management betekent dit dat data uit retailer platforms zoals SIS en 7EVEN, syndicated bronnen zoals Nielsen en Circana, en interne systemen worden gekoppeld aan één centrale productstructuur. Zo kun je bronnen met elkaar vergelijken en consistente rapportages maken.

Waarom hebben verschillende databronnen een andere categorisering?

Elke databron bouwt zijn eigen product hiërarchie op basis van zijn eigen logica. Nielsen en Circana hanteren marktbrede categorie indelingen. SIS en 7EVEN hanteren de indeling van de retailer zelf. En jouw interne systeem volgt jouw eigen merkportfolio. Die drie logica's sluiten zelden naadloos op elkaar aan, waardoor handmatige mapping nodig is om ze te combineren.

Wat is een restatement en waarom is dat een probleem?

Een restatement is een herziening van de categorisering door een retailer of databron. Producten worden anders ingedeeld, categorie grenzen verschuiven. Voor de trade marketeer of category manager betekent dit dat historische data opnieuw moet worden doorgezet om vergelijkingen over tijd mogelijk te blijven maken. Zonder geautomatiseerde verwerking is dit een tijdrovend handmatig proces.

Hoeveel tijd kost handmatige data harmonisatie gemiddeld?

Uit onze ervaring met category management bij FMCG-leveranciers loopt de tijd die opgaat aan data harmonisatie en handmatig mappen van databronnen op tot 25 tot 60 procent van de beschikbare werktijd. De exacte belasting hangt af van het aantal retailkanalen, de frequentie van restatements en het aantal databronnen dat gecombineerd wordt.

Hoe helpt Captain bij data harmonisatie?

Captain bouwt automatisch een master dataset op door data uit SIS, 7EVEN, Nielsen, Circana, IPV, Superscanner en interne systemen te koppelen aan jouw eigen productstructuur. Nieuwe EAN codes worden herkend en verwerkt. Restatements worden automatisch doorgezet. Het resultaat is een altijd actuele dataset waaruit je direct kunt analyseren, zonder handmatige mapping tussenstap.

‍