Het vertrek van een klant is zelden een plotselinge gebeurtenis.
Het bouwt zich geleidelijk op - minder aankopen, lagere bestelwaarden, langere betalingstermijnen en minder frequente contacten.
Wanneer het verlies zichtbaar wordt, is het vaak al onomkeerbaar. Tegen de tijd dat de onderneming vaststelt dat de klant is vertrokken, valt er doorgaans niets meer te behouden.
Dit fenomeen wordt klantverloop genoemd, of churn in technische termen: het verlies van bestaande klanten, in tegenstelling tot het aantrekken van nieuwe klanten.
De meeste commerciële directies kennen het probleem en kunnen het doorgaans ook kwantificeren. Ze weten welk aandeel van hun klantenportefeuille jaarlijks verloren gaat.
Wat ze veel minder goed weten, is welke klanten zullen vertrekken.
Dat is de enige vraag die tijdige actie mogelijk maakt, want de capaciteit voor retentie is beperkt. Een onderneming kan niet elke klant op dezelfde manier behandelen.
Ze moet bepalen waar ze ingrijpt - en dat vroeg genoeg doen om nog impact te hebben.
Wat een model ziet dat een regel niet ziet
Om klantverloop te voorspellen, beginnen ondernemingen meestal met eenvoudige regels: een waarschuwing wanneer een klant zes maanden niet heeft besteld, of extra opvolging wanneer een account onder een bepaalde drempel zakt.
Die regels hebben een structurele beperking: ze bekijken telkens slechts één signaal.
Het risico op vertrek ligt zelden in één geïsoleerde variabele. Het ontstaat uit een combinatie van factoren.
In het onderstaande voorbeeld heeft een 55-jarige klant met slechts één product en zonder actieve transacties een fundamenteel ander risicoprofiel dan een 35-jarige klant met meerdere producten - zelfs wanneer hun rekeningsaldo identiek is.
Niet de leeftijd, het aantal producten of de inactiviteit op zich voorspellen het vertrek. Het is de interactie tussen die factoren.
Dat is precies wat een machine-learningalgoritme kan detecteren, terwijl een manuele regel doorgaans alleen gemiddelden ziet.
Het model leert uit het historische gedrag van klanten die al zijn vertrokken en identificeert welke combinaties van signalen aan dat vertrek voorafgingen - ook combinaties die niemand spontaan in een regel zou hebben opgenomen.
Het model levert geen definitief oordeel.
Het kent elke actieve klant een waarschijnlijkheid toe om binnen de komende maanden te vertrekken.
Daar begint het echte werk.
De waarde komt niet uit de score
De waarde van een churnmodel hangt niet alleen af van zijn voorspellende prestaties.
Ze wordt bepaald door vier bijkomende parameters:
• de kost van een waarschuwing;
• de economische waarde van een behouden klant;
• het succespercentage van de retentieactie;
• het vermogen van de organisatie om op het signaal te handelen.
Geen van deze parameters komt voor in de technische maatstaven waarmee modellen doorgaans worden beoordeeld - rangschikkingsvermogen, detectiegraad of precisie.
Toch zijn het precies deze parameters die bepalen of de investering verantwoord is.
De analyse hieronder volgt de volledige keten, van data tot businesscase, inclusief de onderliggende cijfers.
De data
De demonstratie is gebaseerd op een veelgebruikte publieke dataset uit de banksector: 10.000 particuliere klanten, een geobserveerd klantverloop van 20,4% en tien gedragsmatige, contractuele en financiële variabelen.
De case is bancair omdat in die sector degelijke publieke datasets beschikbaar zijn.
De onderliggende logica geldt voor elke terugkerende klantenportefeuille - industrie, distributie of dienstverlening.
Reële klantdata worden niet gepubliceerd.
Een publieke dataset biedt precies het omgekeerde voordeel van een vertrouwelijke klantcase: elk cijfer in dit artikel kan worden herberekend en elke stap kan worden gereproduceerd.
De methode: drie datasets, geen twee
De data werden opgesplitst in drie afzonderlijke groepen:
• 6.000 klanten om de modellen te trainen;
• 2.000 klanten om het model te selecteren en de waarschuwingsdrempel te kalibreren;
• 2.000 klanten om de uiteindelijke prestaties te meten.
Deze scheiding is een eerste teken van analytische discipline, maar ze vergt ook meer data.
Een klassieke aanpak gebruikt slechts twee datasets: training en test.
Het risico is onmiddellijk duidelijk. Dezelfde testset kan dan worden gebruikt om het model te selecteren, de drempel aan te passen en de uiteindelijke prestaties te rapporteren.
Dat is vergelijkbaar met een examen afleggen terwijl het correctiemodel op tafel ligt.
De finale testset werd in deze analyse slechts één keer gebruikt, helemaal aan het einde: om te meten hoe het geselecteerde model presteert op klanten die het nooit eerder heeft gezien, met een drempel die zonder die klanten werd bepaald.
Drie modellen, één economisch criterium
Drie modelfamilies werden vergeleken:
- logistische regressie, als interpreteerbare statistische referentie;
- random forest;
- gradient boosting.
Dit zijn de termen die technische teams en leveranciers zullen gebruiken. De interne werking is minder belangrijk dan het beslissingsprincipe dat volgt.
Het lineaire model is niet louter voor de volledigheid opgenomen.
Wanneer een eenvoudig model even goed presteert als een complex model, moet de eenvoudige oplossing de voorkeur krijgen.
De waarschuwingsdrempel - de waarschijnlijkheid vanaf wanneer een klant wordt gemarkeerd - is geen louter technische instelling.
Het is een economische afweging.
De drempel hangt af van de verhouding tussen de waarde van een verloren klant en de kost van een retentieactie.
In deze case gelden de volgende aannames:
- waarde van een verloren klant: €5.000;
- kost van een gepersonaliseerde retentieactie: €1.000;
- verwacht succespercentage van de actie: 40%.
Elke drempel leidt tot een andere verwachte economische kost.
Die kost, en niet alleen de statistische prestatie, werd gebruikt om het model te selecteren.
Zodra de drempel vastligt, beschrijven twee indicatoren het operationele gedrag van het model.
De eerste is recall, of detectiegraad: welk aandeel van de klanten die werkelijk vertrekken, wordt door het model geïdentificeerd?
De tweede is precisie: welk aandeel van de gemarkeerde klanten vertrekt daadwerkelijk?
Beide bewegen in tegengestelde richting.
Hoe breder het model zoekt, hoe meer echte vertrekkers het detecteert - maar ook hoe meer klanten het onnodig laat contacteren.
| Model | Rangschikkingsvermogen (AUC) | Drempel | Detectie | Precisie | Gecontacteerde klanten | Verwachte kost |
|---|---|---|---|---|---|---|
| Logistic Regression | 0.834 | 0.80 | 75.2% | 44.7% | 685 | €2.108.000 |
| Random Forest | 0.858 | 0.80 | 54.8% | 67% | 333 | €1.922.000 |
| Gradient Boosting | 0.859 | 0.67 | 57.2% | 70% | 333 | €1.902.000 |
De logistische regressie detecteert 75,2% van alle vertrekkers - de hoogste score van de drie, en precies het soort cijfer dat een leverancier prominent op een presentatieslide zou zetten.
Toch is dit het slechtste model van de drie.
Sterker nog: het kost meer dan niets doen.
Niets doen leidt in deze dataset tot een verwachte kost van €2.035.000 - 407 verloren klanten aan €5.000 per klant.
De logistische regressie leidt tot een verwachte kost van €2.108.000.
Ze vernietigt dus €73.000 aan waarde.
De verklaring staat in één kolom: een precisie van slechts 44,7%.
Om 306 echte vertrekkers te identificeren, markeert het model 685 klanten. Meer dan de helft van de contacten is dus verspild, tegen een kost van €1.000 per actie.
Het gradient-boostingmodel detecteert minder vertrekkers, maar markeert ongeveer de helft minder klanten en behaalt een precisie van 70%.
Het concentreert de commerciële inspanning daar waar ze de grootste kans heeft om waarde te creëren.
Dat is het centrale punt van deze analyse.
Zodra een interventie geld kost, wordt de detectiegraad een ijdelheidsmetric.
Wat telt, is hoeveel klanten worden gecontacteerd, hoeveel van hen werkelijk een risico vormen en of de kost van de interventie wordt gerechtvaardigd door de behouden waarde.
Eén nuance is essentieel.
Het verschil tussen random forest en gradient boosting is beperkt - één duizendste AUC en €20.000 verwachte kost.
Een verschil van die omvang bewijst niet dat de ene modelfamilie structureel beter is dan de andere.
Het rechtvaardigt de keuze in deze case, maar mag niet worden veralgemeend.
Wat het geselecteerde model daadwerkelijk doet
Op de finale testset - nooit gebruikt voor training, modelafstelling of kalibratie van de drempel - behaalt het gradient-boostingmodel een AUC van 0,862.
In praktische termen betekent dit het volgende:
Neem willekeurig één klant die zal vertrekken en één klant die zal blijven. In ongeveer 86% van de gevallen geeft het model een hogere risicoscore aan de klant die vertrekt.
Een willekeurig model zou 50% behalen. Een perfect model 100%.
AUC meet dus het vermogen van het model om klanten volgens relatief verlooprisico te rangschikken - en niets meer.
Het zegt niet hoeveel klanten moeten worden gecontacteerd, noch of de interventie economisch aantrekkelijk is.
Van de 2.000 klanten in de finale testset zijn er 407 werkelijk vertrokken.
Het model markeert 333 klanten, of ongeveer 17% van de portefeuille.
Van die 333 klanten:
- zijn 229 echte vertrekkers;
- zijn 104 valse waarschuwingen.
Bijna 69% van de gemarkeerde klanten vertrekt dus effectief.
Het model mist 178 vertrekkers.
Die 178 gemiste klanten zijn niet noodzakelijk een technisch defect dat moet worden gecorrigeerd.
Ze vormen de bewuste kost van een selectieve strategie.
Tegen €1.000 per interventie zou proberen om elke mogelijke vertrekker te detecteren meer kosten dan de vermeden verliezen opleveren.
Dat is precies de val waarin de logistische regressie terechtkomt.
Het doel van het model is niet om elk vertrek te detecteren.
Het doel is om een beperkt retentiebudget toe te wijzen waar het de grootste kans heeft om waarde te creëren.
Onder dezelfde aannames:
- kosten 333 retentieacties €333.000;
- worden 229 echte vertrekkers gecontacteerd;
- leidt een succespercentage van 40% tot ongeveer 92 behouden klanten;
- bedragen de vermeden verliezen ongeveer €458.000.
De verwachte nettowinst bedraagt dus €125.000, tegenover een basiskost van klantverloop van €2.035.000.
Dat is een vermindering van ongeveer 6,1%.
Het resultaat is bescheiden.
Precies daardoor is het geloofwaardig.
Een churnmodel elimineert klantverloop niet. Het verbetert de targeting van een commerciële actie die al bestond.
Het break-evenpunt
De interventie wordt rendabel zodra het succespercentage van de retentieacties hoger ligt dan ongeveer 29%.
Het model gaat uit van 40%.
De veiligheidsmarge bedraagt dus elf procentpunten - en ze berust op een parameter die zeer weinig organisaties betrouwbaar meten.
De conclusie moet duidelijk worden gesteld:
Wanneer retentieacties slechts één keer op vier succesvol zijn, vernietigt dit model waarde.
Niet omdat het model slecht voorspelt - de AUC zou identiek blijven - maar omdat de economische logica van de interventie niet langer klopt.
Technische prestatie en rentabiliteit zijn twee onafhankelijke grootheden.
Het model creëert op zichzelf geen waarde
Het model identificeert klanten. Het behoudt ze niet.
Tussen een risicoscore en één euro behouden waarde staat een commerciële actie.
Die actie bepaalt het succespercentage waarop de volledige businesscase berust.
De relevantie ervan telt: beschikt de onderneming over een geloofwaardig aanbod voor een 55-jarige, inactieve klant met slechts één product?
De snelheid telt: een waarschuwing die zes weken later wordt behandeld, kan betrekking hebben op een klant die al vertrokken is.
De kwaliteit van uitvoering telt.
En er moet een business owner zijn die verantwoordelijk is voor het resultaat, niet alleen voor het project.
Een correcte score die wordt doorgestuurd naar een team zonder capaciteit, zonder passend aanbod en zonder duidelijke verantwoordelijkheid, creëert niets - behalve een extra dashboard.
Wat het management moet vaststellen vóór de start
Er zijn drie cijfers nodig, en geen daarvan is technisch.
De werkelijke economische waarde van een behouden klant
Niet de jaarlijkse omzet, maar de verwachte marge over de resterende klantlevensduur.
De volledige kost van een retentieactie
Commerciële tijd, eventuele korting en de opportuniteitskost van het betrokken team.
Het werkelijke succespercentage van retentieacties
Dit is het enige van de drie dat historische meting vereist - en precies het cijfer waarover de meeste organisaties niet beschikken.
Deze drie cijfers bepalen de waarschuwingsdrempel, het operationele gedrag van het model en uiteindelijk de rentabiliteit.
Ze kunnen niet worden geraamd op basis van intuïtie of overgenomen uit een andere onderneming.
Ze moeten worden gemeten op basis van de eigen data.
Verander deze parameters, en hetzelfde model kan verschuiven van waardescheppend naar waardevernietigend.
Daarnaast moeten twee bijkomende voorwaarden worden beantwoord.
Welk aandeel van de waarschuwingen kan de commerciële organisatie werkelijk behandelen?
Een model dat 17% van de portefeuille markeert, veronderstelt dat daarvoor voldoende capaciteit bestaat.
Wanneer die capaciteit moet worden verdubbeld, verandert de kost van de interventie - en dus ook de drempel.
En:
Wie draagt de commerciële verantwoordelijkheid zodra de score is geproduceerd?
Zonder duidelijk antwoord blijft zelfs het beste model slechts een bestand.
Wat Nobilys met deze analyse doet
Nobilys ontwikkelt geen modellen om technische prestaties te demonstreren.
Wij helpen directieteams te bepalen of een model een beslissing kan verbeteren, onder welke economische voorwaarden en met welk uitvoeringsrisico.
Deze demonstratie heeft één doel: tonen hoe een beslissingsgerichte analyse eruitziet.
Die analyse moet plaatsvinden vóór de investering - op basis van de werkelijke data van de onderneming, niet op basis van de aannames van een generieke case.e.
Christian Cirino- Nobilys Group
Dataset: “Churn Modelling” - 10.000 bankklanten, tien variabelen, publiek beschikbaar op Kaggle. Modellen, drempels en businesscase zijn reproduceerbaar op basis van de hierboven gepubliceerde cijfers.