Berichten

Een goede KPI begint met een goede definitie

Vorige week schreef ik al over het ontwerpen van een meetwaarde of KPI. Nu is de volgende stap om het ontwerp verder uit te gaan werken in een KPI definitie. Ook dit wordt binnen de PuMP methode ondersteund met een duidelijke aanpak.

Een onderdeel van de aanpak is het beschrijven van de KPI definitie op een groot aantal punten. De punten zijn op zichzelf niet wereldschokkend, maar ik vindt het altijd prettig om ze allemaal zo bij elkaar te hebben. Een ander groot voordeel van deze manier van werken is dat iedereen betrokken wordt bij het grondig uitwerken van de KPI’s. De belangrijkste redenen om deze structuur te hanteren is om te voorkomen dat we (verkeerde) aannames doen over berekening, interpretatie en gebruik van de KPI.

Probeer dus voor iedere KPI definitie de volgende punten in te vullen:

  • Naam: geef de KPI een unieke, betekenisvolle naam in exacte bewoording. Gebruik waar mogelijk bekende terminologie, maar vermijd jargon. Ongeveer 3 woorden is optimaal.
  • Beschrijving: beschrijf het resultaat waarvan de KPI het bewijs levert. Gebruik heldere en eenvoudige taal, zodat iedereen in de organisatie het kan begrijpen.
  • Belang: beschrijf de vragen die deze KPI beantwoord en de beslissingen die het kan ondersteunen
  • Waar past het? – Niveau: het niveau waarvoor deze KPI van toepassing is: strategisch, tactisch of operationeel.
  • Waar past het? – Doel: het resultaatgebied waarvoor deze KPI een bewijs is.
  • Waar past het? – Relatie: de verhouding van deze meetwaarde met andere meetwaarden, zo kan deze bijvoorbeeld afhankelijk zijn van een meetwaarde op een hoger niveau.
  • Waar past het? – Proces: beschrijf de processen waaraan deze KPI gerelateerd is. Het kan een KPI zijn van het proces resultaat; het proces zelf of van de ontwikkeling/verbetering van het proces.
  • Berekening – Formule: een formule die exact en eenduidig weergeeft hoe deze KPI berekent wordt.
  • Berekening – Frequentie: de frequentie waarin deze KPI berekent wordt: dagelijks, wekelijks, maandelijks, etc.
  • Berekening – Scope: beschrijf de grenzen van de KPI berekening, bv: welke steekproef(omvang), specifieke geografische dekking, klant segmenten of productgroepen.
  • Berekening – Gegevens: beschrijf elk gegeven dat nodig is om deze berekening uit te kunnen voeren. Dit zijn zowel onderdelen van de formule, de frequentie als de scope.
  • Presentatie – Type vergelijk: in wat voor een type vergelijk wordt deze KPI gebruikt: absoluut (vergelijk van twee of meerdere absolute waarden), trend (ontwikkeling van de waarde in de tijd), relatief (vergelijk met een andere KPI) en correlatie (bepalen van de kracht van de relatie tussen twee KPI’s).
  • Presentatie – Methode: het type visualisatie om de KPI te tonen: tabel, lijngrafiek, staafgrafiek, bullet chart, control chart, histogram, etc
  • Presentatie – Frequentie: hoe vaak willen de gebruikers deze KPI bekijken? Dit hoeft niet het zelfde te zijn als de frequentie van de berekening, maar is vrijwel nooit vaker (dan verandert er namelijk niets)
  • Reactie: beschrijf verschillende mogelijke uitkomsten (snelle stijging/daling, onder/boven doelstelling, etc) en welke reactie daarop dan zou moeten volgen.
  • Prestatie eigenaar: de persoon of personen die het resultaat van deze KPI volgen, de oorzaken van veranderingen kunnen doorgronden en (indien nodig) acties ondernemen (reageren).
  • Definitie eigenaar: de persoon of personen die de definitie van de KPI beheren en onderhouden.

Hebben jullie al deze punten behandeld bij jullie KPI’s? Zijn er nog punten die jullie missen?

Een punt dat wij vaak tegenkomen bij het ontwikkelen van onze dashboards is de presentatie van de detail gegevens. Met andere woorden: welke gegevens en vormgeving wil je zien als je een “drill down” uitvoert op een KPI.

Tenslotte heb ik hier een fictief voorbeeld bijgevoegd van een KPI definitie. Wellicht dat het kan helpen bij het maken van je eigen KPI definities.

In lijn met kwantipulatie

Vaak zien we bij kwantipulatie voornamelijk voorbeelden van het incorrect toepassen van taart- en staafgrafieken. Waarschijnlijk komt dit ook doordat de valkuilen bij deze grafiektypen eenvoudig te herkennen zijn. Echter, ook de oude vertrouwde lijngrafiek wordt misbruikt in kwantipulatie.

Een belangrijke valkuil bij het gebruik van lijngrafieken is de toepassing van meerdere (verschillende) schaalverdelingen. Zo lijkt het in de onderstaande lijngrafiek dat de blauwe lijn een vrij rustig verloop te kennen (lijn loopt redelijk vlak), waar de rode lijn een veel grilliger patroon laat zien. Ook zien we dat de lijnen in de maand Juli elkaar kruisen. Vaak heeft het kruisen van twee lijnen een speciale betekenis, dus letten we hier ook direct op.

Echter, zoals te zien is in afbeelding 2 vertonen de resultaten van zowel rood als blauw precies hetzelfde patroon. Sterker nog: de lijnen kruisen elkaar nergens.

Nu ben ik begonnen met te vertellen over het toepassen van meerdere schaalverdelingen, waardoor u deze direct ziet. Echter, in de praktijk zien de meeste lezers deze tweede as in eerste instantie niet en concentreren de meesten van ons zich op de vorm van de lijnen. Probeer dus meerdere schaalverdelingen in één grafiek te vermijden. Mochten hierdoor verschillende gegevensverzamelingen niet goed leesbaar worden, maak er dan ook twee verschillende grafieken van.

Niet alleen met het variëren van de schaalverdeling kan de boodschap van een grafiek sterk veranderen. Een andere kwantipulatie methode die veel toegepast wordt is het aanpassen van de aspect ratio of beeldverhouding. Naomi Robbins schreef hier recent over in haar blog voor Forbes. Zij gebruikt daarin een voorbeeld van 2 grafieken met gelijke gegevens en schaalverdelingen die ieder een net iets andere verhaal vertellen. Bij de linkse grafiek (aspect ratio van 0,15) lijkt de stijging veel minder spectaculair dan bij de rechtse (aspect ratio van 2,5). Helaas zijn er (nog?) geen eenduidige regels voor het toepassen van de aspect ratio, dus wees op je hoede.

aspect ratio van 0,15

aspect ratio van 2,5

De "trend" is negatief… PANIEK!

Al lees je geen kranten en kijk je niet naar het nieuws, het is bijna onmogelijk om niet op de hoogte te zijn van de economische tegenwind. Als je wel regelmatig een krant leest of naar de radio luistert wordt je overspoeld door berichten als:

Deze voorbeelden hebben niet alleen gemeen dat ze gaan over economische tegenwind, maar ook nog iets anders. In alle gevallen worden hier conclusies getrokken (het gaat minder) door twee waarden met elkaar te vergelijken: de huidige maand met één eerdere maand (vorige maand of zelfde maand vorig jaar).

In het bedrijfsleven doen we precies hetzelfde. Zo bevat menig management dashboard of rapport een samenvatting als in afbeelding 1. De meesten hebben alleen oog voor de KPI’s met de grootste afwijking, want die zijn toch het belangrijkst? Dus ook hier reageren we (meestal heftig) op het verschil tussen slechts twee resultaten.

Het vreemde is dat ieder proces naast speciale variatie ook natuurlijke variatie kent. Speciale variatie is de afwijking die een signaal geeft (gaat het echt beter of slechter). Natuurlijke variatie ontstaat doordat ieder proces of meetinstrument enige vorm van variatie kent die we “normaal” noemen. Neem bijvoorbeeld de omzet van een winkel. Als we kijken naar de verkoopcijfers per maand moeten we rekening houden met zaken als: hoeveel dagen in de betreffende maand was de winkel open, hoeveel feestdagen zijn er geweest, was het een zonnige maand, etc, etc. Al deze zaken hebben invloed op de verkoopcijfers, maar als we de huidige maand vergelijken met de vorige maand dan worden deze vaak niet meegenomen. We horen alleen: “Verkopen detailhandel in de lift!”.

Echter, voordat we conclusies kunnen trekken moeten we onderscheid maken tussen ruis (natuurlijke variatie) en het echte signaal (speciale variatie). Een geweldig hulpmiddel om deze echte signalen te kunnen herkennen is de zogenaamde Control chart. Deze hebben we al eerder kort beschreven in het artikel Vertrouwen in uw management dashboard is goed, maar controle is beter.

In zijn boek Understanding variation geeft Donald Wheeler met voorbeelden aan hoe je Control Charts moet gebruiken om de echte signalen te zien. Met zijn aanpak wordt je niet langer afgeleid door de ruis. Jammer genoeg is “Understanding variation” in Nederland bijna niet te krijgen. Kijk dus goed rond of je ergens het boek kunt vinden, want het is van onschatbare waarde en blinkt uit in eenvoud. Ik heb gelukkig vorige week een exemplaar kunnen bemachtigen op Marktplaats en het in een paar uurtjes kunnen lezen.

Hiermee is niet gezegd dat de krantenkoppen van het begin van dit artikel niet juist kunnen zijn, maar doordat ze uitgaan van een signaal inclusief ruis weten we het niet. Negeer dus de ruis en concentreer op de signalen.

 

Cum hoc ergo propter hoc

Een mooie latijnse volzin voor een fenomeen dat (helaas) veelvuldig voorkomt. Letterlijk staat deze zin voor “met dit, dus vanwege dit”. Het doelt op de denkfout die we vaak maken als twee gebeurtenissen of eigenschappen gezamenlijk voorkomen. We gaan er dan al snel vanuit dat de één de ander veroorzaakt heeft. Het volgende voorbeeld is wat extreem gekozen, maar geeft wel de kern van het probleem weer:
“hoe groter de schoenmaat van een kind des te beter het handschrift”.
Dus: “grote voeten zorgen voor een beter handschrift”.

Het feit dat beide gebeurtenissen of eigenschappen (vaak) gezamenlijk voorkomen noemen we correlatie. De oorzaak-gevolg relatie tussen beide noemen we een causaal verband. In de beschreven denkfout bestaat er wel een correlatie tussen beide gebeurtenissen of eigenschappen (ze komen gezamenlijk voor), maar mogen we niet zomaar aannemen dat er ook een causaal verband bestaat.

Hoe is deze denkfout te voorkomen?
Het beste kun je dit doen door drie andere mogelijke verklaringen uit te sluiten. Dit zijn:

  • Een derde gebeurtenis of eigenschap veroorzaakt de correlatie;
    In het voorbeeld van het handschrift en de schoenmaat van een kind gaat het inderdaad om iets anders dat deze correlatie veroorzaakt. Beide eigenschappen zijn een gevolg van de groei van het kind.
  • De richting van het causale verband is omgekeerd;
    Ook dit is het beste uit te leggen met een voorbeeld.
    “Gebruikers van light-producten hebben vaker te maken met overgewicht dan gemiddeld”.
    Dus: “van light-producten wordt je dik”.
    In dit geval zal het causale verband zeer waarschijnlijk omgekeerd zijn (mensen die kampen met overgewicht nuttigen meer light-producten).
  • De correlatie is gebaseerd op toeval;
    Onderstaande grafieken uit de Business Week van deze maand zijn mooie voorbeelden van correlaties die duidelijk gebaseerd zijn op toeval.

Als afsluiter nog een voorbeeld van een correlatie gebaseerd op toeval. Tijdens onze training “effectief rapporteren” gebruik ik regelmatig dit gesprek tussen Homer Simpson en zijn dochter Lisa als voorbeeld:

Homer: Geen beer te zien. De “Beerpolitie” werkt blijkbaar wel heel goed!
Lisa: Dat is een speculatieve redenering, papa.
Homer: Dank je, liefje.
Lisa: Met die logica zou ik kunnen beweren dat deze rots hier de tijgers weghoudt.
Homer: O, hoe werkt dat dan?
Lisa: Het werkt niet.
Homer: Uh-huh.
Lisa: Het is maar een domme rots. Maar ik zie nergens tijgers, jij wel?
Homer: Lisa, ik wil die rots van jou kopen.

Deze uitzending is tevens hier terug te zien. Het gesprek tussen Homer en Lisa kun je zien vanaf 4:20 minuten.