Berichten

Een goede KPI begint met een goede definitie

Vorige week schreef ik al over het ontwerpen van een meetwaarde of KPI. Nu is de volgende stap om het ontwerp verder uit te gaan werken in een KPI definitie. Ook dit wordt binnen de PuMP methode ondersteund met een duidelijke aanpak.

Een onderdeel van de aanpak is het beschrijven van de KPI definitie op een groot aantal punten. De punten zijn op zichzelf niet wereldschokkend, maar ik vindt het altijd prettig om ze allemaal zo bij elkaar te hebben. Een ander groot voordeel van deze manier van werken is dat iedereen betrokken wordt bij het grondig uitwerken van de KPI’s. De belangrijkste redenen om deze structuur te hanteren is om te voorkomen dat we (verkeerde) aannames doen over berekening, interpretatie en gebruik van de KPI.

Probeer dus voor iedere KPI definitie de volgende punten in te vullen:

  • Naam: geef de KPI een unieke, betekenisvolle naam in exacte bewoording. Gebruik waar mogelijk bekende terminologie, maar vermijd jargon. Ongeveer 3 woorden is optimaal.
  • Beschrijving: beschrijf het resultaat waarvan de KPI het bewijs levert. Gebruik heldere en eenvoudige taal, zodat iedereen in de organisatie het kan begrijpen.
  • Belang: beschrijf de vragen die deze KPI beantwoord en de beslissingen die het kan ondersteunen
  • Waar past het? – Niveau: het niveau waarvoor deze KPI van toepassing is: strategisch, tactisch of operationeel.
  • Waar past het? – Doel: het resultaatgebied waarvoor deze KPI een bewijs is.
  • Waar past het? – Relatie: de verhouding van deze meetwaarde met andere meetwaarden, zo kan deze bijvoorbeeld afhankelijk zijn van een meetwaarde op een hoger niveau.
  • Waar past het? – Proces: beschrijf de processen waaraan deze KPI gerelateerd is. Het kan een KPI zijn van het proces resultaat; het proces zelf of van de ontwikkeling/verbetering van het proces.
  • Berekening – Formule: een formule die exact en eenduidig weergeeft hoe deze KPI berekent wordt.
  • Berekening – Frequentie: de frequentie waarin deze KPI berekent wordt: dagelijks, wekelijks, maandelijks, etc.
  • Berekening – Scope: beschrijf de grenzen van de KPI berekening, bv: welke steekproef(omvang), specifieke geografische dekking, klant segmenten of productgroepen.
  • Berekening – Gegevens: beschrijf elk gegeven dat nodig is om deze berekening uit te kunnen voeren. Dit zijn zowel onderdelen van de formule, de frequentie als de scope.
  • Presentatie – Type vergelijk: in wat voor een type vergelijk wordt deze KPI gebruikt: absoluut (vergelijk van twee of meerdere absolute waarden), trend (ontwikkeling van de waarde in de tijd), relatief (vergelijk met een andere KPI) en correlatie (bepalen van de kracht van de relatie tussen twee KPI’s).
  • Presentatie – Methode: het type visualisatie om de KPI te tonen: tabel, lijngrafiek, staafgrafiek, bullet chart, control chart, histogram, etc
  • Presentatie – Frequentie: hoe vaak willen de gebruikers deze KPI bekijken? Dit hoeft niet het zelfde te zijn als de frequentie van de berekening, maar is vrijwel nooit vaker (dan verandert er namelijk niets)
  • Reactie: beschrijf verschillende mogelijke uitkomsten (snelle stijging/daling, onder/boven doelstelling, etc) en welke reactie daarop dan zou moeten volgen.
  • Prestatie eigenaar: de persoon of personen die het resultaat van deze KPI volgen, de oorzaken van veranderingen kunnen doorgronden en (indien nodig) acties ondernemen (reageren).
  • Definitie eigenaar: de persoon of personen die de definitie van de KPI beheren en onderhouden.

Hebben jullie al deze punten behandeld bij jullie KPI’s? Zijn er nog punten die jullie missen?

Een punt dat wij vaak tegenkomen bij het ontwikkelen van onze dashboards is de presentatie van de detail gegevens. Met andere woorden: welke gegevens en vormgeving wil je zien als je een “drill down” uitvoert op een KPI.

Tenslotte heb ik hier een fictief voorbeeld bijgevoegd van een KPI definitie. Wellicht dat het kan helpen bij het maken van je eigen KPI definities.

Dashboard waar de vonken vanaf vliegen

Op vrijwel ieder management dashboard dat wij ontwerpen staat een grafiektype dat zo klein en subtiel is dat je het bijna over het hoofd zou zien. Echter, ondanks haar omvang is dit grafiektype van onschatbare waarde voor ieder dashboard. Het gaat hier om de zogenaamde sparkline.

De term sparkline is in 2004 door Edward Tufte geïntroduceerd. Zijn bedoeling was om de gegevensvisualisatie niet langer uitsluitend te tonen in een grafiek op een afgezonderde plaats op de pagina of het scherm. Hij wilde de gegevensvisualisatie daar plaatsen waar ook de bijbehorende woorden en getallen staan. Samengevat is een sparkline een eenvoudige en compacte visualisatie, rijk aan gegevens met de omvang van een woord.

Ook op het management dashboard vervult de sparkline een belangrijke functie. Vooral bij het afbeelden van KPI resultaten. Meestal is alleen het huidige resultaat van een KPI niet voldoende, maar is het ook nodig om eerdere resultaten inzichtelijk te maken (historie). Voordat je het weet past je management dashboard niet meer op één scherm of pagina als je voor iedere KPI een grafiek moet toevoegen, waardoor het dashboard zijn functie (overzicht) verliest. Dit is precies waar de sparkline kan helpen.

Vaak zie ik nog dashboards waarbij de historie wordt samengevat met een enkele pijl. Hierbij verliezen we echter een hoop waardevolle gegevens. Op de plaats van de pijl kunnen we ook een sparkline kwijt, waardoor de hoeveelheid informatie direct toeneemt zonder meer plaats te kosten.

Net als bij een gewone lijngrafiek is het ook bij de sparkline de vraag of een afwijking normaal is (natuurlijke variantie) of bijzonder (het echte signaal). Hier schreef ik al eerder over in het artikel Vertrouwen in uw management dashboard is goed, maar controle is beter.

Vandaar dat Stacey Barr in haar laatste artikel de sparkline en controlchart combineert tot smartlines.

Met haar smartlines weet Stacey nog meer bruikbare informatie te stoppen in een klein gebied. Ik weet alleen nog niet of de smartline op korte termijn op onze dashboards moet verschijnen. Ik ben benieuwd naar jullie mening over de smartlines van Stacey. Laat een bericht achter op onze Linkedin pagina.

 

De "trend" is negatief… PANIEK!

Al lees je geen kranten en kijk je niet naar het nieuws, het is bijna onmogelijk om niet op de hoogte te zijn van de economische tegenwind. Als je wel regelmatig een krant leest of naar de radio luistert wordt je overspoeld door berichten als:

Deze voorbeelden hebben niet alleen gemeen dat ze gaan over economische tegenwind, maar ook nog iets anders. In alle gevallen worden hier conclusies getrokken (het gaat minder) door twee waarden met elkaar te vergelijken: de huidige maand met één eerdere maand (vorige maand of zelfde maand vorig jaar).

In het bedrijfsleven doen we precies hetzelfde. Zo bevat menig management dashboard of rapport een samenvatting als in afbeelding 1. De meesten hebben alleen oog voor de KPI’s met de grootste afwijking, want die zijn toch het belangrijkst? Dus ook hier reageren we (meestal heftig) op het verschil tussen slechts twee resultaten.

Het vreemde is dat ieder proces naast speciale variatie ook natuurlijke variatie kent. Speciale variatie is de afwijking die een signaal geeft (gaat het echt beter of slechter). Natuurlijke variatie ontstaat doordat ieder proces of meetinstrument enige vorm van variatie kent die we “normaal” noemen. Neem bijvoorbeeld de omzet van een winkel. Als we kijken naar de verkoopcijfers per maand moeten we rekening houden met zaken als: hoeveel dagen in de betreffende maand was de winkel open, hoeveel feestdagen zijn er geweest, was het een zonnige maand, etc, etc. Al deze zaken hebben invloed op de verkoopcijfers, maar als we de huidige maand vergelijken met de vorige maand dan worden deze vaak niet meegenomen. We horen alleen: “Verkopen detailhandel in de lift!”.

Echter, voordat we conclusies kunnen trekken moeten we onderscheid maken tussen ruis (natuurlijke variatie) en het echte signaal (speciale variatie). Een geweldig hulpmiddel om deze echte signalen te kunnen herkennen is de zogenaamde Control chart. Deze hebben we al eerder kort beschreven in het artikel Vertrouwen in uw management dashboard is goed, maar controle is beter.

In zijn boek Understanding variation geeft Donald Wheeler met voorbeelden aan hoe je Control Charts moet gebruiken om de echte signalen te zien. Met zijn aanpak wordt je niet langer afgeleid door de ruis. Jammer genoeg is “Understanding variation” in Nederland bijna niet te krijgen. Kijk dus goed rond of je ergens het boek kunt vinden, want het is van onschatbare waarde en blinkt uit in eenvoud. Ik heb gelukkig vorige week een exemplaar kunnen bemachtigen op Marktplaats en het in een paar uurtjes kunnen lezen.

Hiermee is niet gezegd dat de krantenkoppen van het begin van dit artikel niet juist kunnen zijn, maar doordat ze uitgaan van een signaal inclusief ruis weten we het niet. Negeer dus de ruis en concentreer op de signalen.

 

Vertrouwen in uw management dashboard is goed, maar controle is beter

Iedereen heeft wel een beeld bij een management dashboard. Als je zoekt naar “management dashboard” afbeeldingen in Google dan vallen er direct een aantal zaken op:

  • Overmatig gebruik van kleuren;
  • 3D effecten in grafieken zijn eerder regel dan uitzondering;
  • KPI’s worden vaak afgebeeld als een “meter”;
  • Ontwikkeling in een KPI (of meetwaarde) worden afgebeeld als een pijl (omhoog=positief en omlaag=negatief).

Deze opvallende zaken verhogen de leesbaarheid van het management dashboard helaas niet. Sterker nog, door het structureel toepassen van verwarrende visualisatie-technieken zijn het niet meer dan “mooie” plaatjes. Blijkbaar is de doelstelling om te informeren over de stand van zaken ondergeschikt aan deze “mooie” plaatjes.

In de rest van dit artikel wordt één van de bovenstaande punten nader bekeken: het afbeelden van de ontwikkeling van een meetwaarde door middel van een pijl.

De richting van de pijl wordt vaak bepaald door de huidige periode te vergelijken met een eerdere periode (bv vorige maand of dezelfde maand vorig jaar). Dus het verschil tussen twee meetwaarden bepaalt of de ontwikkeling/trend positief of negatief is. Maar de trend bepalen op basis van slechts twee waarnemingen is niet alleen verwarrend, het is misleidend.

Om te bepalen wat de werkelijke trend/ontwikkeling is van een meetwaarde moeten we eerst meer waarnemingen gebruiken. Vervolgens kunnen we gebruik maken van een zogenaamde control-chart om te zien of er werkelijk een verandering in de trend plaatsvindt.

Een control-chart is een lijngrafiek waarbij we naast de waarnemingen (minimaal 10) ook een aantal hulplijnen toevoegen. De eerste hulplijn is de lijn van het gemiddelde van de waarnemingen. Vervolgens bereken je de standaardfout van je waarnemingen. Op een afstand van 3x de standaardfout boven de gemiddelde-lijn plaats je Upper-Control-Limit (UCL) hulplijn en op een afstand van 3x de standaardfout onder de gemiddelde-lijn plaats je de Lower-Control-Limit (LCL) hulplijn.

Met behulp van deze control-chart kunnen we nu bepalen of en waar er bijzondere afwijkingen in de resultaten hebben plaatsgevonden. Dit zijn namelijk de punten die boven de UCL of onder de LCL vallen. In het voorbeeld in afbeelding 2 is dat slechts 1 keer. De overige variantie in resultaten is de natuurlijke variantie van deze meetwaarde, of kort samengevat: “normaal” gedrag.

Het gebruik van de control-chart is even wennen, maar het stelt je in staat om snel de “echte” veranderingen te signaleren. Meer over dit onderwerp kun je lezen in het boek “Understanding Variation: The Key to Managing Chaos” van Donald Wheeler. Laat je dus niet afleiden door de natuurlijke variantie in resultaten van een meetwaarde, maar concentreer je op de echte veranderingen.