Vertrouwen in uw management dashboard is goed, maar controle is beter

Iedereen heeft wel een beeld bij een management dashboard. Als je zoekt naar “management dashboard” afbeeldingen in Google dan vallen er direct een aantal zaken op:

  • Overmatig gebruik van kleuren;
  • 3D effecten in grafieken zijn eerder regel dan uitzondering;
  • KPI’s worden vaak afgebeeld als een “meter”;
  • Ontwikkeling in een KPI (of meetwaarde) worden afgebeeld als een pijl (omhoog=positief en omlaag=negatief).

Deze opvallende zaken verhogen de leesbaarheid van het management dashboard helaas niet. Sterker nog, door het structureel toepassen van verwarrende visualisatie-technieken zijn het niet meer dan “mooie” plaatjes. Blijkbaar is de doelstelling om te informeren over de stand van zaken ondergeschikt aan deze “mooie” plaatjes.

In de rest van dit artikel wordt één van de bovenstaande punten nader bekeken: het afbeelden van de ontwikkeling van een meetwaarde door middel van een pijl.

De richting van de pijl wordt vaak bepaald door de huidige periode te vergelijken met een eerdere periode (bv vorige maand of dezelfde maand vorig jaar). Dus het verschil tussen twee meetwaarden bepaalt of de ontwikkeling/trend positief of negatief is. Maar de trend bepalen op basis van slechts twee waarnemingen is niet alleen verwarrend, het is misleidend.

Om te bepalen wat de werkelijke trend/ontwikkeling is van een meetwaarde moeten we eerst meer waarnemingen gebruiken. Vervolgens kunnen we gebruik maken van een zogenaamde control-chart om te zien of er werkelijk een verandering in de trend plaatsvindt.

Een control-chart is een lijngrafiek waarbij we naast de waarnemingen (minimaal 10) ook een aantal hulplijnen toevoegen. De eerste hulplijn is de lijn van het gemiddelde van de waarnemingen. Vervolgens bereken je de standaardfout van je waarnemingen. Op een afstand van 3x de standaardfout boven de gemiddelde-lijn plaats je Upper-Control-Limit (UCL) hulplijn en op een afstand van 3x de standaardfout onder de gemiddelde-lijn plaats je de Lower-Control-Limit (LCL) hulplijn.

Met behulp van deze control-chart kunnen we nu bepalen of en waar er bijzondere afwijkingen in de resultaten hebben plaatsgevonden. Dit zijn namelijk de punten die boven de UCL of onder de LCL vallen. In het voorbeeld in afbeelding 2 is dat slechts 1 keer. De overige variantie in resultaten is de natuurlijke variantie van deze meetwaarde, of kort samengevat: “normaal” gedrag.

Het gebruik van de control-chart is even wennen, maar het stelt je in staat om snel de “echte” veranderingen te signaleren. Meer over dit onderwerp kun je lezen in het boek “Understanding Variation: The Key to Managing Chaos” van Donald Wheeler. Laat je dus niet afleiden door de natuurlijke variantie in resultaten van een meetwaarde, maar concentreer je op de echte veranderingen.

 

Logische schalen

In de tijd dat ik op de middelbare school zat (vanaf 1984) hadden we allemaal rekenmachines om complexe berekeningen te kunnen uitvoeren tijdens de wiskunde en natuurkunde lessen. Ergens tijdens mijn verblijf op het voortgezet onderwijs heeft mijn vader mij laten zien hoe zij dat in “hun tijd” deden. Er waren toen nog geen rekenmachines (laat staan computers), maar ook zij moesten berekeningen uitvoeren met sinus, cosinus, tangens, worteltrekken, etc.

Tot ongeveer 1980 gebruikten scholieren (maar ook technici, natuurkundigen, ingenieurs, etc) de rekenliniaal . Deze liniaal is gebaseerd op logaritmen en wordt ook wel logaritmische liniaal genoemd.

Met het verdwijnen van de rekenliniaal is ook de parate kennis van logaritmen afgenomen. Zo moest ik laatst opzoeken wat logaritmen ook alweer zijn en hoe ze te gebruiken. Toch kom ik ze nog vaak tegen, ook als schaalverdeling in grafieken.

Echter, weinig mensen begrijpen goed wat de gevolgen zijn van het gebruik van een logaritmische schaalverdeling. Daarom is het beter om deze niet te gebruiken. Toch zijn er ook voordelen aan het gebruiken van een logaritmische schaalverdeling.

Zo is een logaritmische schaalverdeling beter in staat om (percentuele) veranderingen in beeld te brengen (in tegenstelling tot een lineaire schaalverdeling). Vandaar dat de prijsontwikkeling van aandelen vaak in een grafiek met een logaritmische schaal wordt afgebeeld. Hierna volgt een voorbeeld om dat te verduidelijken.

Wat was het verschil ook alweer tussen een lineaire en een logaritmische verdeling?

Bij een lineaire verdeling is het absolute verschil tussen twee waarden altijd dezelfde afstand op een as. Dus de afstand op de as tussen de waarden 15 en 25 (verschil=10) is gelijk aan de afstand tussen de waarden 2.950 en 2.960.

Bij een logaritmische verdeling is een gelijke afstand op een as niet het absolute verschil, maar het relatieve verschil (percentuele verschil). Dus de afstand op de as tussen de waarden 20 en 23 (verschil=15%) is gelijk aan de afstand tussen de waarden 1.000 en 1.150.

De onderstaande afbeelding laat de ontwikkeling van een denkbeeldig aandeel zien dat 15% per periode stijgt (met een lineaire schaalverdeling). Het aandeel begint in periode 1 met een prijs van 10 en eindigt in periode 50 met een prijs van 9.423.

Op het eerste gezicht lijkt het er op dat de prijs steeds sneller stijgt. In absolute waarden is dit ook het geval, maar toch is de stijging constant 15%. Als we deze zelfde gegevens nu afbeelden in een grafiek met een logaritmische schaal zien we duidelijk een constante stijging.

Toch blijft het oppassen met de logaritmische schaalverdeling: alleen gebruiken voor een publiek dat logaritmen en de gevolgen goed begrijpt!

 

Voorkom non-sense KPI’s

Daar was ik: Net afgestudeerd aan de hogeschool en begonnen aan mijn eerste baan. Ik had er enorm veel zin in. Ook had ik het idee dat ik de (zakelijke) wereld wel een beetje snapte. Al vrij snel kwam ik bij uiteenlopende organisaties over de vloer om hen te helpen met rapportages. Maar daar werd ik onderdeel van gesprekken waar ik geen touw aan vast kon knopen.

Mijn eerste reactie was: “mijn opleiding heeft zich met name gericht op techniek en dit is de bedrijfskunde kant”. Dus ben ik op zoek gegaan naar manieren om mijn kennis aan te vullen. Een belangrijke manier was het volgen van een universitaire (part-time) studie bedrijfskunde. Zo werd ik gedurende ruim 3 jaar geïntroduceerd in de wereld van de bedrijfskunde.

De bedrijfskunde studie was zwaar, het was naast een voltijd baan, maar ook een geweldige tijd. Alleen werd het mij tijdens deze studie al duidelijk dat de gesprekken er toch niet duidelijker door werden. Het lijkt er op dat we in ons dagelijks mondelinge taalgebruik termen gebruiken die op vele manieren uit te leggen zijn. Maar op het moment dat we die termen expliciet moeten maken (om er over te kunnen rapporteren), komen we in de knoop. Dan blijkt dat niet iedereen er (exact) hetzelfde onder verstaat.

Vaak komen de termen die verwarring veroorzaken bij het bepalen van KPI’s uit de beschrijvingen van de strategie van de organisatie. Het gaat dan om zaken als: productiviteit, efficiency, kwaliteit, synergie, toegevoegde waarde, etc. (en dan laat ik de Engelse termen nog weg).

Het is juist om de strategie als startpunt te gebruiken voor het bepalen van de KPI’s, maar het klakkeloos overnemen van deze “onduidelijke” termen is het niet. Om de KPI’s ook daadwerkelijk bruikbaar en meetbaar te maken is het noodzakelijk om duidelijk en precies te formuleren.

Stacey Barr geeft, in haar artikel “are you measuring something meaningfull?”, een goed handvat om te komen tot betere definities. Een KPI of meetwaarde is, volgens haar, het bewijs dat een bepaald resultaat behaald is. En bewijs is iets wat gebaseerd is op de fysieke wereld om ons heen, waargenomen met onze zintuigen: zien, horen, voelen, proeven en ruiken. Dus als je een resultaat wilt kunnen meten, beschrijf het dan als wat iemand zou zien/horen/voelen/proeven/ruiken als het resultaat behaald wordt.