Significant voert effectmetingen uit om zo hard en objectief mogelijk vast te stellen of beleid het gewenste effect bereikt.
Significant helpt organisaties de doeltreffendheid van een regeling vast te stellen, bijvoorbeeld in beleidsevaluaties, impact analyses en MKBA’s. Doeltreffendheid gaat over de vraag of een regeling de beoogde doelen bereikt – met andere woorden: heeft de regeling het gewenste effect? We gebruiken verschillende technieken om dat effect zo goed mogelijk te meten.
Beleidswijzingen in het verleden leveren een “natuurlijk experiment” op over de impact van beleid. De conclusies uit zo’n experiment zijn het sterkst als de uitkomsten met een controlegroep vergeleken kunnen worden (diff-in-diff). Zo hebben wij gemeten in hoeverre de verhoging van het verlaagde btw-tarief in 2019 is doorberekend in de voedingsprijzen, door deze prijsontwikkeling voor en na de beleidsinterventie te vergelijken met de prijsontwikkeling op alcoholische dranken waarvoor de btw-verhoging niet van toepassing was (controlegroep).
Als er geen geschikte controlegroep is, kunnen we die soms construeren. We maken dan een gewogen combinatie van vergelijkbare Europese landen waar de beleidswijziging niet geldt. Die combinatie vormt één “synthetische” controlegroep, waarmee we de Nederlandse ontwikkeling (waar de wijziging wél geldt) vergelijken.
Soms creëert beleid zelf een scherpe grens, zoals bij , die gebruikt kan worden bij voor een effectmeting. We passen dan een techniek toe om vrijwel identieke eenheden, zoals huishoudens, net onder en net boven een beleidsgrens te vergelijken.
Wanneer het beleid niet willekeurig is toegewezen, kan propensity score analyse vaak toegepast worden om een vergelijkbare controlegroep te maken. Deelnemers aan een regeling worden gematcht aan niet‑deelnemers die vóór invoering vergelijkbare kenmerken hadden. Zie bijvoorbeeld onze Evaluatie bijzonder uitstel van belasting betaling.
Soms is er geen controlegroep beschikbaar, maar wel microdata per individu. Dan vergelijken we de uitkomsten voor en na een (stapsgewijze) beleidsinvoering op individueel niveau. De analyse controleert daarbij voor individuele verschillen en seizoenseffecten, zoals bij de Evaluatie van de duurverkorting van de WW.
Deze techniek passen we toe bij geaggregeerde data waarvoor geen controlegroep beschikbaar is. Met een tijdreeksanalyse schatten we hoe de trend zich ontwikkeld zou hebben als er geen beleidsinterventie had plaatsgevonden. Vervolgens vergelijken we deze geschatte trend-zonder-beleidsinterventie met de gerealiseerde trend-met-beleidsinterventie. Zie bijvoorbeeld de impactanalyse btw logies.
Het komt ook voor dat er geen data beschikbaar zijn voor een effectmeting. In dat geval passen we bijvoorbeeld vignetstudies toe om gedragsintenties te meten.
Inzichten uit econometrische analyses vullen we aan met uitkomsten van andere methoden zoals interviews, enquêtes en deskstudies om tot een afgewogen beoordeling van beleid te komen. Als de opdracht het toelaat, dan ontwikkelen we onze modellen het liefst in co-creatie met de klant, zoals beschreven in onze aanpak.
Meer weten? We gaan graag met je in gesprek.