Tien tips voor de evaluatie van complexe wijkprogramma's

Of je er ervaring mee hebt of niet; als programmamanager van wijkprogramma’s in het sociale domein krijg je er vroeg of laat mee te maken: de evaluatie. Bijvoorbeeld omdat zorgverleners willen weten of hun extra inzet iets heeft opgeleverd, of omdat je zelf wil weten of de door jou georganiseerde bijeenkomst voor moeders van Marokkaanse afkomst over gezonde voeding daadwerkelijk zoden aan de dijk heeft gezet, of omdat je je afvraagt waarom er zo weinig kinderen naar de open dagen op de sportclubs kwamen. En uiteindelijk zal de gemeente, het wijkbestuur, je eigen baas of je subsidiegever vragen om de resultaten van het programma. Het is dus zeker zaak om je te verdiepen in het belang van evaluatie. Wat kan je er mee, wie evalueert en hoe benut je evaluatie voor je programma?

Bij complexe problemen zoals overgewicht, eenzaamheid en armoede kan het vaak jaren duren voordat zicht is op alle veroorzakende factoren. Wanneer deze in kaart zijn gebracht, wordt duidelijk dat de oplossing even zo complex is als het probleem. De laatste jaren wordt steeds vaker gekozen om programma’s uit te voeren in wijken waar veel veroorzakende factoren aanwezig zijn. De programma’s zijn gericht op verandering van de veroorzakende factoren door verschillende interventies. Het succes van deze programma’s hangt af van de inzet van verschillende partijen en individuen in de opzet en de uitwerking van de interventies. Maar het succes hangt ook af van de combinatie en interactie van deze verschillende interventies bij elkaar. De evaluatie van een complex wijkprogramma wordt daardoor ook complex, waar meet je je succes aan af en wanneer doe je dat, en hoe zorg je ervoor dat het programma zich blijft verbeteren en niet voortijdig wordt stopgezet?

Bij deze tien tips voor de evaluatie van complexe wijkprogramma’s

  1. Werk doelgericht

Complexe wijkprogramma’s zijn lange termijn projecten. Door doelgericht te werken behoud je grip en zicht op het implementatieproces. Maak lange termijn doelen (>15 jaar) en tussendoelen (per jaar en voor de programmaperiode), stel doelen vast op proces en op de te behalen eindresultaten. Bepaal minstens 2 keer per jaar of je nog op koers ligt of dat je moet bijsturen.

2. Betrek partners en doelgroep in de evaluatie

Betrek op verschillende momenten programmapartners bij het evaluatieproces. Belangrijk is dat de evaluatie aan moet sluiten bij hun informatiebehoefte: wat willen ze bereiken, wanneer zijn ze tevreden met het programma, welke informatie hebben ze nodig om interventies te optimaliseren? Het is ook handig om te weten wat partners kunnen bieden in evaluatie: hebben ze wellicht cliëntenpanels of datasets die je kan gebruiken of kunnen partners personeel en middelen ter beschikking stellen voor dataverzameling of analyse? Het trainen van mensen uit de doelgroep in het doen van interviews bij de doelgroep draagt bij aan gevoelens van eigenaarschap, het empowered en is kostenbesparend in de dataverzameling. Bij het Loket Gezond Leven vind je meer redenen voor het betrekken van partnerorganisaties

3. Bepaal de omvang van de evaluatie

De evaluatie van het programma is zo groot of zo klein als belanghebbenden deze maken. Het hangt af van de aanwezige competenties, van de beschikbare bronnen en middelen, van het type interventies en activiteiten dat tot het programma behoort én van de vragen van de belanghebbenden. Er is dus niet één juiste manier van evalueren.

4. Neem evaluatiebudget op in programma budget

Evaluatie kost geld. Een vuistregel is om tussen de 5 en 10% van het programmabudget te reserveren voor de evaluatie. Zorg ervoor dat je dit opneemt in je financieringsaanvraag. Weet je al precies hoe en wat je allemaal gaat evalueren, gebruik dan de evaluatiebudgetcalculator om het evaluatie budget te specificeren.

5. Maak (samen) een evaluatiematrix

Maak met het evaluatieteam een evaluatiematrix.
*Werk per doel uit wat de evaluatievragen zijn. 
*Beschrijf welke informatie je moet verzamelen om antwoord te krijgen op de evaluatievraag.
*Bepaal de methode om de informatie te verzamelen, wanneer dat gaat gebeuren, wie het doet en wie de analyse en interpretatie voor z’n rekening neemt. Hoe dit gaat gebeuren en wie er mee helpt en hoe de uitkomsten worden verspreid en onder wie.

6. Ken de context

Complexe wijkprogramma’s zijn kwetsbaar, de context heeft grote invloed op de effectiviteit en deze context is vaak niet te sturen. Wees je bewust van de context en probeer contextuele veranderingen ergens te noteren. Het kan je altijd van pas komen bij het duiden van de resultaten. Voorbeelden van contextuele veranderingen waar je weinig grip op hebt maar die impact op de resultaten van jullie programma hebben:
* een tien-weeks tv-programma besteed aandacht aan eenzame ouderen en de rol van de gemeenschap;
*frisdrankproducenten stoppen de verkoop van gesuikerde dranken op scholen;
*de komst van een nieuwe game hal in de wijk of een onverwachtte nieuwe digitale rage zoals de Pokemon Go.

7. Behoud je wetenschappelijke basis

Weet op welke aannames en wetenschappelijke waarheden het programma (en de interventies) gebaseerd is. Weet welke verwachtingen er leven over de uitvoering van het programma en de te behalen uitkomsten. En wees je bewust van de redeneringen en persoonlijke keuzes van de verschillende actoren en deelnemers die een rol spelen bij de interventiekeuze en de uitvoering. Ondanks dat complexe programma’s niet lineair verlopen helpt het om jullie programma te ordenen volgens de principes van het logisch model (input, proces, output en outcome).

8. Wees je bewust van het nut van evaluatie

Evaluatie is niet hetzelfde als onderzoek doen. Evaluatie helpt je in het optimaliseren van het programma en van de daarbij behorende interventies. Je krijgt zicht op wat er goed gaat en wat er verbeterd moet worden. Wees niet teleurgesteld als je resultaten tegenvallen, probeer te achterhalen waarom deze anders zijn dan verwacht en verbeter de specifieke interventie(s). En bedenk dat hoe complexer het programma, hoe moeilijker het is vast te stellen of het effect het gevolg was van (delen van) het programma. De relatie tussen interventie en veranderingen in de wijk is dan lastig te leggen.

9. Verdeel rollen en verantwoordelijkheden

Het evaluatieproces beslaat meerdere stappen en verschillende (soorten) taken. Stel een evaluatieteam samen die rollen en verantwoordelijkheden verdelen. Eén iemand de verantwoording geven voor de gehele evaluatie is niet realistisch. Het evaluatieteam behoeft mensen die het programma kennen op de verschillende niveaus, die weten wat de verschillende partners willen weten, welke informatie deze nodig hebben en hoe deze informatie te verzamelen en te analyseren.

10. Wees constructief

Evaluatie is onmisbaar om een complex wijkprogramma te verbeteren en de beste resultaten te behalen. Een negatieve of afwijzende houding ten opzichte van evaluatie helpt dan niet. Laat je bijscholen en school ook anderen betrokken bij het programma bij. Door ervoor te zorgen dat evaluatieresultaten gebruikt worden voor het programma danwel de specifieke interventies ben je constructief bezig.

Wat fijn dat je jouw bijdrage wilt geven! Om dat te doen dien je eerst in te loggen.

Heb je nog geen profiel? Registreer dan eerst om een nieuw profiel aan te maken.
Functie(s): Adviseur evaluatie integrale aanpak
Organisatie: Cuprifère Consult
HomeIntegrale aanpakInstrumentenNieuwsProgramma Gezond In...GIDS-gemeentenPraktijkvoorbeeldenBlogsPrikbordKalenderDeelnemers Inloggen