Artikelen bij COM(2017)115 - Ex-postevaluatieverslag over het programma strafrecht (2007-2013) - Hoofdinhoud

Dit is een beperkte versie

U kijkt naar een beperkte versie van dit dossier in de EU Monitor.

dossier	COM(2017)115 - Ex-postevaluatieverslag over het programma strafrecht (2007-2013).
document	COM(2017)115
datum	7 maart 2017

1    INLEIDING

1.1    DOEL VAN DIT VERSLAG

1.2    METHODOLOGIE EN BRON VAN INFORMATIE

1.3    OVERZICHT VAN HET PROGRAMMA

2    RESULTATEN VAN DE EVALUATIE

2.1    RELEVANTIE VAN HET PROGRAMMA

2.2    COHERENTIE EN COMPLEMENTARITEIT

2.3    DOELTREFFENDHEID

2.4    DUURZAAMHEID EN OVERDRAAGBAARHEID

2.5    RENDEMENT EN MOGELIJKE VEREENVOUDIGING

2.6    EUROPESE MEERWAARDE

3    CONCLUSIES

1INLEIDING

1.1DOEL VAN DIT VERSLAG

¹ ² Het besluit tot vaststelling van het programma „Strafrecht” (JPEN) schrijft voor dat de Commissie een ex-postevaluatie indient voor de periode 2007-2013. Deze ex-postevaluatie werd uitgevoerd door een onafhankelijke externe beoordelaar die werd bijgestaan door medewerkers van de Commissie.

Dit verslag is gebaseerd op de hierboven vermelde evaluatie. Het rapport is opgebouwd volgens de belangrijkste evaluatiecriteria en bijbehorende vragen. Deze omvatten de relevantie, coherentie en complementariteit, doeltreffendheid, effecten en duurzaamheid, efficiëntie, mogelijke vereenvoudiging en Europese meerwaarde.

1.2METHODOLOGIE EN BRON VAN INFORMATIE

Deze eindevaluatie over JPEN is gebaseerd op het volgende:

• een uitvoerige evaluatie van de beschikbare documentatie van 284 subsidies voor het uitvoeren van acties (hierna „actiesubsidies” genoemd) en 50 exploitatiesubsidies die door het programma „Strafrecht” voor de periode 2007-2013 werden gefinancierd;

• een evaluatie van de documentatie bij het programma, zoals het oprichtingsbesluit, jaarlijkse werkprogramma's en de uitnodiging tot het indienen van voorstellen voor zowel subsidies als overeenkomsten voor overheidsopdrachten;

• een evaluatie van documenten over het EU-beleid, oprichtingsbesluiten van verwante EU-programma's, enz.;

• een kwantitatieve analyse van 334 JPEN-projecten (actiesubsidies en exploitatiesubsidies);

• een analyse van de 97 reacties van begunstigden op de online-enquête;

• 33 uitgeschreven follow-upgesprekken met coördinatoren van projecten/organisaties die voor de periode 2007-2013 JPEN-subsidies hebben ontvangen en die ook hebben gereageerd op de online-enquête;

• interviews met ambtenaren van de Commissie die betrokken waren bij het programma.

1.3OVERZICHT VAN HET PROGRAMMA

JPEN werd vastgesteld bij Besluit nr. 2007/126/JBZ van de Raad van 12 februari 2007 als onderdeel van het algemene programma „Grondrechten en justitie”. Het programma werd uitgevoerd voor een periode van zeven jaar, van 2007 tot en met 2013. Het is een voortzetting van het kaderprogramma betreffende politiële en justitiële samenwerking in strafzaken (AGIS) (2003-2007).

JPEN was gericht op één van de vier doelstellingen van het programma „Grondrechten en justitie”, namelijk de nood aan bevordering van justitiële samenwerking en de totstandbrenging van een ware rechtsruimte in strafzaken, overeenkomstig met de beginselen van wederzijdse erkenning. Het is gecreëerd om een geautomatiseerd systeem voor de uitwisseling van informatie uit strafregisters op te zetten.

De vijf algemene doelstellingen van het JPEN-programma zoals vermeld in artikel 2 van het besluit zijn:

• bevorderen van de justitiële samenwerking om bij te dragen aan de totstandbrenging van een ware Europese rechtsruimte in strafzaken, die is gebaseerd op wederzijdse erkenning en wederzijds vertrouwen;

• bevordering van de verenigbaarheid van de in de lidstaten geldende voorschriften, voor zover nodig ter verbetering van de justitiële samenwerking;

• verdere terugdringing van de bestaande juridische belemmeringen voor goede justitiële samenwerking, teneinde de coördinatie van onderzoeken te verbeteren en de rechtsstelsels in de lidstaten en de Europese Unie beter op elkaar af te stemmen, zulks om te voorzien in een passende follow-up van onderzoeken van rechtshandhavingsinstanties van de lidstaten;

• verbetering van de contacten en van de uitwisseling van informatie en beste praktijken tussen justitiële en administratieve autoriteiten en beoefenaars van juridische beroepen (advocaten en anderen die beroepshalve bij de werkzaamheden van de rechterlijke macht betrokken zijn) en bevordering van de opleiding van de leden van de rechterlijke macht, met het oog op een groter wederzijds vertrouwen;

• verdere verbetering van het wederzijdse vertrouwen met het oog op waarborging van de bescherming van de rechten van slachtoffers en verdachten.

De specifieke doelstellingen van het JPEN-programma zoals vermeld in artikel 3 van het besluit zijn:

• Verbetering van de justitiële samenwerking;

• Verbetering van de wederzijdse kennis van de strafrechtsstelsels van de lidstaten en bevordering en versterking van netwerkvorming, wederzijdse samenwerking, uitwisseling en verspreiding van informatie, ervaringen en beste praktijken;

• De juiste uitvoering, de correcte en concrete toepassing en de evaluatie van de instrumenten van de Unie op het gebied van justitiële samenwerking in strafzaken;

• Betere informatie over de rechtsstelsels van de lidstaten en betere toegang tot de rechter;

• Bevorderen van de opleiding van magistraten, advocaten en anderen die beroepshalve bij de werkzaamheden van de rechterlijke macht betrokken zijn met betrekking tot het Gemeenschapsrecht en het recht van de Unie;

• Het evalueren van de algemene voorwaarden voor de ontwikkeling van het wederzijdse vertrouwen;

• Ontwikkeling en implementatie van een geautomatiseerd systeem voor de uitwisseling van informatie uit strafregisters en ondersteuning van studies om andere vormen van informatie-uitwisseling te ontwikkelen.

Om deze doelstellingen te bereiken, financierde het programma activiteiten door middel van drie soorten financiële instrumenten: actiesubsidies; exploitatiesubsidies; en aanbestedingen ³ .

Actiesubsidies werden toegekend aan specifieke transnationale projecten in het belang van de hele Europese Unie; nationale projecten ter voorbereiding of aanvulling van transnationale projecten of EU-maatregelen; en nationale projecten die bijdragen aan de ontwikkeling van innoverende methoden en/of technieken die eventueel kunnen worden overgedragen.

Exploitatiesubsidies werden toegekend aan ofwel niet-gouvernementele organisaties of andere entiteiten die een doel van algemeen Europees belang nastreven op het gebied van strafrecht; of aan het Europees netwerk voor justitiële opleiding (ENJO), met name ter medefinanciering van de uitgaven in verband met het permanente werkprogramma van het Europees netwerk voor justitiële opleiding ⁴ .

De Commissie heeft eveneens JPEN-financiering gebruikt voor de aankoop van specifieke acties die van belang zijn voor de Commissie. Deze omvatten studies; onderzoek; en de ontwikkeling en uitvoering van specifieke IT-projecten ter bevordering van de uitwisseling en verspreiding van informatie.

Het jaarlijkse werkprogramma voor 2010 bevatte specifieke actiesubsidies ter medefinanciering van Europese projecten inzake e-justitie. In 2013 werd een specifieke oproep tot het indienen van voorstellen gelanceerd ter financiering van justitiële opleidingsprojecten.

Het programma was gericht op de ondersteuning van de volgende doelgroepen: beoefenaars van juridische beroepen; vertegenwoordigers van slachtofferhulporganisaties; anderen die beroepshalve bij de werkzaamheden van de rechterlijke macht betrokken zijn; nationale autoriteiten; en de Europese burgers in het algemeen.

De totale voorziene begroting voor JPEN van januari 2007 tot en met december 2013 bedroeg 196 miljoen EUR (zie Tabel 1 1 Geplande verdeling van de beschikbare middelen voor JPEN 2007-2013 ) ⁵ .

Tabel 11 Geplande verdeling van de beschikbare middelen voor JPEN 2007-2013

	Actiesubsidies	Exploitatiesubsidies ⁶	Aanbestedingen	Totaal
	Waarde (EUR)	Waarde (EUR)	Waarde (EUR)	Waarde (EUR)
2007	22 000 000	5 900 000	1 300 000	29 200 000
2008	18 800 000	6 000 000	5 000 000	29 800 000
2009	14 900 000	8 500 000	7 000 000	30 400 000
2010	17 000 000	5 000 000	4 000 000	26 000 000
2011	14 500 000	6 500 000	6 000 000	26 500 000
2012	13 450 000	7 500 000	6 000 000	26 950 000
2013	15 210 000	7 660 000	4 640 000	27 510 000
Totaal	114 860 000	49 560 000	31 940 000	196 360 000

Bron: JPEN-programma – Jaarlijkse werkprogramma's (2007-2013)

Het merendeel van de financiële steun in het kader van het JPEN-budget werd toegewezen aan actiesubsidies (64 %). Exploitatiesubsidies ter medefinanciering van het jaarlijkse werkprogramma van ngo's en uitgaven in verband met het permanente werkprogramma van het ENJO vertegenwoordigden 20 % van het totale programmabudget. Het overige budget werd toegewezen aan overheidsopdrachten ⁷ .

Zoals hierboven beschreven, werd JPEN-financiering ter beschikking gesteld via actiesubsidies en exploitatiesubsidies, kaderpartnerschapsovereenkomsten en overheidsopdrachten. Tabel 1 2 geeft een samenvatting van het aantal verschillende acties die elk jaar tijdens de implementatieperiode werden gefinancierd. Oproepen tot het indienen van voorstellen voor het verkrijgen van actiesubsidies en exploitatiesubsidies werden voor 2011 en 2012 onderverdeeld in verschillende jaren.

Tabel 12 Aantal jaarlijks gefinancierde acties

	2007	2008	2009	2010	2011	2012	2012	2013	TOTAAL
Actiesubsidies	56	41	32	49	53	-	49	280
Subsidies voor het uitvoeren van specifieke acties	-	-	2	-	2	-	-	4
Exploitatiesubsidies	5	7	13	8	-	10	7	50
TOTAAL	61	48	47	57	55	10	56	334

Noot: de cijfers in de tabel verschillen van het aantal projecten dat voor deze evaluatie werd geanalyseerd, omdat niet voor alle projecten documentatie beschikbaar was.

JPEN-projecten werden vooral geleid door nationale overheden, zoals ministeries van Justitie/Binnenlandse Zaken (22 % van alle leidinggevende organisaties); gevolgd door nationale ngo's/platforms/netwerken (18 %); Europese netwerken/platforms/forums (17 %); en andere onderwijs-/opleidingsinstituten (10 %).

Dit is in overeenstemming met wat is vastgelegd in het oprichtingsbesluit op grond waarvan organisaties toegang hebben tot het programma.

Actiesubsidies werden toegekend aan organisaties die in een partnerschap samenwerkten. De samenstelling van de partnerschappen toont aan dat het merendeel van de partners nationale ngo's waren, met inbegrip van nationale platforms en netwerken, universiteiten en nationale autoriteiten. Dergelijke partners vertegenwoordigden respectievelijk 19 %, 16 % en 15 % van het totale bedrag. De samenstelling van de partnerschappen wordt niet specifiek beschreven in het oprichtingsbesluit ⁸ .

Figuur 1 1 hieronder illustreert de belangrijkste soorten activiteiten die werden gefinancierd met actiesubsidies (links) en exploitatiesubsidies (rechts) in het kader van JPEN. De meeste projecten die werden gefinancierd met actiesubsidies waren gericht op activiteiten voor bewustmaking, voorlichting en verspreiding (22 %); gevolgd door analytische activiteiten (22 %); wederzijds leren, uitwisseling van goede praktijken, samenwerking (21 %); en opleidingsactiviteiten (19 %).

De belangrijkste activiteiten die werden uitgevoerd met exploitatiesubsidies waren activiteiten voor bewustmaking, voorlichting en verspreiding (18 %); gevolgd door ondersteuning aan belangrijke betrokken partijen (17 %); wederzijds leren, uitwisseling van goede praktijken, samenwerking (15 %); en opleidingsactiviteiten (15 %).

Figuur 11 Actiesubsidies van JPEN per hoofdactiviteit (links) en exploitatiesubsidies van JPEN per hoofdactiviteit (rechts)

Overheidsopdrachten beoogden drie hoofdactiviteiten, namelijk studies; de organisatie van evenementen en bijeenkomsten; en IT-dienstverlening.

Ook werd het e-justitieportaal onderhouden door middel van overheidsopdrachten. Overheidsopdrachten werden ook uitbesteed voor diensten van deskundigen in het kader van het mechanisme voor samenwerking en toetsing voor Roemenië en Bulgarije ⁹ .

2RESULTATEN VAN DE EVALUATIE

2.1RELEVANTIE VAN HET PROGRAMMA

Voor de beoordeling van de relevantie van het programma wordt gekeken in hoeverre de programma-acties op een logische manier bijdragen aan de doelstellingen ervan, en voorzien in de bredere beleidsbehoeften van de EU en de behoeften van de doelgroepen.

Uit de analyse van de doelstellingen en de prioriteiten van het programma blijkt dat zij weliswaar grotendeels specifiek, haalbaar en realistisch waren, maar niet meetbaar of (in de meeste gevallen) tijdgebonden. In de oproepen tot het indienen van voorstellen werden steeds meer gedetailleerde gegevens verstrekt met betrekking tot wat in de oproepen werd verwacht van gefinancierde projecten (in samenhang met verschillende prioriteiten). De doelstellingen van de meeste prioritaire werkterreinen waren afgestemd op Europese doelstellingen en beleidslijnen, met name in de laatste helft van het programma ¹⁰ .

Relevantie voor deze doelstellingen en voor bredere EU-beleidsprioriteiten was een belangrijk selectiecriterium in alle oproepen voor het verkrijgen van actiesubsidies en exploitatiesubsidies. Een beoordeling van de operationele doelstellingen van de begunstigden van actiesubsidies en exploitatiesubsidies toont aan dat de operationele doelstellingen van de projecten en de doelstellingen van het programma op elkaar zijn afgestemd. Bovendien blijkt uit de analyse van de actiesubsidies en exploitatiesubsidies dat de acties die met actiesubsidies werden gefinancierd en de meeste acties die met exploitatiesubsidies werden gefinancierd duidelijk waren afgestemd op de prioriteiten van het programma ¹¹ .

De aard van de activiteiten die in het programma aan bod kwamen was ook zeer relevant voor de doelstellingen van het programma en in overeenstemming met artikel 4 („subsidiabele acties”) van Besluit 2007/126/JBZ van de Raad betreffende JPEN. Een groot aantal acties die werden geselecteerd voor een subsidie of voor een overheidsopdracht van 2007 tot 2013 vielen onder de volgende categorieën:

• opleidingsactiviteiten, vooral voor magistraten of beoefenaars van juridische beroepen;

• wederzijds leren/uitwisseling tussen overheden/organisaties in de lidstaten (bv. via symposia, seminaries en verspreiding van goede praktijken);

• ontwikkeling en/of installatie van hardware/software om gerechtelijke procedures en toegang tot informatie over justitie op Europees en/of nationaal niveau (e-justitieportaal) te vergemakkelijken;

• ondersteuning en adviesdiensten (met inbegrip van websites met informatie en advies);

• er werden onderzoeksactiviteiten en analytische activiteiten uitgevoerd aan de hand waarvan de toepassing van de EU-wetgeving in de lidstaten werd beoordeeld of nationale wetgevingskaders in kaart werden gebracht teneinde de verenigbaarheid met de EU-wetgeving te beoordelen. Via dergelijke activiteiten werden ook methoden onderzocht voor het uitvoeren van verschillende vormen van rechtspleging (bv. herstelrecht of alternatieven voor detentie) en/of belemmeringen geanalyseerd voor rechtspleging in de EU. Bij sommige ging het ook om evaluaties van belemmeringen voor de tenuitvoerlegging van de EU-wetgeving en wederzijds vertrouwen ¹² .

Daarnaast werden subsidies toegekend aan veel belangrijkste organisaties die betrokken waren bij het bevorderen van een gemeenschappelijke Europese rechtsruimte. Er werden bijvoorbeeld subsidies toegekend aan belangrijke Europese netwerken en ngo's die actief zijn op het gebied van opleiding (bv. ENJO); proeftijd (de Europese Reclasseringsorganisatie – CEP); wettelijke rechten (Advice on Individual Rights in Europe – AIRE); slachtofferhulp (Victim Support Europe – VSE); bescherming van verdachten en aangeklaagden (Fair Trials); en herstelrecht (Europees Forum voor Herstelrecht - EFRJ) ¹³ .

Omdat JPEN gericht was op het verbeteren van justitiële samenwerking en wederzijds vertrouwen (en bedoeld was om ondersteuning te bieden voor de oprichting van een EU-brede justitiële ruimte) was het ook belangrijk dat partners en eindbegunstigden uit verschillende EU-lidstaten bij het programma werden betrokken. JPEN omvatte ook nationale acties (40 van de 284 actiesubsidies, zie hieronder, 2.6.2 Meerwaarde voor de EU en voor subsidiebegunstigden ). Deze activiteiten waren relevant voor het programma.

2.1.1Gestelde prioriteiten in de oproepen tot het indienen van voorstellen en de geselecteerde acties en hun relevantie voor beleid

De belangrijkste bestaande en ingevoerde wetgevingsinstrumenten tijdens de betreffende periode omvatten instrumenten voor de wederzijdse erkenning van nationale rechterlijke beslissing; instrumenten voor alternatieven voor bewaring; instrumenten ter ondersteuning van de justitiële samenwerking in het verstrekken van bewijsmateriaal aan andere lidstaten; instrumenten ter invoering van bepalingen betreffende procedurele rechten; en instrumenten voor het ondersteunen van slachtoffers en het waarborgen van hun rechten.

De jaarlijkse prioriteiten van JPEN weerspiegelen de veranderingen in het EU-beleid op het gebied van strafrecht ¹⁴ .

De Commissie heeft verschillende praktische instrumenten ter ondersteuning van de belangrijkste wetgevende instrumenten geïmplementeerd en bevorderd. Het doel was om de justitiële samenwerking, de wederzijdse erkenning van beslissingen en ook de publieke toegang tot justitie te verbeteren. Deze praktische instrumenten omvatten ¹⁵ :

• het Europese e-justitieportaal – informatieve website gericht op burgers, ondernemingen, beoefenaars van juridische beroepen en magistraten, en de informatieverzameling over rechten, beschikbare diensten en instrumenten die aan hun uiteenlopende behoeften voldoen;

• het Europees Strafregisterinformatiesysteem (Ecris) – een geautomatiseerd systeem voor een efficiënte uitwisseling van informatie over strafrechtelijke veroordelingen tussen EU-landen;

• het Europees justitieel netwerk (EJN) – een netwerk ter bevordering van de justitiële samenwerking in strafzaken tussen EU-landen;

• justitiële opleiding.

Vanaf 2010 voldeden de prioriteiten, zoals uiteengezet in de oproepen tot het indienen van voorstellen en de werkprogramma's, aan het „SMART”-principe in die zin dat zij specifiek stelden hoe de projecten inhoudelijk verwacht werden aan te sluiten op de prioriteit. Ze speelden ook beter in op beleid en wetgeving. Deze verbeteringen waren het gevolg van institutionele wijzigingen bij de Commissie na de inwerkingtreding van het Verdrag van Lissabon, waardoor meer bevoegdheden werden toegekend aan de Commissie op het gebied van justitie en binnenlandse zaken. Daarnaast werd het directoraat-generaal Justitie, vrijheid en veiligheid (DG JLS) in 2010 gesplitst in DG Binnenlandse zaken en DG Justitie (en viel JPEN onder het nieuwe DG Justitie) waarbij een grotere verantwoordelijkheid werd gegeven aan beide directoraten-generaal ¹⁶ .

De acties die worden gefinancierd via actiesubsidies en voornamelijk waren gericht op het ondersteunen van de uitvoering van bestaande wetgeving ¹⁷ . Geselecteerde acties ondersteunden ook indirect nieuwe beleidsontwikkeling in die zin dat zij de uitwisseling van ideeën en discussie over belemmeringen voor rechtspleging/samenwerking in de EU tussen de ministeries van Justitie en leden van de rechterlijke macht/beoefenaars van juridische beroepen in de EU vergemakkelijkten. Van de 334 subsidies waren er 16 die beleidsaanbevelingen in kaart hebben gebracht en geformuleerd ¹⁸ .

Omdat bij de prioritaire werkterreinen in de oproepen tot het indienen van voorstellen een beschrijving werd gegeven van de verwachte inhoud van de projecten, zorgde dit ervoor dat ze specifieker waren en heeft dit subsidieaanvragers ervoor helpen zorgen dat hun projecten relevant waren voor Europese doelstellingen. Bovendien, omdat de prioritaire werkterreinen zo nauw aansloten op de doelstellingen van het programma en de beleidsdoelstellingen van de EU, was het voor de geselecteerde acties makkelijk om zich te richten op deze doelstellingen.

Bijna alle organisaties die outputs produceerden, waren belangrijke Europese platforms of ngo's die een leidende rol spelen bij het toezicht op specifieke aspecten van strafrecht in de EU, namelijk de Europese Reclasseringsorganisatie (CEP); Raad van de balies van de Europese Unie (CCBE); de Europese organisatie van gevangenissen en penitentiaire diensten (EuroPris); Fair Trials International (FTI); de Internationale Waarnemingspost voor jeugdrecht; VSE; en de Ierse Raad voor burgerlijke vrijheden.

Aangezien bovengenoemde instanties netwerken zijn met een verspreiding in de gehele EU en met een gevestigde expertise op deze gebieden, zijn zij goed geplaatst om beleidsaanbevelingen te doen.

Diensten die door middel van JPEN-financiering werden geleverd, waren ook relevant voor het programma en bredere EU-doelstellingen, omdat zij voornamelijk gericht waren op de ontwikkeling van het e-justitieportaal en de modules ervan of op effectbeoordelingen en andere studies ter ondersteuning van de verdere ontwikkeling van wetgeving en beleid voor de totstandbrenging van een gemeenschappelijke Europese rechtsruimte in strafzaken ¹⁹ .

2.1.2Relevantie van het programma voor de behoeften van de doelgroep

70 van de 97 respondenten van de online-enquête gaven aan dat zij behoefteanalyses hebben uitgevoerd ter ondersteuning van het ontwerp en de ontwikkeling van hun projecten. Uit een nadere analyse van de projectdocumentatie van zestien aanvraagformulieren blijkt echter dat er slechts zes werden ontwikkeld op basis van een behoefteanalyse. Het was inderdaad geen specifieke vereiste om een behoefteanalyse uit te voeren en hiervoor bewijsmateriaal te verstrekken. Als subsidieaanvragers dit echter wel hadden gedaan, dan zou dit een veel duidelijkere indicatie hebben gegeven van de relevantie van hun project, de kwaliteit van hun studie hebben verbeterd en een uitgangspunt hebben opgeleverd om achteraf het succes van het project te kunnen beoordelen. Projecten die niet zijn gebaseerd op de behoefteanalyse kunnen wel relevant zijn voor de behoeften van de doelgroepen, maar als er geen behoefteanalyse wordt uitgevoerd, bestaat de kans dat er meer relevante methoden en middelen ter ondersteuning van de doelgroepen hadden kunnen worden ontwikkeld ²⁰ .

Van de 97 respondenten van de online-enquête gaven er 69 (81,2 %) aan dat zij positieve reacties hadden ontvangen van hun doelgroep(en) over de relevantie van het project. Eén van de redenen voor de naar verluidt hoge mate (81 %) van positieve reacties van doelgroepen kan zijn dat het (type) betrokken partij die het project uitvoerde dezelfde was als de betrokken partijen die er baat bij hadden. Meer bepaald kan worden aangenomen dat leden van de rechterlijke macht, beoefenaars van juridische beroepen, enz. een aanvraag hebben ingediend om opleiding aan te bieden aan hun eigen collega's samen met collega's van de andere lidstaten of om bijeenkomsten te organiseren met collega's/deskundigen uit andere lidstaten. Ook hebben nationale autoriteiten aanvragen ingediend voor subsidies voor ondersteuning bij het opzetten van strafregistersystemen die verenigbaar zijn met Ecris en/of andere e-justitievoorzieningen om hun rechtsstelsels af te stemmen met die van andere lidstaten ²¹ .

2.2COHERENTIE EN COMPLEMENTARITEIT

2.2.1Complementariteit met andere EU-programma's

Artikel 12 van Besluit nr. 2007/126/JBZ van de Raad tot vaststelling van JPEN omschrijft de mogelijkheden tot complementariteit en synergie met andere Europese financiële instrumenten, namelijk het programma Civiel recht (JCIV); de Preventie en bestrijding van criminaliteit (ISEC); Terrorisme en andere aan veiligheid gerelateerde risico's: preventie, paraatheid en beheersing van de gevolgen (CIPS); Solidariteit en beheer van migratiestromen (bekend onder de naam „Solid-fondsen”); en het communautair statistisch programma.

Andere EU-instrumenten met kans op complementariteit of overlapping met JPEN zijn onder andere het Daphne III-programma; het programma „Grondrechten en burgerschap” (FRC); het programma voor een leven lang leren (LLP); het zevende kaderprogramma voor onderzoek en ontwikkeling (FP7); en Horizon 2020 – het nieuwe EU-programma voor onderzoek en innovatie.

Deze programma's hadden doelstellingen en thema's die vergelijkbaar waren met die van JPEN. Gezien het feit dat de doelstellingen van JPEN specifiek waren, maakte het echter gemakkelijker om overlapping te vermijden met andere programma's van DG Justitie die verschilden van JPEN in termen van:

• bestreken rechtsgebied – JPEN omvat strafrecht, JCIV omdat civiel recht en FRC omvat grondrechten;

• focus – alle programma's zijn gericht op slachtoffers, maar het programma Drugspreventie en -voorlichting (DPIP) en Daphne III richtten zich op specifieke groepen slachtoffers en besteedden aandacht aan preventie van schade en ondersteuning voor geleden schade. DPIP en Daphne III waren ook meer gericht op behandeling en bescherming dan JPEN, dat meer gericht was op het traject dat het slachtoffers aflegden doorheen het strafrechtelijke systeem;

• doelgroepen of resultaten – zoals in het geval van ISEC, Daphne III en DPIP.

Ook de doelstellingen van de programma's van DG CONNECT en KP7 zijn coherent, maar overlappen niet noodzakelijkerwijs met JPEN ²² .

Het PROGRESS-programma en het Europees Sociaal Fonds (ESF) financierden ook de opleiding van magistraten, maar zij waren beide complementair met JPEN: PROGRESS financierde opleiding op het gebied van gelijkheid van vrouwen en mannen en antidiscriminatie voor magistraten (wat geen van de andere justitieprogramma's doen); en het ESF financierde hoofdzakelijk opleiding op nationaal niveau.

Daarentegen was de meerwaarde van de door JPEN gefinancierde opleiding dat ze altijd transnationaal was (waarbij deelnemers profiteerden van het leren over andere lidstaten en van meer internationale samenwerking).

Tabel 2 1 hieronder illustreert de mate van coherentie en complementariteit van de doelstellingen en thematische werkterreinen van JPEN met de geselecteerde financieringsprogramma's van de EU.

Tabel 21 Mate van complementariteit en overlapping van de doelstellingen: JPEN en EU-programma's

Justitiële samenwerking	Bevordering van de verenigbaarheid van wetgeving	Uitwisseling van informatie en beste praktijken (in het strafrecht)	E-justitie	Opleiding van magistraten	Bescherming van de rechten van slachtoffers en verdachten	Strafrecht
JPEN	JPEN	JPEN	JPEN	JPEN	JPEN	JPEN
JCIV	JCIV		JCIV	JCIV
FRC				FRC
		ISEC			ISEC	ISEC
				Daphne III	Daphne III
			DG Connect
		FP7/Horizon 2020

Bij de voorbereiding van de jaarlijkse werkprogramma's werden complementariteit met en coherentie tussen de programma's van DG Justitie verhoogd door overleg tussen verschillende diensten en interdepartementale groepen binnen de Commissie, waar complementariteit en mogelijke overlappingen in programmering werden besproken met andere directoraten-generaal. De Commissie legde het jaarlijkse werkprogramma en de prioriteiten ervan voor aan het programmacomité, zodat de lidstaten complementariteit en coherentie met andere EU of nationale initiatieven konden identificeren ²³ .

2.2.2Complementariteit op projectniveau

Bij de selectieprocedure van projecten en bij de monitorings- en rapportagefase van het programma, heeft de Commissie geen mechanismen toegepast ter verbetering van de complementariteit, behalve het delen van middelen (dat wil zeggen het e-justitieportaal) met het programma Civiel recht (JCIV).

Op projectniveau beoogden begunstigden een synergie tot stand te brengen met collega's of andere organisaties die projecten uitvoerden die door JPEN of door andere EU-programma's werden gefinancierd; en/of met projecten die werden gefinancierd via nationale en internationale mechanismen.

Bijna twee derde van de respondenten van de online-enquête gaf aan dat gedeeltelijke synergieën werden gecreëerd met andere projecten in het kader van JPEN (29 %), andere EU-programma's (20 %), nationale programma's (20 %) of internationale programma's (5,5 %) ²⁴ . Niet alle respondenten hebben echter voorbeelden gegeven van de door hun gecreëerde synergieën, waardoor het niet altijd mogelijk was deze gerapporteerde informatie te bevestigen.

Subsidiebegunstigden beoogden het effect van hun door JPEN gefinancierde projecten te vergroten door voort te bouwen op de bevindingen van andere projecten; door het project te ontwerpen op basis van goede praktijken die in het kader van andere programma's waren vastgesteld; en door de verspreiding van de projectresultaten naar netwerken die in het kader van andere projecten waren opgericht.

Eén van hen gaf aan dat de projectresultaten werden verspreid op bijeenkomsten met eindgebruikers van een ander project dat werd gefinancierd in het kader van het KP7-programma van DG Onderzoek. Een andere respondent verklaarde gebruik te hebben gemaakt van enkele hulpmiddelen die waren ontwikkeld in het kader van een project dat werd gefinancierd door het programma voor een leven lang leren (LLP). Resultaten van JPEN-projecten werden ook verspreid op conferenties die werden georganiseerd met financiering van andere EU-programma's ²⁵ .

2.3DOELTREFFENDHEID

De doeltreffendheid van een programma hangt af van de mate waarin de doelstellingen met succes worden bereikt. Het succes van JPEN kan ook worden gemeten aan de hand van de mate waarin individuele JPEN-projecten erin geslaagd zijn hun eigen doelstellingen met succes te bereiken.

2.3.1Programmaresultaten

Over het algemeen waren de uitgevoerde acties gericht op de doelstellingen van het programma, met name de specifieke doelstellingen inzake de opleiding van magistraten en justitiële samenwerking. Het is moeilijk te beoordelen in hoeverre projectresultaten werden bereikt (in vergelijking met geplande outputs). Dit is te wijten aan het feit dat subsidieaanvragers pas tegen het einde van het programma een meetbare doelstelling voor hun outputs dienden te identificeren. Uit de zelfrapportage van de begunstigden blijkt dat de meeste projecten (ongeveer 70 %) doeltreffend waren in het bereiken van hun beoogde output, terwijl bijna twee derde erin slaagde al hun outputs en resultaten te bereiken ²⁶ .

Over het algemeen bereikten actiesubsidies en exploitatiesubsidies van JPEN outputs en positieve resultaten, met name voor ²⁷ :

• opleiding van magistraten, wat heeft bijgedragen tot de versterking van wederzijds vertrouwen, hoewel de omvang ervan niet kan worden gemeten, en waarvan bijna 26 000 rechters, openbare aanklagers en andere beroepsbeoefenaars in bijna alle lidstaten hebben geprofiteerd;

• een betere samenwerking tussen de rechterlijke macht en ministeries van Justitie van de lidstaten, waarbij bijna duizend partnerschappen werden opgericht, meestal bilateraal;

• beter op elkaar afstemmen van regels (of een beter begrip van de verschillen) door middel van studies, wederzijds leren en de bevordering van goede praktijken met het oog op het harmoniseren van regels. Deze zorgden ook voor een (betere) uitvoering van de EU-wetgeving door het vergroten van de kennis en de vaardigheden van zij die dit op nationaal niveau toepassen;

• aanpakken van verschillende belemmeringen voor de huidige justitiële samenwerking door de ontwikkeling van passende dienstverlening, onderzoek, wederzijds leren en netwerken. De soorten belemmeringen die werden aangepakt, waren onder meer: een gebrek aan begrip en kennis, communicatiekanalen en samenwerkingsplatforms, taalverschillen, enz.;

• vergroten van de capaciteit van organisaties die slachtoffers en verdachten ondersteunen.

JPEN had een aanzienlijke invloed op het verbeteren van justitiële samenwerking tussen de rechterlijke macht en ministeries van justitie van de lidstaten, niet in de laatste plaats vanwege het aantal bilaterale samenwerkingsverbanden die in het leven werden geroepen. Ten minste 947 partnerschappen werden gevormd, waarvan 826 tussen lidstaten. Sommige outputs en resultaten van transnationale projecten omvatten ²⁸ :

• verbeterde bilaterale samenwerking tussen openbare aanklagers van lidstaten inzake gemeenschappelijke onderzoeksteams in grensoverschrijdende zaken;

• verbeterde expertise inzake de verwerking van EU-onderdanen die beschuldigd worden van misdaden in een andere lidstaat;

• gezamenlijke dialoog over gemeenschappelijke problemen, mede door de oprichting van werkgroepen binnen de EU zoals de adviescommissie van juridische deskundigen.

JPEN heeft duidelijk de justitiële samenwerking en verenigbaarheid van de regels van de lidstaten bevorderd en ook bijgedragen tot het verminderen van enkele juridische belemmeringen.

Het programma heeft de verenigbaarheid van regels in de lidstaten bevorderd door ²⁹ :

• een betere kennis van de verschillen tussen de wetgevingen/praktijken van de lidstaten en de identificatie van mogelijke oplossingen voor het beperken van deze verschillen;

• bevordering van goede praktijken en betere harmonisatie;

• verbeterde dialoog tussen personen die verantwoordelijk zijn voor handhaving en wijziging van regels op het gebied van strafrecht, met inbegrip van de oprichting van werkgroepen binnen de lidstaten om oplossingen te bespreken en te vinden voor belemmeringen bij de tenuitvoerlegging van EU-wetgeving;

• bevordering van een (betere) uitvoering van EU-wetgeving door het vergroten van de kennis hierover in de lidstaten en de capaciteit voor de uitvoering ervan.

Om taalkundige belemmeringen te beperken, heeft JPEN van toegang tot vertolkingdiensten een prioriteit gemaakt voor financiering, toekenning van subsidies voor taalopleidingen van rechters en openbare aanklagers en evaluatie van linguïstische diensten in de lidstaten. Gezien de geringe omvang van deze taalopleidingen, is het onwaarschijnlijk dat deze een grote invloed hadden op het beperken van taalkundige belemmeringen. Het heeft echter bijgedragen tot de opleiding van magistraten en bevorderde de taalopleiding van beoefenaars van juridische beroepen ³⁰ , wat voor de Commissie een prioriteit vormt ³¹ .

Eén van de belangrijkste types gefinancierde acties (47 actiesubsidies plus 10 overheidsopdrachten, ten belope van 4,2 miljoen EUR) was ondersteuning voor lidstaten bij het aanpassen van hun strafregistersystemen om deze op EU-niveau verenigbaar te maken en de uitwisseling van de gegevens via Ecris mogelijk te maken. Hoewel projectpartners hebben aangegeven dat er bepaalde uitvoeringskwesties waren bij het opzetten van het Ecris in de lidstaten, werd Ecris in 2012 met succes opgezet, wat betekent dat de acties in het kader van JPEN op dit gebied ten minste gedeeltelijk succesvol waren ³² .

In die zin dat JPEN acties ondersteunde voor de verbetering van dialoog en uitwisseling tussen de lidstaten en de bevordering van justitiële samenwerking, heeft het programma gezorgd voor verbeterde contacten en uitwisseling van informatie en beste praktijken tussen wettelijke, gerechtelijke en administratieve instanties. Ten minste 187 gefinancierde acties (van de 334) brachten wederzijds leren, de uitwisseling van goede praktijken en samenwerking in hun projecten. Deze acties hebben bijgedragen tot de uitwisseling van informatie en toenemende contacten tussen nationale leden van de rechterlijke macht. Nationale autoriteiten uit 21 lidstaten ³³ hebben leiding gegeven aan één of meer JPEN-subsidies, met inbegrip van 15 ministeries van Justitie. Veel van deze subsidies werden gebruikt voor de wijziging van nationale strafregistersystemen om deze verenigbaar te maken met het Europese systeem (Ecris) ³⁴ .

Naast acties die werden gefinancierd door subsidies, werd JPEN-financiering gebruikt voor de aanschaf van contracten met deskundigen die het e-justitieportaal ontwikkelden en onderhielden ³⁵ .

In totaal werden 93 JPEN-subsidies voor een bedrag van 44 miljoen EUR (26 % van de totale geplande begroting voor de programmaperiode 2007-2013) specifiek besteed aan de opleiding van magistraten en beoefenaars van juridische beroepen. Van deze opleiding profiteerden 25 863 rechters, openbare aanklagers en andere beroepsbeoefenaars tijdens de geëvalueerde periode, wat een gemiddelde oplevert van 3 695 begunstigden per jaar. Figuur 2 1 toont het aantal beoefenaars van juridische beroepen dat jaarlijks deelneemt aan deze opleidingen. Dit omvat opleidingen die werden gefinancierd via actiesubsidies, kaderpartnerschapsovereenkomsten en exploitatiesubsidies voor het ENJO.

Figuur 21 Aantal deelnemers die profiteerden van door JPEN gefinancierde opleiding over EU-wetgeving 2007-2013

De Commissie heeft doelstellingen vastgesteld voor de opleiding van de helft van alle beoefenaars van juridische beroepen in de EU (naar schatting 700 000) tegen 2020. Om dit te verwezenlijken, moet jaarlijks ten minste 5 % van alle beoefenaars van juridische beroepen in elke lidstaat worden opgeleid tot 2020, of de opleiding op lokaal, nationaal of Europees niveau of door lokale, nationale en Europese betrokken partijen wordt georganiseerd ³⁶ . Uit een verslag van de Commissie van 2014 over de Europese justitiële opleiding bleek dat het streefcijfer voor rechters in 2013 werd bereikt (zie bovenste grafiek van Figuur 2 2 ), terwijl het streefcijfer voor de jaarlijkse opleiding van openbare aanklagers werd bereikt in 19 lidstaten.

Figuur 22 Aantal rechters en openbare aanklagers die in 2013 hebben deelgenomen aan permanente beroepsopleiding in hun eigen lidstaat en (voor openbare aanklagers) in het buitenland

Bron: Europese justitiële opleiding 2014. Cijfers omvatten opleiding gefinancierd via andere EU-programma's of door EU-organen, zoals de programma's PROGRESS, Civiel recht en Grondrechten en burgerschap.

Een groot deel van JPEN-subsidies ging naar projecten die direct of indirect gericht waren op de rechten van slachtoffers en verdachten. Eén van de belangrijkste manieren waarop JPEN heeft bijgedragen aan het opbouwen van wederzijds vertrouwen betreffende de rechten van slachtoffers en verdachten in de EU is door de financiering van platforms op EU-niveau die in deze gebieden werkzaam zijn, met name:

• Fair Trials International, dat naast andere acties streeft naar de „ontplooiing van en steunverlening aan een internationale beweging [netwerk] van verdedigers van een eerlijke rechtsgang [van professionals die werkzaam zijn op het gebied van de mensenrechten]”; alsmede

• Victim Support Europe (VSE), een netwerk van nationale organisaties voor slachtofferhulp ter bevordering van de totstandbrenging en ontwikkeling van rechten en dienstverlening voor slachtoffers in heel Europa ³⁷ .

2.3.2Projectresultaten

De meeste projecten (ongeveer 70 %) waren doeltreffend in het bereiken van hun beoogde output en in het bereiken van de doelstellingen van het project. Bijna een derde was echter niet zo doeltreffend, omdat deze projecten niet al hun doelstellingen bereikten (zie Tabel 2 2 ). Slechts in een handvol gevallen (ongeveer 5 % van alle afgeronde projecten) heeft dit in aanzienlijke mate afbreuk gedaan aan de verwezenlijking van de operationele doelstellingen van het project. Hoewel sommige belemmeringen te wijten waren aan onvoorziene externe factoren, hadden er enkele geïdentificeerd en kunnen worden opgevangen als onderdeel van een risicobeoordelingsstrategie.

Tabel 22 Oorzaken van de uitvoeringskwesties die in de projecten werden ervaren

Oorzaak van het probleem	Aantal betrokken projecten
Vertrek personeel/onvoldoende personeel	5
Tijdgebrek	21
Onvoorziene (externe) belemmering	17
Financiële kwesties/gebrek aan financiering	12
Technische redenen (bv. problemen met digitale systemen, met de werking van software voor e-justitie)	5
Omstandigheden die geïdentificeerd hadden kunnen worden als onderdeel van het logisch model (bv. gebrekkige gegevens, gebrek aan belangstelling van begunstigden, timingproblemen, coherentie met beleidsontwikkelingen, enz.)	15
Vertragingen bij de Europese Commissie	2
Wijzigingen in het logische model	7

Bron: alle door ICF in kaart gebrachte projectdocumentatie (n=334)

Meer dan twee derde van de afgeronde projecten werd precies uitgevoerd zoals gepland, terwijl een derde ten minste enkele wijzigingen aanbrachten in de manier waarop de projecten/programma's werden uitgevoerd in vergelijking met het oorspronkelijke ontwerp ³⁸ .

2.4DUURZAAMHEID EN OVERDRAAGBAARHEID

De evaluatiedeskundigen analyseerden of de door de projecten bereikte resultaten, uitkomsten en effecten duurzaam waren na de periode van projectfinanciering. In de evaluatie werden drie niveaus van duurzaamheid geïdentificeerd:

1. duurzaamheid op korte termijn, die vooral wordt verwezenlijkt door de verspreiding van projectresultaten;

2. duurzaamheid op middellange termijn, die de voortzetting van projectresultaten en/of partnerschappen vereist;

3. duurzaamheid op lange termijn die hoofdzakelijk wordt bereikt door overdracht van projectresultaten naar andere contexten, organisaties en lidstaten met weinig of geen extra middelen.

2.4.1Voortzetting van projectactiviteiten en outputs en verspreiding

In de eindverslagen van 39 (32%) van de 121 afgeronde projecten waarin enig bewijs werd verstrekt van duurzaamheid, werd verklaard dat het project volledig zou worden voortgezet omdat men erin was geslaagd verdere financiering vast te leggen. Deze 39 projecten hadden betrekking op de ontwikkeling van hulpmiddelen zoals Ecris, slachtofferhulp en herstelrechtprogramma's – dat wil zeggen ze betroffen systemen of diensten die waren ontwikkeld en die verdere financiering vereisten voor de verdere uitvoering ervan. Dit gold evenwel niet voor alle JPEN-projecten. Waar de actiesubsidie of exploitatiesubsidie gericht was op onderzoek, was er niet noodzakelijkerwijs financiering nodig voor de voortzetting van het project. Ook voor projecten die gericht waren op opleiding of wederzijds leren zou slechts verdere financiering nodig zijn als de opleiding zou worden uitgebreid naar nieuwe deelnemers ³⁹ .

In de eindverslagen van 28 projecten werd verklaard dat het project gedeeltelijk zou worden voortgezet, bv. wanneer bepaalde aspecten van de opleiding worden voortgezet of wanneer de uitkomsten van het project worden gebruikt voor het ontwikkelen van of het bijdragen aan nieuwe projecten. In deze gevallen kan ervan worden uitgegaan dat financiering is gevonden voor deze gedeeltelijk voortzetting. Uit de resultaten van de online-enquête blijkt dat de meeste subsidiebegunstigden (71 %, of 61 van de 86 respondenten) verdere financiering nodig zouden hebben om het project/de activiteiten voort te zetten. In follow-upgesprekken verklaarden 25 van de 33 ondervraagden dat verdere financiering noodzakelijk was voor de follow-up-aspecten van de projecten, zoals opleidingen en vertalingen, het testen van de ontwikkelde producten, en de uitvoering van methodieken.

20 van de 33 ondervraagden verklaarden echter ook dat elementen zoals verspreidingsactiviteiten en bewustmaking konden worden voortgezet zonder aanvullende financiering ⁴⁰ .

Over het algemeen was de verspreiding van de projectresultaten door de Commissie beperkt, aangezien zij voor de rechtstreekse verspreiding van de outputs onder de doelgroepen meestal vertrouwde op de begunstigden, en de eigen personele middelen voor het merendeel bestemd waren voor het financiële beheer. Er werden enkele onderwijsmaterialen gepubliceerd en de monitoring van projectuitgaven en budgetten kreeg voorrang op de monitoring van resultaten. Slechts bepaalde resultaten van opleidingsprojecten zijn gepubliceerd op het e-justitieportaal. De opleidingsmaterialen werden alleen geüpload naar het e-justitieportaal in gevallen waarin de producten uitgebreid en relevant waren en een lacune in de dekking vulden (voornamelijk seminars van het Europees Instituut voor Bestuurskunde (EIPA, links naar het ENJO en de websites van het project „Opbouwen van wederzijds vertrouwen” ⁴¹ ) ⁴² .

Verspreiding was een eis in de oproepen tot het indienen van voorstellen en werd aangemoedigd door de Commissie. De oproepen voor actiesubsidies moedigde subsidieaanvragers aan te tonen dat zij over een plan beschikten voor verspreiding. Aanvragers van exploitatiesubsidies waren niet verplicht een strategie voor verspreiding aan te geven. Van de 95 respondenten van de online-enquête verklaarde 92 % (87 respondenten) een duidelijk plan te hebben voor de verspreiding van hun project/activiteiten. Uit een analyse van 12 aanvraagformulieren voor actiesubsidie voor alle prioritaire werkterreinen en alle jaren van het programma blijkt dat verspreidingsstrategieën varieerden in kwaliteit ⁴³ .

Uit de kwantitatieve analyse van de documentatie van 334 JPEN-subsidies blijkt dat ten minste 197 (59 %) van alle begunstigden bewustwording of verspreidingsactiviteiten uitvoerden als onderdeel van hun projecten/werkprogramma's. Uit de analyse van outputs van projecten (zie Figuur 2 3 ) die in de eindverslagen van de begunstigden worden gerapporteerd, blijkt dat evenementen, nieuwsbrieven, brochures of andere outputs de voornaamste instrumenten voor verspreiding waren. Sommige begunstigden hebben ook websites opgezet voor de verspreiding van projectinformatie, maar ten tijde van de evaluatie bleek dat niet alle projectwebsites werden voortgezet nadat de projectfinanciering was gestopt.

Figuur 23 Outputs van verspreidings- en bewustmakingsactiviteiten (n=221)

Bron: analyse van 221 subsidies waarvoor eindverslagen beschikbaar waren.

Het feit dat dergelijke activiteiten doeltreffend waren in het trekken van de aandacht van beleidsmakers en het intensiveren van contacten tussen autoriteiten in de verschillende lidstaten wijst er echter op dat verspreiding op zijn minst een zekere doeltreffendheid had. Een totaal van 44 respondenten van de online-enquête gaf aan reeds met succes outputs te hebben geïmplementeerd in een andere dan hun eigen lidstaat. 29 respondenten gaven ook aan dat de resultaten van het project/de activiteiten de voedingsbodem hadden gevormd voor beleidsactiviteiten in één of meer andere landen ⁴⁴ .

2.4.2Voortzetting van partnerschappen na afronding van het project

Op basis van de informatie in eindverslagen blijkt dat 17 partnerschappen die waren opgericht voor het uitvoeren van JPEN-subsidies geheel of gedeeltelijk zouden worden voortgezet na de voltooiing van het project. Het is echter waarschijnlijk dat het aantal partnerschappen dat werd voortgezet hoger was, aangezien 71 van de 91 respondenten van de online-enquête (78 %) verklaarden dat hun partnerschap al werd voortgezet of waarschijnlijk zou worden voortgezet na de voltooiing van het project. Een andere factor was dat de begunstigden die werden geïnterviewd en hadden deelgenomen aan de online-enquête positief waren over de voordelen van de partnerschappen die in het kader van JPEN waren gevormd. Uit de follow-upgesprekken met begunstigden bleek dat sommige van deze partnerschappen reeds vóór de start van het project waren gevormd. Deze vorige ervaring met het partnerschap maakte teambuilding, communicatie binnen de groep, het oplossen van problemen alsmede het leggen van eerste contacten binnen het nieuwe project gemakkelijker ⁴⁵ . Er werden geen gegevens verzameld over de redenen waarom partnerschappen niet werden voortgezet.

2.4.3Mogelijke duurzaamheid en overdraagbaarheid van outputs

De verspreiding van outputs en resultaten aan een breed publiek kan de duurzaamheid ervan vergroten. Veel outputs waren reeds ontworpen om gebruikt te worden op EU-niveau (bv. justitiële opleiding in het kader van ENJO was ontwikkeld voor deelnemers uit verschillende lidstaten en het e-justitieportaal voor gebruik door het publiek in alle lidstaten). Sommige die niet waren ontworpen voor toepassing in de hele EU, waren ontworpen om overdraagbaar te zijn naar andere lidstaten.

Het was voor begunstigden moeilijk om in hun eindverslagen de duurzaamheid van hun project aan te tonen. Dit was het gevolg van het feit dat er slechts twee of drie maanden lagen tussen de afronding van het project en de uiterste rapporteringsdatum, wat niet echt voldoende tijd is om duurzaamheid aan te tonen.

Veel projectpartners die voor de evaluatie werden geïnterviewd, gaven aan dat zij hun projecten hadden ontworpen rond duidelijke producten of outputs, waarvan er veel zouden of konden worden overgedragen naar andere lidstaten. In totaal waren 70 van de 89 respondenten van de online-enquête ook van mening dat alle of sommige outputs zonder enige wijziging in meer dan één land konden worden gebruikt, terwijl nog eens 22 aangaven dat outputs konden worden overgedragen naar meer dan één land met enkele kleine wijzigingen. Meer dan twee derde (61 respondenten) gaf ook aan dat de resultaten van het project/de activiteiten de voedingsbodem konden vormen voor beleidsactiviteiten in één of meer andere landen ⁴⁶ .

Factoren die mogelijk een belemmering konden zijn voor de volledige overdraagbaarheid van de resultaten werden ook genoemd door geïnterviewden. Deze omvatten aanpassing aan de eigen wetgeving van landen; vertaalvereisten; de rijpheid van het rechtsstelsel van andere lidstaten; de prioriteit van een bepaald onderwerp in de agenda van een bepaalde lidstaat; en de behoefte aan een specifieke project-output (dat wil zeggen opleidingsinstrument of -methode).

2.5RENDEMENT EN MOGELIJKE VEREENVOUDIGING

Dit deel beoordeelt het rendement van het programma op het gebied van:

• de toereikendheid en het rendement van de beschikbare financiële middelen;

• de gepastheid van de bestede uitgaven in vergelijking met de positieve bereikte effecten;

• de mate waarin de toewijzing van middelen tussen de verschillende financiële instrumenten adequaat en toereikend was voor de verwezenlijking van de doelstellingen van het project.

Dit deel evalueert ook de doeltreffendheid van het beheer door de Commissie en neemt mogelijke vereenvoudigingen voor het beheer van het programma in overweging.

2.5.1Toereikendheid en doeltreffendheid van de beschikbare financiële middelen

Uit deze analyse blijkt dat de beschikbare middelen om de doelstellingen te verwezenlijken voldoende waren, gezien het feit dat de doelstellingen van het programma duidelijk omschreven en niet overdreven ambitieus waren. Subsidiebegunstigden gaven ook aan dat de subsidies over het geheel genomen voldoende waren om hun doelstellingen te verwezenlijken en een verschil te maken op hun werkterrein.

Een vergelijking van toegekende financieringen met (uiteindelijk) vastgelegde financieringen wijst erop dat onderbesteding in projecten gebruikelijk was aan het begin van het programma: de vastleggingen per oproep lagen systematisch lager dan de oorspronkelijke toewijzingen, hoewel een aantal verbeteringen konden worden vastgesteld in latere oproepen (zie Figuur 2 4 ). De reden voor deze initiële scheve verhouding was dat JPEN een nieuw programma was, dat gericht was op een groep belanghebbenden die relatief weinig ervaring had met subsidieaanvragen. De gebruikte financieringsinstrumenten volgden een duidelijke logica en werden over het algemeen doeltreffend gebruikt.

Figuur 24 Totale toegewezen, vastgelegde en feitelijk betaalde JPEN-middelen en de totale te hoge/te lage vastlegging en onderbesteding van oproepen tot het indienen van voorstellen (actiesubsidies (AG) bovenaan, exploitatiesubsidies (OG) onderaan)

Noot: De cijfers over de financiering van exploitatiesubsidie omvatten eveneens de kaderpartnerschapsovereenkomsten en exploitatiesubsidiemonopolies. Cijfers over toewijzingen en gefinancierde projecten in de jaren 2011-2012 werden samengevoegd. Onderbesteding wordt berekend als het verschil tussen de vastgelegde en betaalde middelen voor alle afgeronde projecten. * Niet alle projecten zijn afgerond (de cijfers over besteding en onderbesteding betreffen alleen afgeronde projecten). CR: strafregisters, EJ: e-justitie, EJT: Europese juridische opleiding.

2.5.2Vergelijking tussen uitgaven en de bereikte effecten

JPEN financierde met ongeveer 131 miljoen EUR 334 hoofdzakelijk transnationale projecten die meer dan 1 200 toonaangevende organisaties en partnerorganisaties vertegenwoordigden ⁴⁷ . Uiteindelijk financierde JPEN met 21 miljoen EUR extra 174 aanbestede projecten. Dit heeft ook bijgedragen tot het bereiken van algemene en specifieke doelstellingen van het programma, door bijvoorbeeld het opstellen van nieuwe wetgeving te ondersteunen; deskundigen samenbrengen om bepaalde belemmeringen te bespreken; en communiceren over kernboodschappen ⁴⁸ .

De verwachting was dat JPEN zou bijdragen aan de totstandbrenging van een Europese rechtsruimte in strafzaken, die is gebaseerd op wederzijdse erkenning en wederzijds vertrouwen. De verwachte uitkomsten hadden betrekking op het versterken van de justitiële samenwerking; ondersteuning van Europese netwerken die tot doel hebben het EU-strafrecht te bevorderen; de verdere ontwikkeling van grensoverschrijdende opleiding voor vaklieden; en een versterking van het wederzijdse vertrouwen om de rechten van slachtoffers en verdachten te beschermen ⁴⁹ .

Hoewel de verwachte effecten zeker ambitieus en uitdagend waren, hebben de JPEN-middelen bijgedragen, wat weliswaar moeilijk te meten is, tot de bredere EU-doelstelling van de totstandbrenging van een Europese rechtsruimte door toevoeging van een hiervoor bestemde financieringsstroom die complementair was met tal van andere middelen (bv. wetgeving, beleid, EU-agentschappen). Het programma heeft de Commissie ook geholpen verschillende EU-doelstellingen te realiseren die deel uitmaken van de Europese rechtsruimte ⁵⁰ . Uit de analyse van de afgeronde projecten waarover informatie werd verstrekt, blijkt dat voor 73 % van de afgeronde ⁵¹ actiesubsidies en exploitatiesubsidies bereikte uitkomsten en effecten kunnen worden aangetoond, terwijl dit voor slechts 16 % niet kon worden aangetoond ⁵² .

Hoewel het in het kader van de evaluatie verzamelde bewijsmateriaal misschien niet voldoende is om eenduidig te kunnen concluderen dat de aan het programma bestede middelen zich redelijkerwijs verhouden tot de behaalde uitkomsten en effecten ⁵³ , suggereren de geïdentificeerde uitkomsten en effecten zeker dat de uitgaven, in het licht van de verwezenlijkingen van het project, aanvaardbaar waren, zoals reeds besproken gemeld in het kader van het criterium „doeltreffendheid” ⁵⁴ .

2.5.3Adequate verdeling van middelen onder de verschillende financiële instrumenten

Volgens de jaarlijkse werkprogramma's bedroegen de totale begrotingsmiddelen voor de uitvoering van JPEN voor de periode 2007-2013 196 miljoen EUR, met een gemiddelde van 28 miljoen EUR per jaar. Het grootste deel van de financiering werd besteed aan actiesubsidies (115 miljoen EUR, of 58 % van het totale programmabudget), gevolgd door exploitatiesubsidies (50 miljoen EUR, of 25 %). Initieel werd aan overheidsopdrachten 32 miljoen EUR toegewezen, of 16 % van het totaal. Wat betreft de bedragen die in de oproepen tot het indienen van voorstellen werden toegewezen, werd echter een bedrag van 123 miljoen EUR toegewezen aan actiesubsidies, dat is ongeveer 8 miljoen EUR meer dan wat aanvankelijk was gepland in de jaarlijkse werkprogramma's (zie Tabel 1 1 ⁵⁵ .

Het relatief lage aantal aanvragen per oproep en het hoge slagingspercentage ervan, met name voor de eerste oproepen voor het verkrijgen van actiesubsidie (67 % voor actiesubsidies in 2007, 87 % voor actiesubsidies in 2007 inzake strafregisters, 48 % voor actiesubsidies in 2008 en 77 % voor actiesubsidies 2008 inzake strafregisters) wijst opnieuw op de betrekkelijk lage initiële zichtbaarheid van het programma en de eventuele moeilijkheden om belanghebbenden ertoe aan te zetten aanvragen in te dienen (zie Figuur 2 5 ).

Figuur 25 Het aandeel geselecteerde subsidies in vergelijking met het totale aantal aanvragen per oproep

Wat de opnamegraad van actiesubsidies en exploitatiesubsidies betreft (dat wil zeggen betalingen als onderdeel van vastleggingen), blijkt dat de totale toegekende budgetten iets hoger waren dan wat de subsidiebegunstigde met succes kon opnemen en verwezenlijken. De gemiddelde opnamegraad voor actiesubsidies was 76 % en voor exploitatiesubsidies 80 %. Er waren voor exploitatiesubsidies na verloop van tijd ook enkele verbeteringen te merken, met minder onderbesteding tot gevolg. Wat aanbestedingen betreft, bleek uit de verzamelde gegevens dat van de oorspronkelijk toegewezen 32 miljoen EUR 21 miljoen EUR werd vastgelegd. Dit betekent dat de beschikbaar gestelde middelen over het algemeen voldoende waren ⁵⁶ .

Gezien de specifieke betrokken groepen belanghebbenden, bestaat bovendien het risico dat zij hun „volledige opnamecapaciteit” voor dit type financiering bereiken. Hieraan liggen twee redenen ten grondslag:

• het betrekkelijk „beperkte” aantal belanghebbenden (in tegenstelling tot programma's als Daphne III, waarvoor er een veel hogere vraag was vanwege de veel grotere verscheidenheid en grotere aantallen betrokken belanghebbenden);

• voor velen is de uitvoering van de subsidie iets dat naast hun dagelijkse activiteiten wordt gedaan.

2.5.4Beheer door de Commissie en mogelijke vereenvoudiging

Uit de resultaten van de online-enquête blijkt dat de voorwaarden waaraan aanvragers moesten voldoen om toegang te krijgen tot JPEN-financiering over het algemeen passend werden geacht, zoals aangegeven in Figuur 2 6 hieronder.

Figuur 26 Reacties op de online-enquête betreffende de manier waarop de steun van de Commissie tijdens de aanvraagprocedure werd ervaren

Bron: Enquête voor de ex-postevaluatie van de vijf programma's van DG Justitie 2007-2013. Vraag 36: Met betrekking tot het beheer door de Commissie van de vijf programma's, met inbegrip van de monitoring en evaluatie van uw projectactiviteiten door Commissie, gelieve uw mening te geven over de volgende stelling: [stellingen in de grafiek]

De informatie in de oproepen tot het indienen van voorstellen was gedurende de gehele financieringsperiode duidelijk en verduidelijkte de verschillende elementen met betrekking tot de toepassing. Het document werd echter gaandeweg lijviger, deels als gevolg van de toenemende mate van voorgeschreven nauwkeurigheid in het aanvraagformulier, het aantal aangegeven prioriteiten alsmede de invoering van het IT PRIAMOS-systeem in 2008. De informatie in de oproepen was volgens de meeste respondenten van de online-enquête duidelijk en eenvoudig te begrijpen (dat wil zeggen 87 % van de respondenten antwoordde „helemaal mee eens” en „mee eens” op beide stellingen). Voor de oproep van 2013 was de uniforme leidraad voor aanvragers die betrekking had op de vijf programma's van DG Justitie, ISEC en PROGRESS beschikbaar. De leidraad heeft bijgedragen tot vereenvoudiging en efficiëntie voor aanvragers die voorstellen indienden voor verschillende projecten ⁵⁷ .

Op het aanvraagformulier dat gedurende de looptijd van het programma werd gebruikt, diende de aanvrager een beschrijving te geven van de algemene projectgegevens, uitvoering, financieel beheer, resultaten, beoordeling en verspreiding.

Daarnaast moesten de aanvragers formulieren invullen over de raming van het budget, een analyse van de personeelskosten verrichten en een partnerschapsverklaring indienen. Vanaf 2010 werden aanvragers ook verzocht om indicatoren te verstrekken ter beoordeling van de resultaten, bewijsmateriaal te verstrekken van eerdere ervaring met het programma en meer informatie te geven over de partners en de werkstromen.

Hiermee werd het kwaliteitspotentieel van de projecten verhoogd en werden de aanvragers aangespoord om een strikter plan en een striktere kostenraming voor al hun activiteiten uit te werken.

De overgrote meerderheid van de respondenten kon goed omgaan met de aanvraagprocedure (dat wil zeggen met het indienen van de aanvraag en met betrekking tot de informatie in de oproepen). Wanneer aan respondenten werd gevraagd of zij hulp nodig hadden van personen met specifieke expertise inzake en kennis van de procedures, was slechts 45 % het hier helemaal of gedeeltelijk mee eens. 35 % van de respondenten was op de hoogte van het bestaan van organisaties/projecten/vaklieden die niet zijn ingegaan op de oproepen tot het indienen van voorstellen vanwege de complexe/moeilijk eisen, tegenover slechts 21 % die zei dat ze niet op de hoogte waren van het bestaan van dergelijke organisaties/projecten/vaklieden. Over het algemeen werden de rapportagevereisten (zowel voor de financiële aspecten als de niet-financiële aspecten van de projecten) door de overgrote meerderheid van de respondenten (81 van de 95, of 85 %) gepast bevonden ⁵⁸ .

De regelingen voor monitoring van de Commissie werden door ongeveer 79 % van de respondenten op de online-enquête op zijn minst gedeeltelijk goed en nuttig geacht tijdens de uitvoering van het project/de activiteiten (71 van de 90 of 79 %,) terwijl 21 procent niet helemaal tevreden was (redenen hiervoor zijn dat het financiële reglement zeer complex is, zodat de financiële rapportage ingewikkeld wordt voor begunstigden; het monitoringproces is te bureaucratisch; het personeel van de Commissie gaf gedurende het project soms verschillende antwoorden). De verplichting om een voortgangsverslag in te dienen werd ingevoerd in de oproepen van 2011-2012. Dit maakte de rapportage efficiënter. Het opstellen van het eindverslag was een vrij eenvoudige oefening, bestaande uit een uiteenzetting van de projectresultaten, met inbegrip van de ondervonden problemen en de gebruikte methoden ⁵⁹ .

Over het algemeen werd het beheer door de Commissie na verloop van tijd efficiënter dankzij de invoering van een enkele eenheid die belast was met het beheer van de programma's; de publicatie van een handboek voor ambtenaren van de Commissie; en indirect door de verspreiding van een gids voor projectbeheer bij de oproep van 2011.

Over het algemeen werd de samenwerking met de Commissie door subsidiebegunstigden als positief ervaren. De vereisten inzake subsidieaanvragen volgden een soortgelijke procedure als andere door de Commissie centraal beheerde programma's en vereiste vanaf de oproep van 2010 meer gedetailleerde informatie, wat de kwaliteit van de aanvragen en de projecten ten goede kwam. De wijzigingen in rapportage zorgden ook voor een evenwichtiger aanpak tussen financiële verantwoording enerzijds en evaluatie/beoordeling van feitelijke resultaten en mogelijke effecten van de projecten anderzijds ⁶⁰ .

2.6EUROPESE MEERWAARDE

Meerwaarde voor de EU hangt af van de mate waarin het EU-karakter van het programma waardevol is voor haar belanghebbenden en de mate waarin de EU een comparatief voordeel heeft ten opzichte van nationale en internationale betrokken partijen die werkzaam zijn in het gebied. Eerst wordt het EU-karakter van het programma en de geografische dekking ervan besproken. Dit is een uitgangspunt voor het vaststellen van EU-meerwaarde. Daarna wordt de EU-meerwaarde onderzocht in termen van de outputs die waarde voor de EU en voor begunstigden hebben opgeleverd. Het is echter nog niet mogelijk geweest de effecten van EU-meerwaarde vast te stellen en te meten.

JPEN heeft een sterke transnationale dimensie. Dit blijkt uit de doelstellingen van het programma en de soorten subsidiabel geachte acties, zoals wordt benadrukt in het besluit van de Raad van 2007. Artikel 4 van het besluit stelt dat JPEN „specifieke transnationale projecten van communautair belang [ondersteunt] die door ten minste twee lidstaten of ten minste één lidstaat en een andere staat die een toetredende staat of kandidaat-lidstaat kan zijn, worden ingediend”. JPEN bestreek ook een groot aantal EU-platforms. Subsidiabele acties omvatten ook nationale projecten.

2.6.1Geografische spreiding en betrokkenheid van de lidstaten

Alle lidstaten hebben deelgenomen aan JPEN. Over het algemeen was er een relatief goede geografische dekking van activiteiten in de hele EU. Sommige lidstaten ontvingen een groter aantal subsidies en namen deel aan een groter aantal gefinancierde partnerschappen dan andere.

Figuur 2 7 hieronder toont de geografische ligging van organisaties die hebben deelgenomen aan JPEN-projecten, per lidstaat. Leidinggevende organisaties concentreerden zich in vier lidstaten: Italië, België, het Verenigd Koninkrijk en Duitsland. Deze lidstaten gaven samen leiding aan 48 % (161) van alle projecten. Veel EU-netwerken/platforms zijn geregistreerd in België. Er werden geen projecten geleid door in Kroatië gevestigde organisaties. Met betrekking tot de partnerorganisaties is de deelname van de lidstaten beter gespreid: van alle lidstaten namen er 15 deel, waarbij het gaat om meer dan 25 partnerorganisaties.

Figuur 27 Totaal aantal organisaties per lidstaat die hebben deelgenomen aan JPEN, met inbegrip van leidinggevend organisaties (links) en partnerorganisaties (rechts)

Hoewel leidinggevende organisaties over het algemeen meer partnerschappen aangingen met organisaties uit het eigen land dan met organisaties van andere EU-lidstaten ⁶¹ , werden als gevolg van het programma tot 826 transnationale partnerschappen gevormd ⁶² . Het gemiddelde aantal transnationale partnerschappen per lidstaat was iets minder dan 32, met organisaties die gevestigd waren in België, Duitsland, Italië, Spanje en het Verenigd Koninkrijk, die elk partnerschappen vormden met meer dan 100 organisaties uit andere EU-lidstaten.

Wat de partnerschapsstructuur betreft, hebben organisaties uit Duitsland, Spanje, het Verenigd Koninkrijk, België en Italië de lidstaten in het hoogste aantal partnerschappen gevormd met organisaties uit verschillende lidstaten, waarbij organisaties uit deze landen elk een partnerschap vormden met collega-organisaties uit 21-26 verschillende EU-landen ⁶³ .

Figuur 2 8 hieronder toont de partnerschapsstructuur voor projecten onder leiding van Duitsland, Italië en het Verenigd Koninkrijk, aangezien dit de drie lidstaten waren met het hoogste aantal leidinggevende organisaties. Duitse organisaties vormden partnerschappen met 26 verschillende EU-lidstaten (andere dan Duitsland), terwijl organisaties uit het Verenigd Koninkrijk partnerschappen vormden met 23 andere lidstaten en organisaties uit Italië met 21 lidstaten.

Figuur 28 Partnerschapsstructuur voor de drie lidstaten met het hoogste aantal leidinggevende organisaties

2.6.2Meerwaarde voor de EU en voor subsidiebegunstigden

De EU-meerwaarde van het programma voor subsidiebegunstigden lag in het feit dat zij toegang hadden tot financiële steun voor de uitvoering van hun verplichtingen krachtens de EU-wetgeving, bijvoorbeeld door middel van opleiding, instrumenten en onderzoek om vast te stellen hoe belemmeringen voor de tenuitvoerlegging van EU-wetgeving konden worden beperkt, maar ook om de nodige kennis op te doen over goede praktijken die hun begunstigden ter plaatse kunnen helpen. Het programma maakte ook justitiële samenwerking gemakkelijker, wat voordelen oplevert voor die nationale overheden en leden van de rechterlijke macht die bezig zijn met transnationale zaken of zaken die betrekking hebben op EU-strafwetgeving. Het programma ondersteunde ook wederzijds leren tussen de lidstaten ⁶⁴ .

Figuur 2 9 toont de resultaten van de online-enquête wat betreft de meningen van subsidiebegunstigden over de voordelen van transnationale partnerschappen in JPEN.

Figuur 29 Aspecten die het transnationale partnerschap hebben ingebracht in de organisaties die JPEN-projecten hebben uitgevoerd

Bron: Enquête voor de ex-postevaluatie van de vijf programma's van DG Justitie 2007-2013. N=59. Vraag 29c: Wat heeft het transnationale partnerschap ingebracht in uw organisatie? (selecteer alle opties die van toepassing zijn)

De transnationale dimensie van JPEN was in zekere mate ook afhankelijk van de goede werkverhoudingen binnen de partnerschappen. Uit de raadpleging is gebleken dat partners over het algemeen tevreden waren over de partnerschappen die in het kader van JPEN-projecten waren gevormd. De respondenten waren met name tevreden over de taakverdeling tussen partners, het aantal organisaties dat betrokken was bij de uitvoering van projecten, de uitwisseling van opgedane kennis en ervaring evenals de algemene communicatie. Meer dan de helft van de respondenten (62 %) gaf aan dat het bevorderlijk zou zijn geweest om meer organisaties uit andere lidstaten te betrekken – dit had de positieve effecten kunnen versterken.

Van de 282 actiesubsidies waren er 40 nationaal. Hiervan waren er 33 gericht op het opzetten van strafregistersystemen die verenigbaar waren met Ecris. Drie projecten waren gericht op innovatieve manieren van omgaan met EU-kwesties (dat wil zeggen een permanente ondersteuningsstructuur voor rechters die zaken behandelen betreffende Europese aanhoudingsbevelen, nieuwe methoden voor het interpreteren van EU-veroordelingen en misdrijven en een systeem inzake zelfmoordpreventie voor gevangenissen) en er werden vier studies uitgevoerd die de toepassing van EU-wetgeving of -opleiding in kaart brachten. De outputs waren verspreid over de gehele EU en waren voor de EU duidelijk waardevol ⁶⁵ .

⁶⁶ Tot slot kan ervan worden uitgegaan dat een groot deel van de activiteiten die werden ontwikkeld in het kader van JPEN niet ontwikkeld zouden zijn geweest als het programma niet bestond, omdat het programma een vraag naar nieuwe activiteiten creëerde. De betrokken organisaties konden moeilijk nationale financiering vinden om hun activiteiten te kunnen handhaven, vooral na de recente financiële en economische crisis of om andere projecten op te zetten op het gebied van justitie. De meeste projecten/activiteiten ontvingen geen verdere financiering van andere instrumenten. Bovendien verklaarde 77 % van de respondenten van de online-enquête dat het project/de activiteiten zonder EU-financiering niet zou(den) zijn uitgevoerd; slechts zes personen (6 %) gaf aan dat het project ongeacht de EU-financiering zou worden uitgevoerd.

3CONCLUSIES

Relevantie van het programma ⁶⁷

• De specifieke doelstellingen en prioriteiten van het programma werden grotendeels specifiek, haalbaar en realistisch, maar ze waren niet altijd meetbaar of tijdgebonden.

• Omdat bij de prioritaire werkterreinen in de oproepen tot het indienen van voorstellen een beschrijving werd gegeven van de verwachte inhoud van de projecten, zorgde dit ervoor dat ze specifieker waren en heeft dit subsidieaanvragers ervoor helpen zorgen dat hun projecten relevant waren voor Europese doelstellingen. Bovendien, omdat bij de prioritaire werkterreinen zo nauw aansloten op de doelstellingen van het programma en de beleidsdoelstellingen van de EU, was het voor de geselecteerde acties makkelijk om zich te richten op deze doelstellingen.

• Diensten die door middel van JPEN-financiering werden geleverd, waren ook relevant voor het programma en bredere EU-doelstellingen, omdat zij voornamelijk gericht waren op de ontwikkeling van e-justitie-instrumenten (met name het e-justitieportaal en de modules ervan) of op onderzoek ter ondersteuning van de totstandbrenging van wetgeving en beleid.

• Uit een analyse van de aanvraagformulieren voor subsidies en informatie die werd verzameld via overleg met de begunstigden blijkt dat veel begunstigden hun projecten niet hadden ontwikkeld op basis van een behoefteanalyse of in het aanvraagformulier onvoldoende konden aantonen dat een behoefteanalyse was uitgevoerd. Hierdoor ontstaat de kans dat er meer relevante of bruikbare benaderingen voor het bereiken van de projectdoelstellingen beschikbaar waren.

• Desondanks blijkt uit de rapportage door begunstigden van subsidies dat eindbegunstigden positief reageerden op de projecten en aangaven dat zij de acties relevant achtten. Het is echter onmogelijk om dit te bevestigen zonder de onafhankelijke standpunten van eindbegunstigden te verzamelen.

Coherentie en complementariteit

• Complementariteit van JPEN met andere EU-programma's en -interventies werd bijna volledig verwezenlijkt, hoewel voor enkele projecten het risico bestond van overlapping met de activiteiten van andere EU-interventies.

• Complementariteit werd verwezenlijkt door middel van mechanismen die de Commissie had ingesteld tijdens de ontwerpfase van het programma en tijdens de ontwerpfase van de oproepen tot het indienen van voorstellen.

• Bij de selectieprocedure van projecten en bij de monitorings- en rapportagefase van het programma, heeft de Commissie geen mechanismen toegepast ter verbetering van de complementariteit, behalve het delen van middelen (dat wil zeggen het e-justitieportaal) met het programma Civiel recht (JCIV).

Doeltreffendheid

• Over het algemeen waren de uitgevoerde acties gericht op de doelstellingen van het programma, met name de specifieke doelstellingen inzake de opleiding van magistraten en justitiële samenwerking.

• Projecten waarbij beleidsmakers betrokken werden via raadpleging tijdens de ontwerpfase, informatiebijeenkomsten, vergaderingen of door ze te betrekken bij het bestuur van het project, hebben bijgedragen tot de verwezenlijking van de bedoelde uitkomst van het programma, namelijk dat beleidsmakers op basis van outputs van het project zorgen voor de totstandkoming van nieuw beleid of nieuwe wetgeving of een aanpassing ervan.

• Het is moeilijk te beoordelen in hoeverre projectresultaten werden bereikt (in vergelijking met geplande outputs). Dit is te wijten aan het feit dat subsidieaanvragers pas tegen het einde van het programma meetbare doelstelling voor hun outputs dienden te identificeren en eindverslagen van deze projecten nog niet beschikbaar zijn.

• Uit de zelfrapportage van de subsidiebegunstigden (in eindverslagen en via overleg dat voor deze evaluatie werd gehouden), blijkt echter dat de meeste projecten (ongeveer 70 %) doeltreffend waren in het bereiken van hun beoogde output, maar dat bijna een derde niet zo doeltreffend was, omdat ze niet al hun doelstellingen hadden bereikt.

Duurzaamheid

• In het algemeen zijn de inspanningen van de Commissie om de projectresultaten te verspreiden beperkt gebleven, behalve met betrekking tot opleidingsmaterialen, waarvan er sommige werden gepubliceerd op het e-justitieportaal. De Commissie vertrouwde voor de rechtstreeks verspreiding van de outputs naar de doelgroepen meestal op de begunstigden, terwijl de eigen menselijke middelen voor het merendeel bestemd waren voor het financiële beheer.

• Het is moeilijk de doeltreffendheid van de verspreidingsactiviteiten van subsidiebegunstigden volledig te beoordelen zonder te overleggen met de doelgroepen: informatie in de eindverslagen over het aantal bereikte gebruikers en doelgroepen is niet volledig, omdat de rapportage van dergelijke informatie uit hoofde van het programma niet verplicht was. Het feit dat activiteiten doeltreffend waren in het trekken van de aandacht van beleidsmakers en het intensiveren van contacten tussen autoriteiten in de verschillende lidstaten wijst er toch op dat verspreiding op zijn minst een zekere doeltreffendheid had.

• Van de 219 in kaart gebrachte actiesubsidies en exploitatiesubsidies waarvoor eindverslagen beschikbaar waren, hebben er 121 (55 %) enig bewijsmateriaal verstrekt van duurzaamheid, omdat zij erin waren geslaagd verdere financiering vast te leggen, omdat sommige activiteiten werden voortgezet, omdat het partnerschap (gedeeltelijk of volledig) werd voortgezet of omdat de outputs en de resultaten van het project gebruikt bleven worden.

• Het aantal projecten (32 %) dat verdere financiering identificeerde om door te kunnen gaan met het project (volgens de eindverslagen) wordt als bijzonder positief gezien. Dit is echter niet verwonderlijk gezien het feit dat de verwezenlijkte outputs als gevolg van JPEN-projecten vaak gericht waren op nationale instanties en openbare diensten, die goed geplaatst zijn om vervolgfinanciering te identificeren voor nuttige outputs.

Rendement

• De financiering die ter beschikking werd gesteld voor het JPEN-programma was voldoende en had eventueel minder kunnen zijn voor zowel actiesubsidies als exploitatiesubsidies, gezien het feit dat het een „nieuw” programma was dat gericht was op een „nieuw” en relatief onervaren groep belanghebbenden. Vastleggingen waren systematisch lager dan de initiële toewijzingen, maar er werden enkele verbeteringen vastgesteld.

• Op basis van de beschikbare informatie over de financiering blijkt dat er voldoende geld beschikbaar was voor subsidies om hun doelstellingen te realiseren.

• Met betrekking tot mogelijke vereenvoudiging werd het beheer door de Commissie na verloop van tijd efficiënter en de samenwerking met de Commissie werd door subsidiebegunstigden als positief ervaren.

• De mate van detail die vereist was in het aanvraagformulier is vanaf de oproepen van 2010 toegenomen, wat voordelen heeft opgeleverd, zowel voor de Commissie (in termen van kwaliteit en het nut van de verslagen) als voor de aanvragers (zodat zij voor hun activiteiten een nauwkeurigere planning en raming konden uitvoeren). Deze toegenomen mate van detail omvatte onder meer de invoering van werkstromen. De rapportagevereisten (zowel voor de financiële als de niet-financiële aspecten van de projecten) werden door de overgrote meerderheid van de respondenten (85 %) gepast bevonden. De regelingen voor monitoring van de Commissie werden door ongeveer 79 % van de respondenten op de online-enquête op zijn minst gedeeltelijk goed en nuttig geacht tijdens de uitvoering van het project/de activiteiten.

Meerwaarde van de EU

• Het EU-karakter van JPEN was aanwezig door middel van een sterke transnationale dimensie waarbij alle EU-lidstaten betrokken werden.

• De transnationale partnerschappen hebben ook bijgedragen tot de verwezenlijking van de doelstellingen van het programma, bv. verbeteren van grensoverschrijdende samenwerking en bijdragen aan de uitwerking en de verspreiding van goede praktijken, en, in mindere mate, aan een grotere kennis over relevant EU-beleid en relevante EU-wetgeving.

• De EU-meerwaarde van het programma voor subsidiebegunstigden lag in het feit dat zij toegang hadden tot financiële steun voor de uitvoering van hun verplichtingen krachtens de EU-wetgeving. Het was wenselijk dat de EU de tenuitvoerlegging van deze verplichtingen – en de verwezenlijking van de EU-doelstellingen – stimuleerde en gemakkelijker maakte via dit fonds.

Belangrijkste aanbevelingen

• De prioriteiten beter definiëren: de Commissie moet meer tijd en personeel investeren in prioriteitsbepaling, zodat de prioriteiten naar behoren kunnen worden verwezenlijkt binnen de voorziene begroting.

• Realistische beoordeling van projectrisico's en betere risicobeperkende strategieën: de Commissie moet tijdens de gehele duur van het project beter toezicht houden op de risico's, bijvoorbeeld door te vragen naar korte voortgangsverslagen waarin de potentiële risico's worden geïdentificeerd naargelang zij zich voordoen tijdens de uitvoering van het project.

• Wat betreft toezicht en evaluatie meer nadruk leggen op de beoordeling van de effecten op alle niveaus en niet alleen op outputs. Dit gaat samen met de noodzaak om objectieve en onafhankelijke bewijsmaterialen te verzamelen, te analyseren en te gebruiken voor de beoordelingen van het programma en het project. Meer nadruk leggen op de behoefteanalyse waaraan het project tegemoet wenst te komen.

• Zoeken naar manieren om de overname van outputs, resultaten en beste praktijken van projecten door andere organisaties te vergroten, ook in andere lidstaten, met inbegrip van extra middelen voor vertalingen, communicatie en verspreiding.

• Aanscherpen van de interventielogica van het programma; in het verlengde van het toepassingsgebied van het programma en de algemene en specifieke doelstellingen en prioriteiten, de soorten acties en financieringsvormen en uitvoeringsmaatregelen, zorgt de Commissie ervoor dat de interventielogica wordt aangescherpt ⁶⁸ en de relaties tussen de beweegredenen, de doelstellingen, inputs, outputs, begunstigden, verwachte uitkomsten en effecten helder, precies en concreet zijn bij de toekomstige voortzetting van het programma.

(1)

Artikel 16, lid 3, onder d), Besluit nr. 2007/126/JBZ van de Raad van 12 februari 2007 tot vaststelling van het specifieke programma „Strafrecht” voor de periode 2007-2013, als onderdeel van het algemene programma „Grondrechten en justitie”. http://eur-lex.europa.eu/legal-content/NL/TXT/HTML/?uri=CELEX:32007D0126&from=NL

(2)

Het ex-postevaluatieverslag van de externe beoordelaar is te vinden op: Verslag (in het Engels): http://ec.europa.eu/justice/grants1/files/expost_evaluations_2007_2013/jpen_programme_evaluation_final_report.pdf , Bijlagen: http://ec.europa.eu/justice/grants1/files/expost_evaluations_2007_2013/jpen_annex_1_quantitative_analysis.pdf , http://ec.europa.eu/justice/grants1/files/expost_evaluations_2007_2013/jpen_annex_2.pdf

Het tussentijdse evaluatieverslag van de externe beoordelaar is te vinden op: http://ec.europa.eu/justice/funding/jpen/interim_evaluation_report_2011_en.pdf

(3)

Artikel 7, Besluit nr. 2007/126/JBZ van de Raad van 12 februari 2007 tot vaststelling van het specifieke programma „Strafrecht” voor de periode 2007-2013, als onderdeel van het algemene programma „Grondrechten en justitie”, http://eur-lex.europa.eu/legal-content/NL/TXT/HTML/?uri=CELEX:32007D0126&from=NL

(4)

Artikel 6, Besluit nr. 2007/126/JBZ van de Raad van 12 februari 2007 tot vaststelling van het specifieke programma „Strafrecht” voor de periode 2007-2013, als onderdeel van het algemene programma „Grondrechten en justitie”, http://eur-lex.europa.eu/legal-content/NL/TXT/HTML/?uri=CELEX:32007D0126&from=NL

(5)

Volgens artikel 13 van het Besluit nr. 2007/126/JBZ van de Raad van 12 februari 2007 tot vaststelling van het specifieke programma „Strafrecht” voor de periode 2007-2013, als onderdeel van het algemene programma „Grondrechten en justitie”, het specifieke programma „Strafrecht”, worden „de begrotingsmiddelen die worden toegewezen voor de acties waarin dit programma voorziet, [...] jaarlijks opgevoerd in de algemene begroting van de Europese Unie. De beschikbare jaarlijkse kredieten worden door de begrotingsautoriteit toegekend binnen de grenzen van het financiële kader.”

(6)

De toegewezen exploitatiesubsidies omvatten ook middelen die werden toegewezen aan monopolies en kaderpartnerschapsovereenkomsten.

(7)

Ex-postevaluatie van vijf programma's die werden uitgevoerd in het kader van de financiële vooruitzichten van 2007-2013. Evaluatie van het specifieke programma: Programma „Strafrecht” (JPEN), ICF, 28 juli 2015, blz. 2 http://ec.europa.eu/justice/grants1/files/expost_evaluations_2007_2013/jpen_program_evaluation_final_report.pdf

(8)

Ibid., blz. 4

(9)

Ibid., blz. 4.

(10)

Ibid., blz. 5.

(11)

Ibid., blz. 7.

(12)

Bijvoorbeeld, een project voor een „adviescommissie van juridische deskundigen” besprak belemmeringen voor justitiële samenwerking/wederzijds vertrouwen in de EU en droeg methoden aan om deze te bevorderen.

(13)

Ex-postevaluatie van vijf programma's die werden uitgevoerd in het kader van de financiële vooruitzichten van 2007-2013. Evaluatie van het specifieke programma: Programma „Strafrecht” (JPEN), ICF, 28 juli 2015, blz. 9 http://ec.europa.eu/justice/grants1/files/expost_evaluations_2007_2013/jpen_program_evaluation_final_report.pdf

(14)

Ibid., blz. 11.

(15)

Ibid. blz. 10-11.

(16)

Ibid., blz. 11.

(17)

Ibid.

(18)

Ibid.

(19)

Ibid., blz. 5.

(20)

Ibid., blz. 13-14.

(21)

Ibid., blz. 14.

(22)

Ibid., blz. 16.

(23)

Ibid., blz. 20.

(24)

26 respondenten van de enquête (of 27 % van alle respondenten) verklaarden dat er geen synergieën werden gecreëerd en 11 antwoordden „weet ik het niet”. Er is een klein methodologisch probleem met deze gegevens: niet alle respondenten hadden de mogelijkheid om „nee” of „ik weet het niet” te antwoorden, omdat deze twee categorieën pas werden toegevoegd toen de enquête reeds lopende was. In totaal beschikten 17 van de respondenten in dit verslag niet over deze optie en bijgevolg hadden 17 van de 33 die niet op deze vraag hebben geantwoord, misschien „nee” of „ik weet het niet” geantwoord indien zij deze mogelijkheid hadden gekregen.

(25)

Ex-postevaluatie van vijf programma's die werden uitgevoerd in het kader van de financiële vooruitzichten van 2007-2013. Evaluatie van het specifieke programma: Programma „Strafrecht” (JPEN), ICF, 28 juli 2015, blz. 21 http://ec.europa.eu/justice/grants1/files/expost_evaluations_2007_2013/jpen_program_evaluation_final_report.pdf

(26)

Ibid., blz. 22.

(27)

Ibid., blz. 45.

(28)

Ibid., blz. 26.

(29)

Ibid., blz. 27.

(30)

Ibid. blz. 27-28.

(31)

Zie de mededeling van 2011 over het opbouwen van vertrouwen in justitie in de hele EU: een nieuwe dimensie in de Europese justitiële opleiding http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=COM:2011:0551:FIN:NL:PDF .

(32)

Ex-postevaluatie van vijf programma's die werden uitgevoerd in het kader van de financiële vooruitzichten van 2007-2013. Evaluatie van het specifieke programma: Programma „Strafrecht” (JPEN), ICF, 28 juli 2015, blz. 28 http://ec.europa.eu/justice/grants1/files/expost_evaluations_2007_2013/jpen_program_evaluation_final_report.pdf

(33)

Alle lidstaten, met uitzondering van België, Cyprus, Denemarken, Hongarije, Malta, Zweden en Slowakije.

(34)

Ex-postevaluatie van vijf programma's die werden uitgevoerd in het kader van de financiële vooruitzichten van 2007-2013. Evaluatie van het specifieke programma: Programma „Strafrecht” (JPEN), ICF, 28 juli 2015, blz. 27 http://ec.europa.eu/justice/grants1/files/expost_evaluations_2007_2013/jpen_program_evaluation_final_report.pdf

(35)

Ibid., blz. 28.

(36)

COM(2011) 551 definitief „Opbouwen van vertrouwen in justitie in de hele EU: een nieuwe dimensie in de Europese justitiële opleiding”: http://eur-lex.europa.eu/LexUriServ/LexUriServ.do?uri=COM:2011:0551:FIN:NL:PDF.

(37)

Ex-postevaluatie van vijf programma's die werden uitgevoerd in het kader van de financiële vooruitzichten van 2007-2013. Evaluatie van het specifieke programma: Programma „Strafrecht” (JPEN), ICF, 28 juli 2015, blz. 28 http://ec.europa.eu/justice/grants1/files/expost_evaluations_2007_2013/jpen_program_evaluation_final_report.pdf

(38)

Ibid., blz. 31.

(39)

Ibid., blz. 36.

(40)

Ibid.

(41)

Het project ondersteunt taalopleidingen voor beoefenaars van juridische beroepen.

(42)

Ex-postevaluatie van vijf programma's die werden uitgevoerd in het kader van de financiële vooruitzichten van 2007-2013. Evaluatie van het specifieke programma: Programma „Strafrecht” (JPEN), ICF, 28 juli 2015, blz. 33-34 http://ec.europa.eu/justice/grants1/files/expost_evaluations_2007_2013/jpen_program_evaluation_final_report.pdf

(43)

Ibid., blz. 34.

(44)

Ibid., blz. 35.

(45)

Ibid., blz. 36.

(46)

Ibid., blz. 37.

(47)

Dit cijfer houdt geen rekening met de dubbeltelling van organisaties die meer dan één subsidie ontvingen.

(48)

Ex-postevaluatie van vijf programma's die werden uitgevoerd in het kader van de financiële vooruitzichten van 2007-2013. Evaluatie van het specifieke programma: Programma „Strafrecht” (JPEN), ICF, 28 juli 2015, blz. 45 http://ec.europa.eu/justice/grants1/files/expost_evaluations_2007_2013/jpen_program_evaluation_final_report.pdf

(49)

Ibid., blz. 45.

(50)

Ibid.

(51)

In totaal worden 210 actiesubsidies en 50 exploitatiesubsidies als bijna of volledig afgerond beschouwd.

(52)

Wat de overige projecten betreft, kon dit niet duidelijk worden aangetoond of was er geen informatie beschikbaar.

(53)

Ook gezien het feit dat ongeveer één derde van de gefinancierde acties nog moesten worden afgerond en dat het vergt tijd om bepaalde uitkomsten en effecten te realiseren.

(54)

Ex-postevaluatie van vijf programma's die werden uitgevoerd in het kader van de financiële vooruitzichten van 2007-2013. Evaluatie van het specifieke programma: Programma „Strafrecht” (JPEN), ICF, 28 juli 2015, blz. 45 http://ec.europa.eu/justice/grants1/files/expost_evaluations_2007_2013/jpen_program_evaluation_final_report.pdf

(55)

Ibid., blz. 40.

(56)

Ex-postevaluatie van vijf programma's die werden uitgevoerd in het kader van de financiële vooruitzichten van 2007-2013. Evaluatie van het specifieke programma: Programma „Strafrecht” (JPEN), ICF, 28 juli 2015, blz. 42 http://ec.europa.eu/justice/grants1/files/expost_evaluations_2007_2013/jpen_program_evaluation_final_report.pdf

(57)

Ibid., blz. 49.

(58)

Ibid.

(59)

Ibid., blz. 39.

(60)

Ibid.

(61)

Dit is vooral merkbaar voor Italië. Zo werkten Italiaanse leidinggevende organisaties samen met 28 Italiaanse partners, 21 Spaanse partners en 13 Franse partners. Britse leidinggevende organisaties werkten samen met 14 Nederlandse partners, 13 Britse partners en 12 Spaanse partners. Duitse leidinggevende organisaties werkten samen met 12 Duitse partners, 11 Spaanse partners en 9 Oostenrijkse partners.

(62)

Gebaseerd op een berekening van het aantal partners uit andere EU-lidstaten waarmee elke leidinggevende organisatie een partnerschap vormde. Dit getal is waarschijnlijk erg hoog omdat geen rekening werd gehouden met partnerschappen met dezelfde organisaties die voor meer dan één project werden gebruikt.

(63)

Ex-postevaluatie van vijf programma's die werden uitgevoerd in het kader van de financiële vooruitzichten van 2007-2013. Evaluatie van het specifieke programma: Programma „Strafrecht” (JPEN), ICF, 28 juli 2015, blz. 54 http://ec.europa.eu/justice/grants1/files/expost_evaluations_2007_2013/jpen_program_evaluation_final_report.pdf

(64)

Ibid., blz. 57.

(65)

Ibid.

(66)

Ibid. blz. 57-58.

(67)

Ibid. blz. 59-61.

(68)

Zie bijvoorbeeld de ex-postevaluatie van vijf programma's die werden uitgevoerd in het kader van de financiële vooruitzichten van 2007-2013. Evaluatie van het specifieke programma: Programma „Strafrecht¨ (JPEN), ICF, 28 juli 2015, blz. 1-2 http://ec.europa.eu/justice/grants1/files/expost_evaluations_2007_2013/jpen_program_evaluation_final_report.pdf