Toelichting bij COM(1998)782 - Herziening halverwege de looptijd - Programma's voor de doelstellingen 1 en 6 (1994-1999) - Een verantwoord beheer dankzij evalutie: de beste aanpak toepassen - Hoofdinhoud

Dit is een beperkte versie

U kijkt naar een beperkte versie van dit dossier in de EU Monitor.

dossier	COM(1998)782 - Herziening halverwege de looptijd - Programma's voor de doelstellingen 1 en 6 (1994-1999) - Een verantwoord beheer dankzij ...
bron	COM(1998)782
datum	07-01-1999

COMMISSIE VAN DE EUROPESE GEMEENSCHAPPEN

Brussel, 07.01.1999 COM( 1998) 782 def.

Inhoudsopgave

VERSLAG VAN DE COMMISSIE
De Technische Evaluatiegroep op EU-niveau, die bestaat uit bij het beheer van de
Beoordeling van de evalueerbaarheid (d.w.z. de uitvoerbaarheid van de evaluatie) - Door het EFRO gesteund OP voor Andalusie (Doelstelling 1)
Bureau voor officiele publikaties der Europese Gemeenschappen L-2985 Luxemburg

1. VERSLAG VAN DE COMMISSIE

OVER DE HERZIENING HALVERWEGE DE LOOPTIJD

PROGRAMMA’S VOOR DE DOELSTELLINGEN 1 EN 6 (1994-1999)

EEN VERANTWOORD BEHEER DANKZIJ

EVALUATIE: DE BESTEAANPAK TOEPASSEN

BEKNOPTE SAMENVATTING

De herziening halverwege de looptijd: de doeltreffendheid verhogen

1. De herziening halverwege de looptijd van de programma’s voor de doelstellingen 1 en 6 is een proces waarvoor de informatie hoofdzakelijk wordt verschaft door de verschillende evaluaties halverwege de looptijd die op programmaniveau worden uitgevoerd. Bij dit proces wordt ook rekening gehouden met andere elementen, waaronder de nationale beleidscontexten, de eigen prioriteiten van de EU en andere relevante strategische analyses. Hoofddoel van de herziening halverwege de looptijd is daarom de programma’s te onderwerpen aan een grondige en systematische beoordeling die voor elk programma waar nodig leidt tot een aanpassing van de prioriteiten en een budgettaire herschikking.

2. Bij de onderhavige herziening halverwege de looptijd kon gebruik worden gemaakt van een groot aantal evaluaties (meer dan 100) en deze herziening werd ook zeer vergemakkelijkt door besprekingen in het kader van het partnerschap met de nationale autoriteiten.

3. De herziening halverwege de looptijd betrof nagenoeg alle CB’s en GPD’s voor de doelstellingen 1 en 6. De omvang van de wijzigingen waartoe dit proces heeft geleid, verschilde van lidstaat tot lidstaat. In het algemeen gesproken heeft deze herziening een effectievere inzet van de middelen mogelijk gemaakt en steun opgeleverd voor specifieke strategische prioriteiten.

Evaluatie halverwege de looptijd heeft nuttige informatie opgeleverd voor de

aanpassing van de programmering

4. De evaluaties halverwege de looptijd zijn geen doel op zichzelf, maar vormen een middel om de kwaliteit en relevantie van de programmering te verbeteren. Er zijn aanzienlijke personele en financiele middelen mee gemoeid en in sommige gevallen hebben ook binnen het partnerschap voor de programma’s veel voorbereidingen en besprekingen plaatsgevonden.

5. Deze evaluaties zijn niet uitgevoerd alleen maar om te voldoen aan de bestaande communautaire programmeringsvoorschriften. Zij zijn ook ingevoerd wegens het toenemende belang dat de nationale of regionale autoriteiten aan evaluatie hechten. In toenemende mate gaan deze autoriteiten evaluatie zien als een middel om het beheer van de middelen uit de Structuurfondsen te verbeteren en om maximale resultaten te behalen.

6. Evaluatie halverwege de looptijd is een belangrijk middel om de wenselijkheid van bepaald wijzigingen aan de oorspronkelijke doelstellingen van het programma in te schatten. Veranderende exteme factoren kunnen een heroverweging van de strategische prioriteiten noodzakelijk maken en tot een programmering leiden die systematischer en doeltreffender is.

7. Meer “waar voor je geld” en een meer evenwichtige prioriteitenstellling overeenkomstig de veranderende behoeften en omstandigheden zijn enkele van de resultaten van onderhavige evaluatie. Deze moeten trouwens gezien worden als deel van een meer diepgaand “leerproces” dat ook aspecten omvat die wellicht op korte termijn nog niet volledig op hun juiste waarde worden geschat zoals de verdere opbouw van bestaande evaluatiecapaciteit en een verbeterde coordinate tussen nationale en regionale overheden.

Beoordeling van de prestaties is betrekkelijk eenvoudig

8. Uit de evaluaties halverwege de looptijd is gebJeken dat er in vergelijking met eerdere programma’s sprake is van belangrijke ontwikkelingen met betrekking tot het gebruik van kwantitatieve indicatoren als middel om toezicht uit te oefenen op de tenuitvoerlegging van de maatregelen, om het effect ervan te beoordelen en om uit te maken welke vorderingen bij de verwezenlijking van de vastgestelde doelstellingen zijn gemaakt. Hoewel er op het punt van de ontwikkeling van indicatoren nog verschillen zijn, werden voor sommige programma’s elementen van goede werkwijzen geconstateerd die er kunnen op wijzen dat het meten en beoordelen van de prestaties betrekkelijk eenvoudig is en niet noodzakelijk extra werk meebrengt voor het nationale overheidsapparaat.

9. Het gebruik van formele prestatie-indicatoren voor het meten van de vorderingen in relatie tot de voornaamste doelstellingen en prioriteiten van het programma kan nuttiger zijn dan tot nog toe werd onderkend. Dit moet leiden tot een doelmatiger beheer dat aantoonbare verbeteringen kan opleveren wat de daadwerkelijke outputs en resultaten betreft.

10. Ervan uitgaande dat de lidstaten een voorafgaande beoordeling van toekomstige programma’s zullen moeten uitvoeren, wordt erop gewezen dat het van essentieel belang is dat de programmeringsdocumenten gekwantificeerde doelstellingen en indicatoren bevatten die relevant zijn voor de herziening halverwege de looptijd. Dergelijke informatie kan werkelijk nuttig zijn voor het beheer van de programma’s en kan een objectieve basis verschaffen voor het beoordelen van de prestaties. De toewijzing van de reserve voor programma’s op basis van de bij de uitvoering van die programma’s geleverde prestaties (zoals door de Commissie voorgesteld in de ontwerpverordeningen betreffende de Structuurfondsen) zal hiervan afhangen.

11. Wat het operationele kader betreft, zal er bij de toezichtsystemen voor moeten worden gezorgd dat wordt gewerkt met relevante indicatoren waarvoor de metingen weinig tijd vergen en tegen geringe kosten en met gebruikmaking van adequate bestaande informatiebronnen kunnen uitgevoerd worden, en dat deze indicatoren worden onderworpen aan controles door nationale en regionale autoriteiten. Bovendien moeten op doorzichtige wijze realistische streefcijfers worden vastgesteld en moet gedurende de tenuitvoerlegging worden vastgehouden aan'de oorspronkelijke doelstellingen. Deze laatste mogen slechts dan worden afgezwakt als veranderende omstandigheden zulks rechtvaardigen.

Dc herziening halverwege de looptijd is flexibel genoeg geweest otn tc kunnen

reagercn op veranderende behoeften en prioriteiten

12. De huidige aanpak van de herziening halverwege de looptijd blijkt in veel opzichten zowel adequaat als flexibel genoeg te zijn geweest om te kunnen reageren op veranderende omstandigheden en te kunnen inhaken op de noodzaak de lopende bijstandsverlening doeltreffender te maken. Beide doelstellingen konden binnen hetzelfde operationele kader worden nagestreefd.

13. Strategische prioriteiten worden in een bepaalde economische en institutionele context uitgestippeld en zijn onderhevig aan externe en interne invloeden. Hoewel continuiteit van beleid wenselijk is, zijn er altijd nog verdere ■ verbeteringen mogelijk, zelfs bij de meest succesvolle vormen van bijstandsverlening. In snel groeiende economieen (b.v. de Ierse) maken de economische prestaties het mogelijk om in het programmeringskader structurele wijzigingen aan te brengen die zijn gericht op het aanpakken van sommige grote problemen, zoals een ontoereikende fysieke infrastructuur of een tekort aan mensen met bepaalde vaardigheden.

14. De herziening halverwege de looptijd van de programma’s voor de doelstellingen 1 en 6 heeft over het algemeen niet geleid tot een ingrijpende wijziging van de algemene strategische beleidslijnen die eraan ten grondslag liggen. De omvang van de bijsturing van de bijstandsverlening wisselt zowel van Lidstaat tot Lidstaat en van regio tot regio als van CB tot CB en GPD tot GPD. Deze laatste zijn kleinschaliger, maar verhoudingsgewijs waren de overdrachten tussen de verschillende maatregelen er groter.

15. De Commissie heeft ook haar eigen prioriteiten voor de aanpassingen bij de herziening halverwege de looptijd kenbaar gemaakt. Daarbij heeft zij er in het bijzonder op aangedrongen meer nadruk te leggen op de werkgelegenheid, vooral door steun te verlenen voor maatregelen die banenintensiever zijn. Hoewel meer had kunnen worden gedaan om uitvoering aan deze allesoverheersende prioriteit te geven, vormen de tastbare resultaten die deze herziening halverwege de looptijd heeft opgeleverd, een bemoedigend teken. Voorbeelden zijn een bepaalde mate van herorientering van belangrijke steunregelingen op het midden- en kleinbedrijf en de werkgelegenheid, de opneming van territoriale werkgelegenheidspacten in de hoofdprogramma’s en het opzetten van specifieke acties op de terreinen van “informatiemaatschappij” en “gelijke kansen voor vrouwen en mannen”.

Aanzienlijke vooruitgang in evaluatie maar verdere verbetering is nodig

16. De herziening halverwege de looptijd leert dat het niet om een louter academische operatie gaat, maar dat de nodige aandacht wordt besteed aan operationele en strategische aspecten. In veel Lidstaten waren de programmabeheerders en de beleidsmakers het met deze zienswijze eens en vroegen zij welke aanpassingen op grond van de evaluatieresultaten dienden te worden verricht, vooral met het oog op de lopende steunregelingen.

17. Er is aanzienlijke vooruitgang geboekt wat de kwaliteit en inhoud van de evaluaties halverwege de looptijd en de inpassing ervan in het algehele proces van herziening halverwege de looptijd betreft. Op den duur zal dit leiden tot een betere beheersmentaliteit. Bij het opsporen van goede werkwijzen zijn factoren zoals procesbeheer (b.v. het bepalen van de essentiele problemen, "het nastreven van consensus, enz.) en een zorgvuldiger planning van de herziening halverwege de looptijd opgevallen. Een en ander zal worden opgenomen in enigerlei toekomstige advisering over de beste werkwijzen.

18. Naar aanleiding van de herziening halverwege de looptijd hebben de nationale en regionale autoriteiten initiatieven genomen om de bijstandsverlening nog doeltreffender te maken, vooral op het punt van hun eigen uitvoeringssystemen voor de Structuurfondsen. Met name zullen belangrijke verbeteringen worden aangebracht in de toezichtsystemen, vooral door de kwaliteit en relevantie van de in de programma’s bepaalde indicatoren te verbeteren. Momenteel wordt ook gezocht naar andere benaderingen om het beheer van kleinschalige programma’s te vereenvoudigen en om binnen het kader van de programmadoelstellingen coherentere selectiecriteria uit te werken.

19. Voor de volgende programmeringsperiode zal het er vooral op aankomen de werkmethoden voor de evaluatie verder te consolideren, waartoe de tot nog toe bereikte resultaten moeten worden geinventariseerd. Het versterken van de evaluatie als een echt instrument voor de besluitvorming, het verbeteren van de systemen voor het toezicht en voor de toepassing van indicatoren, het ondersteunen van de ontwikkeling van evaluatiemethodologieen en het bevorderen van de multilaterale uitwisseling van ervaringen in de hele Unie lijken in dit verband belangrijke uitdagingen met het oog op het nog doeltreffender maken van de structured bijstandsverlening. ^-

BEKNOPTE SAMENVATTING

INLEIDING ............................................... 3

I. Voornaamste elementen van het proces van de herziening halverwege de looptijd.........................4

1.1. Beleidscontext en veranderende behoeften.............................................................. 4

1.2. Richtsnoeren van de Commissie...................................................................................................5

1.3. Evaluaties halverwege de looptijd..................................................................................................5

1.4. Financigle tenuitvoerlegging..........................................................................................................6

//. Uit de evaluaties halverwege de looptijd te trekken lering..............................................................7

2.1. Tenuitvoerlegging van de evaluaties halverwege de looptijd........................................................7

2.2. Voornaamste bevindingen............................................................................................................13

2.3. Gebruik van de evaluatieresultaten..............................................................................................24

III. Belangrijkste resultaten en aanpassingen................................................... 25

3.1. Verband tussen de evaluatie en de herprogrammering ..;.............................................................25

3.2. In totaal met de hertoewijzingen van middelen uit de Structuurfondsen gemoeide bedragen.....28

3.3. Opneming van de EU-prioriteiten in de programma’s.................................................................30

IV. Gevolgen voor het beleid en toekomstige uitdagingen...................................................................34

4.1. Consequenties op korte termijn voor de huidige uitvoeringssystemen........................................34

4.2. Eerste beschouwingen met het oog op de toekomstige programma’s..........................................35

4.3. De uitdagingen op evaluatiegebied................................................. 35

INLEIDING

De herziening halverwege de looptijd¹ heeft tot doel te komen tot een doeltreffender en doelmatiger tenuitvoerlegging van de structurele bij stands verlening via de communautaire bestekken (CB’s) en de gecombineerde programmeringsdocumenten (GPD’s). Dit proces is bijzonder belangrijk in het licht van de beperkingen voor de overheidsbegrotingen. Door deze beperkingen wordt het steeds noodzakelijker dat de bijstandsverlening uit de Structuurfondsen van hoge kwaliteit is wat de inhoud van de afzonderlijke maatregelen en een volledige besteding van de ervoor bestemde middelen betreft.

Evaluatie is een belangrijk hulpmiddel voor het bereiken van deze doelstellingen. Het voorschrift alle EU-programma’s systematisch te evalueren is een belangrijke innovatie in de huidige verordeningen betreffende de Structuurfondsen. De Commissie heeft in de context van haar initiatief SEM 2000 (Sound and Efficient Management - Gezond en Doelmatig Beheer) te kennen gegeven evaluatie te beschouwen als een essentiele factor ter verbetering van het klimaat op het gebied van beheer waarin de communautaire programma’s worden uitgevoerd². Korter geleden is in Agenda 2000³, het beleidsdocument van de Commissie over de periode 2000-2006, aangegeven dat alle structurele bijstandsverlening kosteneffectiever moet worden gemaakt door het toezicht, de financiele controle en de evaluatie in de context van een gedecentraliseerd beheer te versterken.

In dit verslag worden de voomaamste elementen van de in de lidstaten uitgevoerde herzieningen halverwege de looptijd samengevat en wordt met name ingegaan op de rol van de evaluatie halverwege de looptijd en op de mate waarin de EU-prioriteiten in de programma’s van de doelstellingen 1 en 6 zijn ingepast.

De door de afzonderlijke lidstaten uitgevoerde evaluates halverwege de looptijd vormen de belangrijkste bron van informatie voor dit verslag. Gepoogd wordt aan te geven welke rol het evaluatieproces in de ontwikkeling van deze herziening halverwege de looptijd heeft gespeeld, en de beste evaluatiemethoden op te sporen als leidraad voor de toekomstige progammeringsperiode. Het gaat bij een en ander om een aanpak van het beheer die aan het ontstaan is dankzij de praktische ontwikkelingen op evaluatiegebied.

Door de aandacht te vestigen op goede benaderingen draagt dit verslag bij tot een beter inzicht in de manier waarop de evaluaties werden uitgevoerd en gebruikt om informatie te verschaffen voor de herzieningen halverwege de looptijd, wat vooral van belang is voor de toekomstige toepassing van evaluaties in de context van de nieuwe

In dit hele verslag wordt onderscheid gemaakt tussen de evaluatie halverwege de looptijd en de herziening halverwege de looptijd. Beide termen worden weliswaar soms tegelijkertijd gebruikt, maar de term “herziening” beschrijft nauwkeuriger het hele proces dat de evaluatie en de daaruit voortvloeiende aanpassingen van de prioriteiten en herschikkingen binnen de programmabegrotingen omvat. De evaluatie halverwege de looptijd is dan gewoon de eigenlijke evaluatie, die de nodige informatie voor de herziening halverwege de looptijd oplevert.

SEM 2000 - Mededeling over Evaluatie, 8 mei 1996.

Agenda 2000, Voor een sterkere en grotere Unie, 1997.

verordeningen betreffende de Structuurfondsen. Het verslag verschaft dus tot op zekere hoogte een experimentele basis voor de na 1999 te ondememen acties.

In het verslag worden de volgende vier gebieden behandeld:

1. het proces van de herziening halverwege de looptijd als geheel;

2. de voornaamste bevindingen bij de evaluaties halverwege de looptijd;

3. de belangrijkste resultaten en de verrichte aanpassingen;

4. de gevolgen voor de uitvoering en de prioriteiten van de programma’s en de uitdagingen voor de toekomst.

I. VOORNAAMSTE ELEMENTEN VAN HET PROCES VAN DE HERZIENING

HALVERWEGE DE LOOPTIJD

Vier belangrijke elementen liggen aan het proces van de herziening halverwege de looptijd ten grondslag: de beleidscontext; de richtsnoeren van de Commissie; de evaluaties halverwege de looptijd; en de stand van zaken wat de financiele tenuitvoerlegging voor de programma’s van de doelstellingen 1 en 6 betreft.

1.1. Beleidscontext en veranderende behoeften

Hoofddoel van de CB’s en GPD’s is het verkleinen van de verschillen tussen de lidstaten wat het inkomen per hoofd van de bevolking betreft. Met die bijstandsverlening wordt ernaar gestreefd veranderingen op lange termijn te bewerkstelligen in de structuur en de prestaties van de ontvangende economieen. Bepalend voor de bijstandsverlening zijn de nationale prioriteiten en strategieen voor het aanpakken van elementaire structurele problemen zoals de verschillen in infrastructuur en menselijk kapitaal. Dit zijn belangrijke factoren die van invloed zijn op het regionale concurrentievermogen en dus op de groeiprestaties.

In de vier armste lidstaten - de “cohesielanden” - is het inkomen per hoofd van de bevolking sterk gestegen. Er blijven echter grote verschillen bestaan tussen de Europese regio’s; in 1995 was het gemiddelde inkomen per hoofd van de bevolking in de 25 meest welvarende regio’s driemaal zo hoog als in de minst ontwikkelde regio’s. De verschillen in werkloosheidsniveau zijn zelfs nog groter en daarvan zijn vooral de uit maatschappelijk oogpunt meest kansarme groepen het slachtoffer⁴.

Veranderingen in de economische, maatschappelijke of politieke context in de lidstaten hebben hun behoeften en problemen beinvloed en daardoor ook de manier waarop zij hun programma’s hebben aangepast. Het recente economische succes van Ierland heeft bijvoorbeeld verandering gebracht in de behoefte aan bepaalde soorten bijstandsverlening, vooral wat de bij stand verlening aan de productieve sector betreft. Voor deze lidstaat heeft de evaluatie halverwege de looptijd uitgewezen dat er behoefte is^{1 2}

Evenzo heeft ook de erkenning van de werkgelegenheid als allesoverheersende EU-prioriteit geleid tot een aantal aanpassingen van de programma’s, zoals de formele invoering van territoriale werkgelegenheidspacten. Veranderingen in het nationale werkgelegenheidsbeleid, zoals structurele hervormingen van de arbeidsmarkt, hebben eveneens tot een herorientering van sommige opleidingsacties bijgedragen.

In de context van de Structuurfondsen is ook op onverwachte ontwikkelingen gereageerd. De noodtoestand als gevolg van een aardbeving in de Italiaanse regio’s Umbria en Marche heeft er bijvoorbeeld toe geleid dat aan deze regio’s CB-middelen zijn toegewezen bij wijze van onderlinge hulpverlening tussen Italiaanse regio’s

1.2. Richtsnoeren van de Commissie

In verband met de veranderende economische en sociale context op het niveau van de Iidstaten heeft de Commissie algemene richtsnoeren⁵ vastgesteld om de meerwaarde van de communautaire bij stands verlening te vergroten. Doel van deze richtsnoeren was een algemeen beleids- en prioriteitenkader aan te geven waarbinnen de Iidstaten konden besluiten tot aanpassingen van hun lopende programma’s voor de doelstellingen 1 en 6 voor de periode 1994-1999 als onderdeel van het proces van herziening halverwege de looptijd.

De richtsnoeren gaven een aantal thematische prioriteiten aan ter ondersteuning van de verwezenlijking van het hoofddoel van de bij stands verlening van de Structuurfondsen, namelijk het helpen scheppen van de voorwaarden voor een duurzame economische ontwikkeling, groei en concurrentiepositie en daardoor voor duurzame werkgelegenheid. Met het oog op het bereiken van dit algemene doel werd aandacht besteed aan de volgende specifieke prioriteiten: basisinfrastructuur, productieve sector (alle soorten maatregelen om de groei en het concurrrentievermogen van het bedrijfsleven te vergroten), onderzoek en technologische ontwikkeling, milieu en duurzame ontwikkeling, ontwikkeling van het menselijke potentieel en gelijke kansen.

1.3. Evaluates halverwege de looptijd

Alle Iidstaten (met uitzondering van Italie²) zijn erin geslaagd om in overeenstemming . met de verordeningen betreffende de Structuurfondsen en de in de programma’s opgenomen standaardbepalingen evaluaties halverwege de looptijd uit te voeren om de beschikking te hebben over de nodige informatie voor de herziening van hun structurele maatregelen. Deze evaluaties waren opgezet om bij te dragen tot het proces van

Prioriteiten voor de aanpassing van de Structuurfondsenprogramma’s in de resterende looptijd tot eind 1999 - Richtsnoeren van de Commissie, mei 1997. De Iidstaten hadden het idee richtsnoeren te formuleren ondersteund in een informele vergadering van de voor het regionale beleid en de ruimtelijke ordening bevoegde ministers op 14-15 november 1996 in Ballyconnell, Ierland. De Iidstaten hebben de Commissie daar formed verzocht om in overeenstemming met het subsidiariteitsbeginsel beleidsrichtsnoeren te formuleren die erop zijn gericht de lopende programma’s voor de doelstellingen 1 en 6 zo aan te passen dat zij voor de resterende looptijd tot eind 1999 werkgelegenheidsintensiever zijn.

Als voorlopige oplossing hebben de Italiaanse autoriteiten (Eenheid Evaluatie van het ministerie van begroting) in de eerste helft van 1997 de evaluatie halverwege de looptijd uitgevoerd.

verbetering van de uitvoering en het beheer van de programma’s in het resterende deel van de looptijd.

Volgens de door de Gommissie gepubliceerde gids⁷ moesten de evaluaties halverwege de looptijd bestaan uit : een kritische analyse van alle verzamelde gegevens (en vooral van de bij het toezicht verkregen gegevens); een bepaling van de mate waarin de doelstellingen werden bereikt; een verklaring voor alle verschillen tussen de werkelijke en de verwachte resultaten van de bij stands verlening; een beoordeling van de beweegredenen voor de bijstandsverlening en van de vraag of de doelstellingen ervan nog steeds relevant waren.

Bovendien moesten de evaluaties de nodige gegevens verschaffen om de Toezichtcomites te helpen zich over een en ander een oordeel te vormen en aan de bevoegde autoriteiten correctiemaatregelen voor te stellen met het oog op aanpassing van de programma’s.

In de regel worden programma’s met een looptijd van meer dan drie jaar aan het einde van het derde jaar van de tenuitvoerlegging onderworpen aan een evaluatie halverwege de looptijd. Deze programma’s worden aan het einde van de desbetreffende peri ode ook nog onderworpen aan een evaluatie achteraf. Met dit tijdschema dient rekening te worden gehouden bij het treffen van regelingen voor de evaluaties. .

1.4. Financiele tenuitvoerlegging

Bij een evaluatie gaat het er normaliter om de effecten en vorderingen te beoordelen in relatie tot de doelstellingen en prioriteiten. Daartoe wordt gebruik gemaakt van de financiele gegevens over de tenuitvoerlegging van de programma’s die door de desbetreffende toezichtsystemen worden verstrekt. Bovendien geeft de begrotingsuitvoering op EU-niveau een overzicht van de besteding van de vastleggings-en betalingskredieten. In de volgende alinea wordt de voortgang van die besteding samengevat voor de programma’s voor de doelstellingen 1 en 6 (zie ook bijlage 2).

Bij de tenuitvoerlegging van de programma’s voor doelstelling 1 zijn vanaf 1994 voortdurend regelmatige vorderingen gemaakt. In de eerste helft van 1998 heeft deze¹tendens zich voortgezet. Van de beschikbare middelen was eind 1997 64 % vastgelegd (vergeleken met 46 % eind 1996) en 48 % betaald (33 % eind 1996). Opvallend waren de vorderingen in Spanje en Portugal, waar in de periode 1994-1997 respectievelijk 69 % en 70 % van de beschikbare middelen is vastgelegd en respectievelijk 53 % en 56 % ervan is betaald. In andere lidstaten, en vooral in Nederland, Frankrijk en Belgie, gaf de tenuitvoerlegging emstige vertragingen te zien wat de vastleggingen betreft, terwijl de vertragingen in Italie en Oostenrijk hoofdzakelijk de betalingen betroffen. Voor doelstelling 6 is in de betrokken twee lidstaten sprake van een tegenovergesteld beeld. In Finland is de tenuitvoerlegging verder gevorderd dan in Zweden: eind 1997 was in Finland 59 % van de middelen vastgelegd tegen slechts 32 % in Zweden.

Gemeenschappelijke gids voor het toezicht en de tussentijdse evaluaties (Common Guide on Monitoring and Interim Evaluations) 1996.

II. UlT DE EVALUATIES HALVERWEGE DE LOOPTIJD TE TREKKEN LERING

De evaluatie halverwege de looptijd is een belangrijke ontwikkeling geweest op het gebied van het beheer van de Structuurfondsen. Zij vormt een waardevol kader om na te denken over de algehele doelmatigheid van de bijstandsverlening van de EU. De belangrijkste lessen die emit kunnen worden getrokken, betreffen de uitvoering van die evaluatie zelf en het belang van de voomaamste uit die evaluatie voortvloeiende bevindingen uit beleidsoogpunt.

2.1. Tenuitvoer legging van de evaluates halverwege de looptijd

a) Evaluatie halverwege de looptijd: een gedeelde verantwoordelijkheid

Een van de innovaties in de huidige verordeningen betreffende de Structuurfondsen is de aanscherping van de voorschriften voor de evaluatie van de doelmatigheid en doeltreffendheid van de bijstandsverlening. Deze voorschriften zijn duidelijk geformuleerd in die verordeningen⁸.

De Commissie en de lidstaten hebben samengewerkt om de te volgen operationele procedures te bepalen. De verantwoordelijkheid voor de evaluatie wordt dus gedeeld. Gedurende 1995 hebben de lidstaten en de Commissie actief gepoogd overeenstemming te bereiken over de inhoud van de betrokken evaluaties en over de in elk afzonderlijk geval te volgen operationele procedures. Het door de Commissie voorgestelde operationele kader is weliswaar op multilateraal niveau besproken, maar over het algemeen is de evaluatie uitgevoerd op het niveau van elk Toezichtcomite.

AI met al hebben zich ondanks de problemen waarmee alle nieuwe procedures gepaard gaan en ondanks de moeilijkheden die sommige lidstaten bij het definieren en op gang brengen van een evaluatieproces hebben ondervonden, geen grote verschillen van mening tussen de lidstaten en de Commissie voorgedaan⁹.

b) Organisatie van de evaluaties halverwege de looptijd

Meer dan wat de verordeningen voorschrijven - Een beter beheer

Het merendeel van de in elke lidstaat geprogrammeerde vormen van bijstandsverlening (CB’s, GPD’s, operationele programma’s, globale subsidies, enz.) is onderworpen aan een specifieke evaluatie. Sommige lidstaten hebben ter aanvulling van hun evaluaties

In artikel 26, lid 2, van de Coordinatieverordening is het volgende bepaald: “De beoordeling en de evaluatie geschieden, al naar gelang het geval, door de doelstelling te vergelijken met de behaalde resultaten, gerelateerd aan op regionale en nationale statistische gegevens gebaseerde macro-economische en sectoriele doelstellingen en indicatoren, aan de algemene uitkomsten van beschrijvende analytische studies en aan onderzoekingen van kwalitatieve aard.”. Volgens de standaardbepalingen in de met de lidstaten overeengekomen CB’s en GPD’s moet het toezicht worden “aangevutd met tussentijdse evaluaties om in de loop van de uitvoering van het CB en van de bijstandsvormen daarin de eventueel noodzakelijke aanpassingen te kunnen aanbrengen”.

Tijdens de informele vergadering van de voor het regionaal beleid en de ruimtelijke ordening bevoegde ministers op 30 november - 1 december 1995 in Madrid is gebleken dat de lidstaten zich sterker bewust waren geworden van het belang van een evaluatie halverwege de looptijd en van de operationele doeleinden die ermee worden beoogd.

halverwege de looptijd het initiatief genomen tot extra evaluaties die hetzij een thematisch karakter (met als onderwerp onder meer de maatregelen voor het midden- en kleinbedrijf of op onderzoekgebied), hetzij een operationeel karakter (b.v. selectiecriteria, procedures, enz.) droegen. Het grote aantal evaluaties halverwege de looptijd (meer dan 100 voor de programma’s in het kader van de doelstellingen 1 en 6¹⁰) geeft aan dat bij de lidstaten nu sprake is van een wijdverspreide erkenning van het belang ervan. Dit blijkt niet alleen uit de naleving door de lidstaten van de desbetreffende voorschriften in de verordeningen, maar ook uit het feit dat de lidstaten evaluatie kennelijk zien als een instrument om het beheer van de financiele middelen te verbeteren en de met die middelen behaalde resultaten te optimaliseren.

Kosten van de evaluaties

In de SEM 2000-mededeling over evaluatie (1996) werd aanbevolen om aan de evaluatieactiviteiten in totaal niet meer te besteden dan 0,5 % van de voor het programma beschikbare middelen. De evaluatiekosten werden doorgaans gedekt uit de in elk programma opgenomen begrotingspost “technische bij stand”. Meestal komt het voor evaluatie toegewezen bedrag neer op minder dan 0,1 % van de totale kosten van het programma. Vaste percentages zouden hoe dan ook niet passend zijn geweest, omdat de evaluatiekosten niet noodzakelijk in verhouding tot de kosten van het betrokken programma staan.

De evaluatieprocedure

Het proces van de evaluatie halverwege de looptijd begint met een analyse van de mate waarin het betrokken programma zich voor een evaluatie leent (evalueerbaarheid) en met een nadere uitwerking van de in de volgende fase toe te passen methodologie. Een beoordeling van die evalueerbaarheid is noodzakelijk met het oog op het opvangen van bepaalde leemten of inconsistenties in de in de programmeringsdocumenten opgenomen informatie, zoals een onvoldoende kwantificering van de doeleinden voor sommige maatregelen. Het is belangrijk te beseffen dat het voor een succesvolle evaluatie noodzakelijk is zich ervan te vergewissen dat er voldoende maatregelen zijn genomen om ervoor te zorgen dat het betrokken programma wel degelijk kan worden geevalueerd. Met name is het in het algemeen zo dat voor de evaluatie van een programma van tevoren relevante indicatoren en doeleinden moeten zijn vastgesteld waarvan de ontwikkeling dan gedurende de gehele looptijd van het programma moet worden gevolgd (kader 1).

Kader 1: Beoordeling van de evalueerbaarheid (d.w.z. de uitvoerbaarheid van de evaluatie) - Door het EFRO gesteund OP voor AndalusiS (Doelstelling 1)

Deze evaluatie had de beschrijving tot doel van de beweegredenen voor de geprogrammeerde acties, doelstellingen en oogmerken, van de mate van synergie daartussen en van het al dan niet adequate karakter van het programmabeheer. Zij spitste zich toe op drie belangrijke elementen: de kwaliteit van de planning; de informatiesystemen; de beheerscapaciteit. De gekozen aanpak behelsde een analyse van de programmeringsdocumenten (met behulp van een 'Logical Framework Scheme') en interviews met belangrijke programmabeheerders.

De toepassing van deze methodologie heeft tot enkele praktische conclusies geleid. Wat de kwaliteit van het programma betreft, werden door de beoordelaar enkele tekortkomingen in de analyse van de sterke en de zwakke punten en van de kansen en bedreigingen (SWOT-analyse) geconstateerd en ook problemen met betrekking tot sommige van de doelstellingen (b.v. op het gebied van het toerisme), die niet goed

10

Zie de lijst in bijlage 3.

omschreven waren. Geoordeeld werd bovendien dat de databank te zeer op outputindicatoren was gebaseerd en te weinig op effectindicatoren. Ook het beheerssysteem werd beoordeeld met het oog op eventuele verbeteringen, vooral wat de verdeling van de taken en verantwoordelijkheden binnen het regionale overheidsapparaat betreft.

Hoewel niet alle aanbevelingen werden overgenomen, heeft deze eerste beoordeling de programmabeheerders bewuster gemaakt van de noodzaak een evaluatiecultuur te bevorderen en te zorgen voor een beter inzicht in hun eigen programma.

De betrokken evaluatie zelf wordt halverwege de tenuitvoerlegging van het programma uitgevoerd. Zij heeft tot doel te beoordelen in hoeverre het programma aan zijn doelstellingen heeft beantwoord, de eerste effecten van de bijstandsverlening te bepalen en, zo nodig, aanbevelingen te doen voor het verbeteren van het programmabeheer en het optimaliseren van de resultaten. Het referentiepunt bij een evaluatie halverwege de looptijd behoort in het algemeen het resultaat te zijn van de voorafgaande evaluatie die heeft plaatsgevonden op basis van het door de lidstaat ingediende plan.

Onafhankelijkheid van de beoordelaars

De lidstaten waren het erover eens dat het erg belangrijk was ervoor te zorgen dat de evaluatieverslagen werden opgesteld door personen die onafhankelijk waren van zowel de voor het beheer van de middelen van de Structuurfondsen verantwoordelijke autoriteiten als de uitvoerende instanties die verantwoordelijkheid voor de medegefinancierde acties droegen. Daarom zijn mechanismen bepaald voor de aanstelling van exteme beoordelaars (consultants, gespecialiseerde academische teams, enz.). In de lidstaten waar evaluatie een zeer gebruikelijk onderdeel vormt van programma’s voor 'overheidsuitgaven, hebben de exteme beoordelaars meestal voortdurend kunnen profiteren van adviezen en ondersteuning van de bevoegde autoriteiten.

Aan interne evaluaties kunnen bepaalde voordelen zijn verbonden (b.v. het bevorderen van “leren door te doen”) doordat de beherende autoriteiten dan nauw worden betrokken bij het plaatsen van vraagtekens bij het hoe en het waarom van hun activiteiten. In het geval van evaluaties halverwege de looptijd en achteraf kan echter gelden dat interne evaluaties niet praktisch, niet kosteneffectief of zelfs niet wenselijk zijn. Een opmerkelijke uitzondering was Italie, waar de door de Eenheid Evaluatie van het Ministerie van Begroting uitgevoerde evaluatie halverwege de looptijd heeft geleid tot een aantal kritische opmerkingen, vooral wat de kwaliteit van de programmeringsdocumenten en het ontbreken van geschikte streefcijfers en indicatoren betreft.

c) Opbouwen van evaluatiecapaciteit in de lidstaten

Oprichting van beheersstructuren

Doorgaans zijn de Toezichtcomites verantwoordelijk voor de tenuitvoerlegging van de evaluaties halverwege de looptijd. Deze comites werden vaak betrokken bij de definiering van de 'inhoud van de evaluatieverslagen en de uitwerking van een werkprogramma voor de beoordelaars. Belangrijker is dat zij de opgestelde evaluatieverslagen hebben geanalyseerd en besproken en in voorkomend geval voorstellen hebben gedaan of adviezen hebben geformuleerd met betrekking tot mogelijke programmawijzigingen om de besteding van de toegewezen middelen uit de Structuurfondsen zo doelmatig en doeltreffend mogelijk te maken.

In een belangrijk aantal gevallen hebben Toezichtcomites technische groepen of subcomites opgericht (zie kader 2) met als taak voortdurend contact te onderhouden tussen henzelf en de beoordelaars. Door deze technische groepen of subcomites zijn dan (op de evaluatieresultaten gebaseerde) verslagen en voorstellen opgesteld voor bespreking en goedkeuring door het comite als geheel.

Kader 2: Beheer van de evaluatie - oprichting van ad-hocstructuren

In lerland kon voor het CB als geheel en voor elk van de drie grootste operationele programma's daarvan telkcns een beroep worden gedaan op een toegewijde evaluatie-eenheid, die voortdurend beschikbaar was voor adviser ing en deskundige begeleiding. Externe beoordelaars l ever den een soortgelijke dienstverlening op afroep voor vijf andere operationele programma’s.

De verslagen over de evaluatie halverwege de looptijd werden door de Toezichtcomites besproken in twee afzonderlijke vergader ingen. Hun conclusies en aanbevelingen leverden samen met de evaluaties van de afzonderlijke OP’s informatie op voor de evaluatie halverwege de looptijd van het CB als geheel. Ook een regionaal evaluatieverslag verschafte informatie voor de algehele evaluatie van het CB en tevens werd rekening gehouden met de richtsnoeren van de Commissie.

In Portugal werden technische evaluatiegroepen opgericht om het evaluatieproces te sturen en te regelen. Tot hun belangrijkste taken behoorden onder meer het valideren van de taakomschrijving, het bieden van hulp bij de keuze van de beoordelaars en het bespreken van de eindverslagen voordat deze aan de Toezichtcomites werden voorgelegd. Deze groepen bestonden uit ambtenaren van de Commissie en vertegenwoordigers van de bevoegde nationale en regionale overheden. Normaliter kwamen zij ten minste tweemaal per jaar bijeen voor de vergaderingen van het Toezichtcomite. De constructieve verhoudingen tussen de partners binnen deze groepen hebben tot de verbetering van de kwaliteit van het evaluatiewerk bijgedragen.__

Rol van het partnerschap

Doorgaans hebben de programmapartners zich positief opgesteld tegenover de evaluatie halverwege de looptijd en bereidwillig verantwoordelijkheid op zich genomen om er een bijdrage aan te leveren. Er zijn echter verschillen tussen de regionale overheden op het punt van hun specifieke betrokkenheid bij de taken die bij een evaluatie halverwege de looptijd horen. Deze verschillen houden verband met de kenmerken van de politieke en institutionele systemen (d.w.z. de mate van decentralisatie), de vorm waarin de bijstand uit de Structuurfondsen wordt verleend (programma’s op nationaal, sectoraal, regionaal en subregionaal niveau) en de per lidstaat uiteenlopende gebruiken en ervaringen.

In sommige gevallen waren de regionale autoriteiten verantwoordelijk voor de organisatie en het beheer van het evaluatieproces. Zij waren betrokken bij de werkzaamheden die tpt doel hadden de beoordelaars te selecteren, het werk van de beoordelaars te definieren en te vergemakkelijken en ervoor te zorgen dat de resultaten van de evaluaties door de Toezichtcomites werden besproken en geanalyseerd. Bovendien droegen zij er zorg voor dat de uit de evaluatie voortgekomen aanbevelingen werden uitgevoerd op het niveau van het programma. In andere gevallen hadden zowel de nationale als de regionale autoriteiten deel in de verantwoordelijkheden en de werkzaamheden. Waar wordt gewerkt met een communautair bestek (zoals in sommige regio’s van doelstelling 1), waren echter normaliter de nationale autoriteiten verantwoordelijk voor de evaluatie.

Een ander geval is dat van de lidstaten waar de regionale autoriteiten geen uitvoerende verantwoordelijkheid dragen voor de programmering en het beheer van de door de Structuurfondsen ondersteunde activiteiten. Hun bijdrage aan het herzieningsproces bestond erin de verstrekking van de voor de opstelling van de evaluatieverslagen benodigde gegevens en informatie te vergemakkelijken, mee te werken aan de analyse

van het effect dat de beleidsmaatregelen op plaatselijk niveau hadden gesorteerd, en tot op zekere hoogte ook deel te nemen aan de op de aanbevelingen uit de evaluatieverslagen gebaseerde herdefiniering van de strategische en operationele beleidslijnen. Ook de sociale partners werden bij dit proces betrokken afhankelijk van de mate waarin zij aan de werkzaamheden van de Toezichtcomites deelnemen. In het algemeen is op flexibele en pragmatische wijze te werk gegaan bij de ontwikkeling van de partnerschappen.

Het ontstaan van vakmanschap op evaluatiegebied

In de afgelopen vier jaar hebben de evaluatieactiviteiten in alle lidstaten een opmerkelijke ontwikkeling te zien gegeven. De voorschriften in de verordeningen betreffende de Structuurfondsen hebben daarin een belangrijke rol gespeeld. De dienstverlening op evaluatiegebied speelt zich grotendeels buiten de verschillende overheidsdiensten af, al moeten als opmerkelijke uitzonderingen Ierland en Italie worden genoemd, die hun eigen gespecialiseerde teams hebben opgericht. De ontwikkeling van evaluatie als specialistische dienstverlening heeft tot een almaar professioneler en deskundiger aanpak geleid. Hoewel de voor de verschillende programma’s aangestelde evaluatieteams vaak over multidisciplinaire deskundigheid beschikken en bestaan uit medewerkers die niet alleen van adviesbureaus maar ook van academische onderzoekcentra afkomstig zijn, hebben hun belangrijkste sterke punten meestal betrekking op de economische aspecten en het beheer.

d) Verbetering van de kwaliteit van de evaluaties

In de programmeringsperiode 1994-1999 was de gemiddelde kwaliteit van de evaluaties halverwege de looptijd ongetwijfeld beter dan in de voorgaande periode (1989-1993), al waren er nog steeds evaluaties die niet aan de normen voldeden door factoren zoals het feit dat bepaalde programma’s te laat op gang waren gekomen of dat de gekozen methodologie niet adequaat was.

De evaluatieverslagen zijn beoordeeld aan de hand van de acht criteria zoals beschreven in het kader van het MEANS-programma¹¹. Volgens de betrokken beoordelingen waren de meeste verslagen van redelijk goede kwaliteit (kader 3). Vaak waren in de evaluaties bijgewerkte informaties over en analyses van de programma’s in relatie tot de doelstellingen en oogmerken ervan opgenomen en op sommige evaluaties (b.v. voor

Quality Assessment of Evaluation Reports: A Framework (een kader voor de kwalitatieve beoordeling van evaluatieverslagen). MEANS (Methodes devaluation des Actions de Nature Structurelle) is een programma van de Europese Commissie dat tot doel heeft de methodologische instrumenten die beschikbaar zijn voor de beoordeling van strueturele acties, te verbeteren. Daartoe werden de evaluatieverslagen beoordeeld aan de hand van de volgende acht criteria: het voorzien in de behoeften: is de evaluatie op adequate wijze afgestemd op de informatiebehoeften van het Toezichtcomit6 en is zij in overeenstemming met de taakomschrijving?; een relevante reikwijdte: worden de beweegredenen voor en de outputs en effecten van het programma, met inbegrip van onverwachte uitkomsten, volledig bestreken?; verdedigbare opzet: is de opzet van de evaluatie geschikt om de gestelde vragen te beantwoorden?; gegevens: zijn de gebruikte/verzamelde gegevens adequaat en wordt naar behoren rekening gehouden met de betrouwbaarheid ervan?; degclijke analyse: wordt de beschikbare informatie onderworpen aan een passende analyse?; geloofwaardigc bevindingen: volgen de bevindingen logischerwijze uit en worden zij gestaafd door de analyse?; onpartijdigc conclusies: zijn de conclusies eerlijk, zijn zij niet door de opvattingen van belanghebbenden beinvloed en zijn zij operationeel?; en duidclijkheid: is het verslag zo geschreven dat het gemakkelijk te begrijpen is?

Noord-Ierland) was een eigen kwalitatieve beoordeling uit een oogpunt van sterke en zwakke punten toegepast. De inzet van ervaren beoordelaars en het feit dat er meer kennis beschikbaar was over en meer onderzoek was gedaan naar de praktische aspecten van de evaluatie, hebben eveneens tot de betere kwaliteit van de verslagen bijgedragen.

Kader 3: Beoordeling van de kwaliteit van een evaluatie: de evaluatie van het Ierse CB

Het evaluatieverslag voldoet aan de volgende criteria:

• het voorziet op adequate wijze in de informatiebehoeften;

• er is een uitvoerig onderzoek verricht naar de beweegredeneu voor en de doelstellingen van het programma;

• er is een specifiek methodologisch kader ontworpen om te beoordelen hoe doeltreffend de maatregelen zijn;

• er zijn voldoende betrouwbare gegevens verzameld (al zijn er nog steeds leemten en tekortkomingen);

• de in het kader van het CB geleverde prestaties werden op degelijke wijze geanalyseerd;

• een en ander heeft geresulteerd in geloojwaardige bevindingen die praktische effecten op de programmastructuur hebben gesorteerd;

• er zijn objectieve conclusies voorgesteld die gedetailleerd genoeg waren voor operationeel gebruik;

• het verslag is duidelijk geschreven en gepresenteerd in een voor de belanghebbenden toegankelijke vorm.

Het oordeel over de algemene kwaliteit was dan ook zeer lovend, waarbij deze kwaliteit te danken is aan

een goed ontworpen evaluatiekader. Het is verslag is gepubliceerd en ter beschikking van het publiek

gesteld.

Het oordeel over de tussentijdse evaluaties van de programma’s voor plattelandsontwikkeling verschilt nogal per geval. In sommige gevallen werd de evaluatie beschouwd als aanvaardbaar (Spanje) en in andere als bevredigend (diverse Duitse deelstaten) omdat het beoogde doel, namelijk de aandacht te vestigen op goede resultaten, was bereikt. In nog andere gevallen was de conclusie dat de evaluatie van een zeer hoog niveau was dankzij de ervaring en de kwaliteit van de onafhankelijke beoordelaars en een nauwkeuriger omschrijving van de doelstellingen en de te verrichten taken (Ierland). Soms was de draagwijdte van de evaluaties beperkter omdat zij academisch of te algemeen van aard waren of omdat zij zich veeleer op de tenuitvoerlegging en het beheer hebben toegespitst dan op de resultaten en de effecten (Frankrijk, Belgie).

Op sommige evaluaties is ook kritiek geuit omdat de beoordelaars niet onafhankelijk genoeg waren ten opzichte van de overheidsdienst die opdracht tot de evaluatie had gegeven. In andere gevallen was bij de evaluatie sprake van beperkende factoren doordat een gebrek aan medewerking van de zijde van de overheidsinstanties het werk van de beoordelaar heeft bemoeilijkt.

De door de beoordelaars toegepaste methodologieen verschilden qua aard en kwaliteit van programma tot programma. Via het MEANS-programma heeft de Commissie het gebruik van een aantal methoden en hulpmiddelen bevorderd, maar de concrete toepassing van een en ander verkeert nog in een vroeg stadium. Zo wordt bijvoorbeeld vaak gevonden dat de werkgelegenheidseffecten moeilijk te meten zijn, vooral als rekening moet worden gehouden met het “dood gewicht” (effecten die ook zonder de steun wel zouden zijn opgetreden) en met het elders in de regio verloren gaan van bestaande werkgelegenheid door verplaatsing ervan naar het gesteunde bedrijf¹².

Ondanks een aantal kwalitatieve verbeteringen blijft het noodzakelijk er via een passende begeleiding voor te zorgen dat in de volgende evaluatiestadia een ruimer gebruik van degelijke evaluatiemethoden wordt gemaakt.

2.2. Voornaamste bevindingen

Tot de belangrijkste oogmerken van de evaluaties halverwege de looptijd behoorde het ondememen van een poging om de bij de verwezenlijking van de doelstellingen van de programma’s geboekte vooruitgang en de waarschijnlijke effecten daarvan, bijvoorbeeld op de banenschepping, te beoordelen. De evaluaties waren er ook op gericht het proces te onderzoeken dat is gevolgd voor het beheer van de programma’s en voor de selectie van en het toezicht op de in het kader van de programma's uitgevoerde projecten.

Het is de bedoeling om in deze paragraaf op basis van een representatieve steekproef uit de evaluaties enkele significante resultaten betreffende voomame thema's te bespreken en te suggereren waar verbetering nodig is. Er zal worden ingegaan op enkele belangrijke elementen van de analyses die zijn uitgevoerd met betrekking tot de volgende drie hoofdthema’s:

- de macro-economische effecten van de grootste programma’s, vooral op de groei en de werkgelegenheid;

- de micro-economische beoordeling, waarbij vooral het onderzoek naar de doeltreffendheid van de steun nader wordt bekeken;

- de kwaliteit van de uitvoeringssystemen, waarbij het vooral gaat om de systemen.voor het toezicht en het gebruik van indicatoren en om de criteria voor de selectie van de projecten.

Uit een en ander kunnen enkele algemene conclusies worden getrokken over de wijze waarop deze resultaten kunnen worden gebruikt bij en ingepast in het proces van de herziening halverwege de looptijd.

a) Macro-economische effecten: effecten op de groei en de werkgelegenheid

Van de meeste evaluaties van CB’s voor doelstelling 1 maakt een macro-economische beoordeling deel uit die enkele waardevolle inzichten verschaffen in het proces van de herziening halverwege de looptijd als geheel. Deze evaluaties laten zien hoe belangrijk het is om niet alleen met de effecten aan de vraagzijde rekening te houden, maar ook met die aan de aanbodzijde. Ook leveren zij een eerste kwantificering van de vermoedelijke omvang van deze effecten.

Bij grootschalige bij stands verlening zoals via belangrijke CB’s voor doelstelling 1 is het waarschijnlijk dat effecten op de economische groei en de werkgelegenheid zichtbaar zullen zijn. Deze effecten zijn echter moeilijk te kwantificeren omdat de

Zie het document van de Europese Commissie “Banen tellen", 1997, en de European Job Challenge (Wedstrijd voor de beste werkgelegenheidsprojecten) 1998.

referentiesituatie, d.w.z. de situatie die zou bestaan als er geen steun uit de Structuurfondsen zou worden verleend, moet worden bepaald. Een van de mogelijkheden is gebruik te maken van simulatietechnieken op basis van modellen waarin rekening wordt gehouden met de macro-economische interdependenties tussen variabelen. Er bestaan verscheidene modellen die de korte-termijneffecten aan de vraagzijde kwantificeren (b.v. input-output modellen), maar er zijn er slechts enkele waarin rekening wordt gehouden met de lange-termijneffecten op de omstandigheden aan de aanbodzijde, terwijl verbetering van deze omstandigheden juist het hoofddoel van de bijstandsverlening uit de Structuurfondsen is¹³.

Bij de evaluaties halverwege de tooptiid zijn de aanbodzijde-effecten in de vorm van versterking van de infrastructuur, het menselijke kapitaal en de productieve investeringen binnen een economie geraamd volgens uiteenlopende methoden die ook qua verfijndheid van elkaar verschillen. Voor Ierland en Spanje zijn modellen van het HERMIN^,4-type toegepast, terwijl voor Griekenland, Portugal en Italie gebruik is gemaakt van meer algemene econometrische modellen. Vele variabelen , zijn endogeen, maar er wordt ook rekening gehouden met 'exteme' invloeden zoals de rentepercentages, de wisselkoersen en de economische groei bij de handelspartners. Omdat voor Oost-Duitsland geen macromodel beschikbaar was, zijn bij de Duitse evaluatie volgens een ad-hocbenadering stapsgewijs ramingen gemaakt voor de verschillende parameters die van invloed zijn op het BBP en de werkgelegenheid; de auteurs hebben zelf in het verslag aangetekend dat de resultaten door een hoge mate van onzekerheid worden gekenmerkt.

Bij twee studies was de aanbodzijde niet in het model geintegreerd en zijn gewoon extra berekeningen voor de effecten aan de aanbodzijde gemaakt op basis van in de literatuur beschikbare gemiddelde waarden. Volgens de berekeningen in de Portugese evaluatie ligt het extra productiviteitseffect tussen 1,17 % en 2,35 %. In de studie over Oost-Duitsland wordt verondersteld dat de lange-termijneffecten aan de aanbodzijde op het BBP 20 % zullen bedragen van de korte-termijneffecten aan de vraagzijde. Om deze reden betreffen de hiema gepresenteerde resultaten voor deze twee landen (en vooralsnog ook voor Griekenland) alleen de effecten aan de vraagzijde.

Een specifiek probleem op het gebied van macro-modellen rijst voor die landen waarvan het grondgebied niet in zijn geheel voor steun in het kader van doelstelling 1 in aanmerking komt (Duitsland, Spanje en Italie). Dit probleem is telkens op een andere manier opgelost: voor Duitsland is de evaluatie beperkt gebleven tot een analyse van het effect op Oost-Duitsland; bij de Spaanse evaluatie is alleen het effect op Spanje als geheel bekeken; dankzij de dualistische structuur van het Italiaanse macro-model kon zowel het effect op Zuid-Italie als dat op heel Italie worden beoordeeld.

De meest recente pogingen om de gecombineerde effecten aan de vraag- en de aanbodzijde van de steun uit de Structuurfondsen te kwantificeren zijn ondernomen met behulp van het QUEST II-model; de resultaten daarvan zijn gepresenteerd in het Eerste Cohesieverslag (1996). Er is ook het HERMIN-model, waarvan met name gebruik is gemaakt in een studie over de interne markt (1996).

HERMIN is een macro-economisch model dat speciaal is ontworpen voor het kwantificeren van de effecten op middellange tot lange termijn van de CB’s. Het verschaft een gemeenschappelijk kader dat is toegespitst op de belangrijkste structurele kenmerken van de “cohesielanden”, en het maakt duidelijk via welke mechanismen de CB’s de aanbodzijde van de economiefen van deze landen zullen bei'nvloeden.

Wat de vergelijkbaarheid van de resultaten van de verschillende evaluaties halverwege de looptijd (zie grafiek 1) betreft is enige voorzichtigheid geboden omdat in elk land telkens weer een andere methode is gebruikt. Desondanks kan er geen twijfel aan bestaan dat de programma’s voor doelstelling 1 positieve effecten op de groei en de werkgelegenheid sorteren. Vooral als gevolg van de invloed van de gestegen productiviteit zijn de geraamde werkgelegenheidseffecten doorgaans veel lager dan de geraamde effecten op de groei. Grafiek 1 laat zien dat bijvoorbeeld in Spanje het CB er waarschijnlijk toe zal leiden dat het BBP in 1999 5,1 % hoger zal zijn dan de omvang die het in de referentiesituatie (zonder CB) zou hebben, wat neerkomt op een jaarlijkse extra groei van gemiddeld circa 0,8 %, terwijl de werkgelegenheid in 1999 ten opzichte van de referentiesituatie maar 2,4 % groter zal zijn.

De uitdaging voor toekomstige evaluaties van het macro-economisch effect van de bijstandsverlening van de Structuurfondsen zal erin bestaan een ruimer gebruik te maken van methodologieen die tot de meest geavanceerde behoren. In macro-modellen behoort niet alleen de vraagzijde te worden gei'ntegreerd, maar ook de aanbodzijde, welke laatste het mogelijk maakt de belangrijkste categorieen op het gebied van bij stands verlening, zoals infrastructuur, het menselijke kapitaal en productieve investeringen, van elkaar te onderscheiden. De belangrijkste variabelen waarvoor resultaten moeten worden verstrekt, zijn het BBP, de investeringen, de werkgelegenheid, de consumentenprijzen, het begrotingstekort en de in- en uitvoer. De interessantste additionaliteitsscenario’s betreffen de EU-steun alleen en de combinatie van EU-steun en nationale steun, in beide gevallen exclusief de bijdragen van de prive-sector. Ook dient rekening te worden gehouden met de altematieve kosten van de overheidsuitgaven, d.w.z. de effecten die een ander gebruik van de EU- en nationale middelen zou kunnen opleveren. Tenslotte kan de gevoeligheid van de resultaten voor veranderingen in de CB-uitgaven en in het economische beleid concretere informatie ten behoeve van beleidsconclusies opleveren.

Grafiek 1: Resultaten van de evaluaties halverwege de looptijd - procentuele verschillen ten opzichte van de referentiesituatie in 1999

Beoordeling van het macro-economische effect in kleine gebieden

Er zijn specifieke modellen ontworpen voor het ramen van het lange-termijneffect op de groei, de investeringen en de werkgelegenheid in kleine gebieden. De voor de Belgische regio Henegouwen (Doelstelling 1) ontwikkelde methodologie is interessant ondanks de moeilijkheden die werden ondervonden bij het verzamelen van regionale gegevens op een zeer laag aggregatieniveau (kader 4).

Kader 4: Henegouwen (Doelstelling 1) : het HELM-model

HELM (Hainaut Lead-in Model) is een econometrisch model waarin wordt aangenomen dat tussen de groei van de productie en de groei van de productiviteit een fundamentele relatie bestaat. Dit model is verder uitgewerkt om rekening te kunnen houden met de verschillende componenten van de groei van de productiviteit (onderzoek en ontwikkeling, fysisch kapitaal, vaardigheden). De resultaten worden gepresenteerd voor drie situaties: de referentiesituatie (A), het GPD zonder verdere specificaties (B) (meting van het extra effect van het GPD), het GPD met verdere specificaties (C) (meting van het extra effect nadat voor de steunregelingen het steunpercentage en de vastgestelde selectiecriteria in het model werden opgenomen). Vergelijking tussen deze situaties maakt het mogelijk het extra effect van het GPD ten opzichte van de referentiesituatie te ramen.

De resultaten van de simulaties die voor de evaluatie halverwege de looptijd van het GPD werden uitgevoerd, betreffen drie belangrijke variabelen (investeringen, toegevoegde waarde en werkgelegenheid) in de industrie en de sector zakelijke dienstverlening. Volgens het model zal het GPD zorgen voor een extra groei van de investeringen met 0,7 % per jaar in de periode 1994-2005 en zal er sprake zijn van een extra groei van de werkgelegenheid met 0,3 % per jaar, wat zal neerkomen op een netto werkgelegenheidseffect van 5.100 banen in 1999 en 15.800 banen in 2005.

De massale besteding van middelen aan het einde van de looptijd zal de tenuitvoerlegging van het GPD minder doelmatig maken. Vertragingen in de uitvoering kunnen ook tot gevolg hebben dat de effecten zichtbaarder zijn aan het einde van de looptijd en daarna. Het model laat zien dat enigerlei verhoging van het steunpercentage slechts een matig effect op de investeringen zal hebben, maar dat deze laatste bepaalde gunstige (indirecte) effecten binnen de regio zullen opleveren. Daarom is sprake van een significant risico dat de groei na voltooiing van het GPD weer zal dalen tot een niveau dat lager ligt dan het EU-gemiddelde._

b) Micro-economische beoordeling

Beoordeling van de doeltreffendheid

De beoordelaars is gevraagd na te gaan hoe doeltreffend de bij stands verlening is. Bij de meeste evaluaties is onderzocht in hoeverre de programma’s aan de erin vermelde doelstellingen beantwoorden¹⁵. Een onderdeel van dit werk bestond in een studie van de bestaande indicatoren en in sommige gevallen werd een aantal nieuwe of opnieuw toe te passen kern- en sleutelindicatoren voorgesteld waarover overeenstemming moest worden bereikt met de regionale autoriteiten. Vaak is in het kader van dit beoordelingswerk een grondig onderzoek van de systemen betreffende de indicatoren nodig geweest, waarbij

Aspecten van de doelmatigheid, een van de moeilijkste onderwerpen bij een evaluatie, werden slechts zelden onderzocht. Bij de doelmatigheid gaat het om een vergelijking van de inputs (financiele middelen) met de outputs (geproduceerde goederen en diensten) en de resultaten (de aanvankelijke effecten) van het programma. Geraamd moet worden of dezelfde voordelen hadden kunnen worden verkregen met minder inputs, dan wel of met dezelfde inputs meer voordelen hadden kunnen worden verkregen. Als het om de doelmatigheid gaat, moeten noodzakelijkerwijs vergelijkingen worden gemaakt met verschillende referentiesituaties. Het grootste probleem is dus de keuze van passende referentiepunten.

het niet alleen de financiele resultaten betrof, maar ook het toezicht aan de hand van overeengekomen fysieke en effectindicatoren.

Een systematisch onderzoek naar de doeltreffendheid is uitgevoerd bij de evaluatie van het Ierse CB. Daarbij is gebruik gemaakt van een micro-enonomisch model om te beoordelen of de maatregelen behoorlijk waren uitgewerkt en of zij geschikt waren om de ermee beoogde doelstellingen te bereiken. Bij deze aanpak is het uitgangspunt dat de activiteiten van de Structuurfondsen niet uitsluitend uit het oogpunt van de besteding van de middelen mogen worden beoordeeld, maar dat veeleer moet worden gekeken naar de maatschappelijke voordelen die deze activiteiten de economic zullen opleveren. De door de beoordelaar gekozen methodologie heeft tot doel de maatregelen onderling op doeltreffendheid te beoordelen om zo te zorgen voor een optimale allocatie van de financiele middelen (d.w.z. een zodanige verdeling over de programma’s dat overal in vergelijkbare mate sprake is van “waar voor je geld”) en de beste benadering als zodanig te kunnen herkennen. Voor een meer gedetailleerde beschrijving wordt verwezen naar kader 13.

Op een meer operationeel niveau is het de bedoeling dat bij de evaluatie wordt gemeten in hoeverre de belangrijkste doelstellingen van het programma worden bereikt. In het geval van Merseyside had dc evaluatie betrekking op een aantal sleutelindicatoren (aantal MKB-bedrijven, gesaneerde oppervlakte bedrijventerrein, gerealiseerde oppervlakte bedrijfsruimte), waarbij behalve de gegevens over de output ook de corresponderende resultaten op het gebied van banenschepping en gegenereerde particuliere investeringen werden geinventariseerd. Er zijn gekwantificeerde doelstellingen voor 1999 beschikbaar en bij de evaluatie halverwege de looptijd zijn de tot dan gemaakte vorderingen gemeten. De voor deze indicatoren verstrekte gegevens zijn totalen op het niveau van de prioriteiten. Na de evaluatie halverwege de looptijd is begonnen met een proces van herziening van de referentiesituatie, de streefcijfers en de outputgegevens voor Merseyside. ^

Kader 5: Beoordeling van de doeltreffendheid aan de hand van programma-indicatoren - GPD voor Merseyside - Doelstelling 1 (1994-1999) - werkelijke outputs/resultateri dankzij de bijstand uit het EFRO

Priori- teit	EFRO-uitgaven	Bruto werkgele-genheidseffect (direct & indirect)	Oppervlakte bedrijfsruimte	Oppervlakte gesaneerd bedrijventerrein .	Particuliere investeringen
	min £	% van	x 1000	% van	x 1000	% van	ha	% van	min £	% van
		GPD		GPD-	m²	GPD-		GPD-		GPD-
				doel		doel		doel		doel
1	28.8	21	5.4	15	114	20	255	52	67	40
2	44.4	54	9.2	142	116	70	17	12	76	90
3	15.4	42	0.8	16	-	0	-	-	0	-
4	4.8	16	0.7	64	1	15	32	n/b	8	28
5	22.1	26	3.0	454	9	n/b	210	300	23	n/b
Totaal	115.5	31	19.2	39	240	24	513	73	176	77

Opmerking: De prioriteiten van het GPD voor Merseyside zijn: 1) van elders afkomstige investeringen, 2)

plaatselijke bedrijven, 3) maatregelen op het gebied van kennisinfrastructuur, 4) cultuur, media en vrijetijdsbesteding, 5) acties voor Merseyside.

Bron: Verslag over de evaluatie halverwege de looptijd (november 1996).

De op het niveau van het OP of GPD gedefinieerde indicatoren verschaffen een basis voor het toezicht op en de beoordeling van de doeltreffendheid. Zij maken op zichzelf echter nog geen definitieve conclusies mogelijk, vooral niet wat de effecten betreft, omdat in sommige gevallen het oorzakelijke verband moeilijk is vast te stellen (d.w.z.: de indicatoren kunnen door exteme factoren zijn be'invloed). Vaak is het nodig de gegevens over de indicatoren aan te vullen met een kwalitatieve analyse en met passend evaluatiewerk. ,

Overzicht van de belangrijkste outputs en resultaten

De aan de evaluatieverslagen ontleende micro-economische gegevens over outputs en resultaten zijn niet gemakkelijk in een geaggregeerde vorm te presenteren als gevolg van hun specifieke karakter en van het feit dat de programma’s in dit opzicht niet altijd onderling vergelijkbaar zijn. Onderkend moet ook worden dat de mate waarin deze gegevens halverwege de looptijd kunnen worden gekwantificeerd, verschilt naar gelang van het actieterrein (infrastructuur, midden- en kleinbedrijf, menselijk potentieel, enz.) en de regio. Onvermijdelijk verschillen de evaluatieverslagen enigszins van elkaar wat gehanteerde normen en reikwijdte betreft en dit geldt ook voor de mate waarin essentiele elementen zoals outputs, resultaten en veranderingen wat grote verschillen in ontwikkelingsniveau betreft konden worden gekwantificeerd. In kader 6 worden enkele prestaties van de programma’s voor de doelstellingen 1 en 6 behandeld.

Basisinfrastructuur - verkleining van de verschillen

Bij de basisinfrastructuur is het effect van de communautaire activiteit het meest zichtbaar en het best te meten. Het structurele effect van deze belangrijke investeringen is soms groot. Zo wordt in Spanje bijvoorbeeld gemiddeld meer dan 25 % van de nationale infrastructuurinvesteringen op het gebied van vervoers-, communicatie- en energienetwerken medegefinancierd via het CB. In de meeste sectoren is belangrijke vooruitgang geboekt wat de verkleining van de verschillen ten opzichte van de rest van de Unie betreft (zie kader 6).

Kader 6: Belangrijke prestaties op het gebied van de basisinfrastructuur

• De verlening van aanzienlijke steun voor de ontwikkeling van het strategische wegennet in de cohesielanden wordt voortgezet. Zo wordt er bijvoorbeeld steun verleend voor de verbetering van vier belangrijke corridors in lerland (in 1996 voor 49 % uitgevoerd, vergeleken met een voor 1999 gepland uitvoeringsniveau van 53 %) en voor de voltooiing van de snelweg Athene-Thessaloniki (tot nog toe 400 km aangelegd). Wat de aanleg van snelwegen en hoofdwegen in Portugal betreft, is het voor 1999 vastgestelde doel nu voor 74 % bereikt. In Spanje is de snelwegeninfrastructuur tussen 1993 en 1995 (het meest recente jaar waarvoor cijfers beschikbaar zijn) toegenomen met 13 %, wat vooral de minder ontwikkelde regio's zoals Andalusie ten goede is gekomen.

• In alle regio's van doelstelling 1 zijn belangrijke investeringen gedaan in de telecommunicatiesector om te zorgen voor modernere systemen zoals digitale centrales en optische kabelverbindingen. Dit heeft ertoe bijgedragen dat de verschillen in voorzieningenniveau ten opzichte van de rest van de Unie veel kleiner zijn geworden. In Portugal zijn er nu per 100 inwoners evenveel telefoonlijnen als het EU-gemiddelde, terwijl was verwacht dat dit doel pas in 1999 zou worden bereikt. In Zuid-Italie heeft de digitalisering inmiddels hetzelfde niveau (85 %) bereikt als in Midden- en Noord-Italie. In Spanje zijn de gedigitaliseerde netten tussen 1993 en 1995 toegenomen met 36 %.

• Er is ook vooruitgang geboekt op het gebied van de diversificatie van de energiebronnen, waarbij vooral de afhankelijkheid van olie kleiner is geworden. In Griekenland kan naar verwachting een begin worden gemaakt met de levering van aardgas. De aanleg van de hogedrukpijpleiding voor aardgas (513 km) is voltooid en een ander groot project (een lagedruknet voor aardgas met een totale lengte van 1.000 km) is bijna gereed (voor 84 %). In Portugal was in 1996 reeds meer dan de helft van het geplande gasnet (600 km) aangelegd en in 1999 zal het aandeel van gas in het totale energieverbruik 7,5 % bedragen. De afgelopen jaren is in Griekenland, Spanje en Portugal het energieverbruik in procenten van het BBP sterk gedaald.

• Wat de milieusector betreft, wordt steun verleend voor de verbetering van drinkwatervoorzieningssystemen en de vergroting van de capaciteit van afvalwaterzuiveringsinstallaties. In Griekenland zijn reeds systemen voor drin/cwatervoorziening en ajvalwaterzuivering voltooid die ongeveer 5 miljoen inwoners (de helft van de bevolking) bedienen. Ook in kleinere regio 's van doelstelling 1 is er geinvesteerd. Zo is er het subprogramma voor Noord-Ierland, waar de bouw van installaties voor de drin/cwatervoorziening en de ajvalwaterzuivering in het betrokken gebied ongeveer 2.270 banen heeft gecreeerd. Belangrijke milieuvoordelen zijn ook te danken aan een hele serie specifieke maatregelen, waaronder de sanering van belangrijke vervuilde industrieterreinen, de uitvoering van milieu-audits in het midden- en kleinbedrijf de steunverlening voor de ontwikkeling van ecoproducten en de vermindering van emissies via diversificatie van de energievoorziening.

Productive sector - steun voor de werkgelegenheid

In de productieve sector is de structurele steun toegespitst op verbetering van de omstandigheden voor bestaande bedrijven, waardoor het ontplooien van nieuwe activiteiten werd bevorderd. In brede kring wordt erkend dat vooral de steun aan het midden- en kleinbedrijf een belangrijke rol speelt in het scheppen van banen en dat er zo toe wordt bijgedragen om structurele verschillen in productiviteit en inkomensniveau te overbruggen. Enkele voorbeelden kunnen verduidelijken wat de recente ontwikkelingen zijn met betrekking tot de effecten die de Structuurfondsen in dit opzicht sorteren (zie kader 7).

Kader 7: Enkele prestaties in de productieve sector

• Bij de omvangrijke steunregelingen lag het accent vooral op het scheppen van banen, waardoor de negatieve gevolgen van de industriele herstructurering gedeeltelijk werden gecompenseerd.

- In Henegouwen zijn bijna alle middelen die beschikbaar zijn voor steunregelingen, in het bijzonder de steunregelingen voor het MKB, voor het einde van de periode gebruikt; volgens schattingen zijn met deze maatregelen nu al meer banen geschapen dan het aantal dat werd nagestreefd (er zijn meer dan 2.200 banen geschapen, terwijl de verwachting was dat het er 1.800 zouden zijn).

- In Duitsland (Doelstelling I) heeft de steun uit de Structuurfondsen actief bijgedragen tot de ondersteuning van de werkgelegenheid. Zo zijn bijvoorbeeld in Sachsen-Anhalt 18.500 arbeidsplaatsen in de chemische industrie ondersteund, en daar komen nog eens bijna 20.000 arbeidsplaatsen in het midden- en kleinbedrijf bij.

- In Italie heeft het industrieprogramma in de periode 1994-1996 waarschijnlijk meer dan 75.000 banen gecreeerd of veiliggesteld.

• In de toeristische sector zullen gunstige effecten optreden dankzij de realisering van nieuwe capaciteit, zoals in Sachsen (uitbreiding van de hotelcapaciteit met 11.500 bedden) en in Ierland, waar reeds 18 grote projecten zijn voltooid die zorgen voor extra voorzieningen om de kwaliteit en het niveau van toeristische attracties te verbeteren. Deze door de Structuurfondsen ondersteunde investeringen zullen nieuwe werkgelegenheid scheppen.

• Ook de heraanleg van industrieterreinen zal de economische omstandigheden helpen verbeteren en nieuwe bedrijven helpen aantrekken. In sommige Duitse deelstaten was dit een belangrijke prioriteit. Zo is bijvoorbeeld in Oost-Berlijn 51.000 mi² bedrijfsruimte gerenoveerd, wat 600 nieuwe banen kan opleveren. In Sachsen is in totaal 620 ha getransformeerd in bedrijvenparken. In Nord-Pas de Calais zal 40 a 45 % van de binnen de regio van doelstelling 1 gelegen industrieterreinen worden verbeterd.

Menselijke hulpbronnen : kwantificering van de effecten

Het werkplan voor de specifieke evaluaties op het gebied van de menselijke hulpbronnen voorzag onder meer in een analyse van het effect van de opleidingsmaatregelen op de begunstigden. De belangrijkste resultaten van de betrokken studies worden gepresenteerd in het onderstaande kader 8.

Kader 8: Effect van de opleidingsmaatregelen op de begunstigden

In Spanie heeft de beocrdelaar de inschakeling in het arbeidsproces van cursisten per doelgroep onderworpen aan een vergelijkende analyse met gebruikmaking van de databank van het INEM (het Rationale Instituut voor Arbeidsvoorziening) als controlegroep. De analyse betrof uitsluitend de maatregelen op het gebied van beroepsopleiding. De voornaamste conclusies stemmen overeen met de resultaten van de evaluatie achteraf voor de periode 1989-1993: wat het bruto-effect betreft, ligt het aan werk geholpen percentage 20 % hoger bij de cursisten dan in de controlegroep; het percentage dat werk heeft gevonden, ligt hoger bij de jongeren, de mannen en de houders van een diploma van het middelbaar onderwijs. Wordt echter het netto-effect geraamd, dan varieert het verschil ten opzichte van de controlegroep aanzienlijk volgens de kenmerken van de cursisten. Wat bijvoorbeeld degenen die ouder zijn dan 45 jaar betreft, lag bij de cursisten het percentage dat een baan heeft gevonden 32 % hoger dan in de controlegroep. De opleiding lijkt ook de kansen van vrouwen op het vinden van een baan te hebben vergroot: voor hen bedraagt het netto-effect 27,1 % tegen slechts 14,9 % voor mannen. Als wordt gekeken naar het kwalificatieniveau, is het effect van de opleiding voor degenen die alleen lager onderwijs hebben genoten opvallend: de opleiding heeft hun kansen op het vinden van een baan met 48,8 % verhoogd.

Duitsland: effect van de GIQst (Gemeinschaft Initiative - Ost)

In Duitsland is geraamd dat het federate programma ter ondersteuning van de GlOst (d.w.z. opleidingen voor jongeren in het kader van het leerlingstelsel) de werkloosheid onder jongeren in 1995 met 3 procentpunten heeft doen dalen. Tot nu toe zijn op het niveau van de deelstaten slechts weinig gegevens verzameld over het succes van de arbeidsbemiddeling. Bij combinaties van opleidingsmaatregelen en subsidies is het succespercentage doorgaans hoger, maar dergelijke combinaties zijn eerder uitzondering dan regel. Er kunnen hier enkele regionale resultaten worden vermeld. De beoordelaar concludeert dat in Berlin-Ost, voor de permanente educatie en de opleiding van werklozen samen, 60 % van de cursisten zes maanden later een baan had gevonden of hun baan nog steeds had weten te behouden. In Mecklenburg-Vorpommern vond 40 a 45 % van degenen die een opleidingsprogramma hadden gevolgd, een baan (21 a 32 % van hen op de eerste arbeidsmarkt). Een programma voor beginnende ondernemers, dat vooral tot doel had de betrokkenen te helpen ervoor te zorgen dat zij begonnen met een bedrijf dat levensvatbaar was, leidde ertoe dat circa 50 % van de starters succesvol was. Diverse programma’s voor de permanente educatie van werknemers (maatregelen van het doelstelling 4-type) in Mecklenburg-Vorpommern, Thuringen en Sachsen-Anhalt hadden als resultaat dat het gevoel van werkzekerheid bij de deelnemers met 35 a 77 % toenam.

Portugal: effect op het onderwiisstelsel '

Het programma PRODEP heeft het Portugese onderwijsstelsel versterkt in die zin dat de onderwijstrajecten werden gediversifieerd eh dat zowel kwalitatieve als kwantitatieve aspecten werden aangepakt. Een van de belangrijkste bijdragen van het programma betrof de opleiding van docenten, niet alleen voor het eerste en het twee.de niveau.(waar 49,3 % van de onderwijsgevenden werd bereikt), maar ook op universitair niveau (waar beurzen werden verstrekt om de mastergraad te behalen of te promoveren). Wat de uitbreiding en diversificatie van de onderwijs- en opleidingstrajecten betreft, kan worden gewezen op belangrijke veranderingen zoals het feit dat het middelbare onderwijs is uitgebreid en dichter bij de werkplek is gebracht en dat is gezorgd voor meer beroepskeuzevoorlichting en begeleiding op de scholen. In feite is dankzij de stem voor de opleiding van technici op middelbaar niveau een heel subsysteem ontstaan dat technische vaardigheden bijbrengt die rechtstreeks relevant zijn voor de arbeidsmarkt, en dat een alternatief biedt voqr het gewone onderwijs,__

Landbouw en plattelandsontwikkeling

Waar voor landbouw en plattelandsontwikkeling een afzonderlijk programma op nationaal niveau bestaat, is dat programma aan een specifieke evaluatie onderworpen. Voor de GPD’s en de landbouwmaatregelen uit de regionale programma’s geldt dat de evaluatie ervan is geintegreerd in een meer algemene evaluatie.

Sommige lidstaten zoals Ierland hebben gedetailleerde evaluaties laten verrichten voor de verschillende zwaartepunten van de programma's (agro-industrie, vestiging van jonge landbouwers, compenserende vergoedingen, gelijke kansen, landbouwopleiding, enz.). In die gevallen is gebleken dat de evaluatie een instrument is om een betere kennis van de situatie te verkrijgen, de problemen te analyseren en te achterhalen welke maatregelen het meest geschikt zijn om die problemen op te lossen.

Kader 9: Evaluatie van landbouwmaatregelen - het programma PAMAF (modernisering van de landbouwstructuur in Portugal)

In het evaluatieverslag wordt geconstateerd dat de fmanciele en fysieke uitvoering vrij traag op gang is gekomen, wat in hoofdzaak is toe te schrijven aan vertragingen in de uitwerking van de betrokken wetgeving en aan wijzigingen op het niveau van het beheer. Dit is nu echter onder controle en de beoordelaar is optimistisch ten aanzien van de mogelijkheid om door middel van enkele aanpassingen in het beheer en in de fmanciele verdeling over de maatregelen de achterstand in de uitvoering van het programma weg te werken en de beoogde doelstellingen te bereiken.

Dit operationele programma betreft hoofdzakelijk investeringssteun aan landbouwbedrijven (hoge uitvoeringsgraad), infrastructuurwerkzaamheden zoals irrigatie, de aanleg van landwegen, drainage en bodembehoud, de bosbouw, de verwerking en afzet van landbouw- en bosproducten, compenserende vergoedingen in de probleemgebieden en opleiding en onderzoek. Deze maatregelen hebben tot doel het concurrentievermogen van de landbouwbedrijven te vergroten. Bij de meeste ervan gaat het om een voortzetting van het vorige programma, dat gunstige resultaten heeft opgeleverd. De maatregelen maken trouwens deel uit van het structuurbeleid van de EU.

De beoordelaar vestigt er met name de aandacht op dat er sprake is van enige versnippering van de maatregelen, wat gevolgen heeft voor hei feitelijke effect en voor het beheer en de uitvoering. Hij bepleit een herschikking van de beschikbare bedragen ten gunste van de maatregelen die als prioritair worden beschouwd, waaronder met name de steun aan de landbouwbedrijven en voor irrigatie,• en hij legt de nadruk op de noodzaak de beroepsopleiding te versterken. Voorts constateert hij dat er inspanningen worden geleverd om de steun te concentreren op de prive-sector en dat er sprake is van een heterogene verdeling van de projecten over de regio’s. In het verslag worden enkele resultaten van het landbouwprogramma voor de periode 1994-1996 vermeld, waaronder de financiering van ongeveer 20.000 projecten en de steunverlening aan 11.500 landbouwbedrijven en voor de vestiging van 2.800 jonge landbouwers._

Visserij

Het FIOV verleent steun op vijf belangrijke actieterreinen: aanpassing van de visserij-inspanningen (26 % van de betrokken finaneiele middelen), vemieuwing en modernisering van de vloot (24 %), verwerking en afzet van de producten (23 %), ontwikkeling van de aquacultuur (11 %) en outillering van de vishavens (7 %). Het FIOV beheert momenteel 31 programma’s, waarvan 17 voor doelstelling 1, 12 voor doelstelling 5a en 2 voor doelstelling 6. Van de beschikbare middelen gaat 65 % naar doelstelling 1.

De evaluaties halverwege de looptijd van deze programma’s hebben interessante informatie opgeleverd over de doeltreffendheid van de bij stands vexlening en ten behoeve van de herprogrammering (verschuiving van middelen tussen actieterreinen of tussen maatregelen). Zij hebben enkele tekortkomingen van het toezicht aan het licht gebracht, vooral wat het verstrekken van sociaal-economische gegevens betreft. In bepaalde gevallen zijn voorgestelde verbeteringen van de indicatoren uitgevoerd en ook zijn er eerste analyses van het werkgelegenheidseffect verricht.

Kader 10: Een voorbeeld: het Spaanse programma in het kader van doelstelling 1

Dit operationele programma voor de visserij, waarvoor ongeveer I miljard ecu beschikbaar is, is een van de prioritaire zwaartepunten van het CB. De maatregelen van dit programma spitsen zich vooral toe op de aanpassing van de visserij-inspanning, de modernisering van de vloot, de verwerking van de producten, de aquacultuur en de outillering van de vishavens. In het evaluatieverslag wordt geconstateerd dat de gemiddelde uitvoeringsgraad bevredigend is (57 %), maar dat er op dit punt grote verschillen zijn al naar het actieterrein : de uitvoeringsgraad is laag bij de modernisering van de visserij en de aquacultuar (10 a 20 %) en hoog bij de haveninfrastructnur en de verwerking van de producten (60 a 100 %).

De ejfectiviteitsgraad is het laagst bij de aquacultuur (2 %) : problemen bij deze maatregel zijn de langdurige administratieve procedures die voor de projecten moeten worden gevolgd, de geringe rentabiliteit die potentiele investeerders afschrikt, en de milieu-eisen die bij de seleclie van de projecten worden gesteld. De hoogste ejfectiviteitsgraad kan worden geconstateerd bij de verwerking (65 %) : hier geven de bedrijven van de begunstigde meestal een forse groei te zien, zodat zij over een behoorlijke investeringscapaciteit beschikken. De beoordelaar stelt een herschikking van de financiele middelen voor die ten koste gaat van de aanpassing van de visserij-inspanning en van de aquacultuur en ten goede komt aan de modernisering van de vissersvaartuigen en aan de verwerking van de producten.

Een enquete onder de begunstigden heeft uitgewezen dat 35 % van de via het programma gesubsidieerde projecten werkgelegenheid heeft opgeleverd of in stand heeft gehouden (volgens de eerste resultaten: in totaal 780 arbeidsplaatsen), vooral op het gebied van de verwerking van de producten. Voorts wordt uitvoering gegeven aan voorstellen om de output- en resultaatindicatoren te verbeteren, om het aantal specifieke indicatoren voor de aquacultuur te verminderen, om effectindicatoren te bepalen met betrekking tot de vloot en om voor alle actieterreinen werkgelegenheidsindicatoren in te voeren. Tenslotte heeft de beoordelaar geconstateerd dat op het gebied van de aquacultuur sprake is van een strikte toepassing van het beginsel van milieubescherming, en beveelt hij aan om ook op andere terreinen (verwerking van de producten en outillering van de havens) meer rekening met dit beginsel te houden.

c) Kwaliteit van de uitvoeringsmechanismen

Er was ook' opdracht gegeven om bij de evaluaties halverwege de looptijd de manier te beoordelen waarop de middelen van de Fondsen worden beheerd, waarbij het vooral gaat om de toezichtsystemen en de criteria voor de selectie van de projecten.

Systemen voor het toezicht en de toepassing van indicatoren

In vergelijking met de voorgaande programmeringsperiode is bij de huidige programma’s sprake van belangrijke ontwikkelingen op het punt van het gebruik van kwantitatieve indicatoren als middel om toezicht uit te oefenen op de tenuitvoerlegging van de programma’s, om het effect van de programma’s te beoordelen en om na te gaan welke vorderingen zijn gemaakt bij de verwezenlijking van de algemene doelstellingen.

De Gemeenschap heeft een gemeenschappelijke gids voor het toezicht en de evaluatie 0Common Guide for Monitoring and Evaluation) opgesteld om voor een consistente aanpak en uniforme normen te zorgen¹⁶. Deze gids is een belangrijke stimulans geweest voor de genoemde verbeteringen. De situatie is echter niet voor alle programma’s even goed. Bij een aantal programma’s is de via de indicatoren beschikbare informatie vaak niet toereikend om de prestaties te kunnen meten of om te kunnen nagaan of bevredigende voortgang is gemaakt. Andere belangrijke tekortkomingen betreffen het ontbreken van passende praktische streefcijfers voor de maatregelen en van een

In de gids van de Commissie wordt met betrekking tot de indicatoren onderscheid gemaakt tussen de output, de resultaten en de effecten. De outputindicatoren hebben betrekking op de financiele en fysieke tenuitvoerlegging (b.v. het aantal aangelegde kilometers weg en de kosten daarvan, het aantal gegeven opleidingscursussen). Bij de resultaatindicatoren gaat het om de onmiddellijke gevolgen van een maatregel (b.v. tijdbesparing dankzij een wegenproject, het aantal deelnemers dat een opleidingscursus met succes heeft voltooid). Bij de effectindicatoren gaat het om wat er met de maatregel is bereikt. Daarbij kan onderscheid worden gemaakt tussen de specifieke of onmiddellijke effecten van een maatregel (b.v. het aantal personen die een baan hebben gekregen) en de algemene of uiteindelijke effecten, dit zijn de algemene sociaal-economische effecten (b.v. de stijging van de werkgelegenheid of van het BBP).

samenhangend, regelmatig functionerend systeem voor het verzamelen van gegevens over de fysieke outputs, de resultaten of de effecten.

Ondanks de vele verbeteringen blijft het definieren en kwantificeren van passende indicatoren nog een onbevredigend aspect van het beheer van de programma’s. De indicatorsystemen moeten verder worden uitgewerkt om het toezicht te verbeteren en te helpen bij de evaluatie, maar begonnen dient te worden met het opsporen van voorbeelden van goede benaderingen op dit gebied. Bij een aantal programma’s zijn interessante pogingen ondemomen om een adequaat beheersinformatiesysteem tot stand te brengen. In kader 11 worden enkele voorbeelden gegeven.

Kader 11: Verbetering van de toezichtsystemen

Een goed beheerd informatiesysteem is onmisbaar ter ondersteuning van het evaluatieproces (al komt er bij een goede evaluatie nog wel meer kijken). In Nord-Pas de Calais (doelstelling 1) wordt gewerkt met een gei'ntegreerd toezichtsysteem waarin financiele en fysieke indicatoren op projectniveau aan elkaar worden gekoppeld. In Noord-Ierland bestond de evaluatie halverwege de looptijd voor een belangrijk deel uit een intensieve analyse van NIQUID (de voor het GPD overeengekomen databank met alle indicatoren) met als doel er een effectief beheersinformatiesysteem voor het GPD van te maken. De beoordelaar stelde voor om op regelmatige basis de vorderingen te volgen bij 52 indicatoren in plaats van de in het GPD genoemde 330 indicatoren. Bovendien is voor elk subprogramma een stel van sleutelindicatoren ontwikkeld om despecifieke effecten van het subprogramma te kunnenbepalen.

Belangrijk werk is ook verricht in Italic, waar een gestandaardiseerd stelsel van indicatoren is uitgewerkt voor de ESF-maatregeien. In Portugal is voor nagenoeg alle actieterreinen een verbetering van de indicatoren bewerkstelligd, al is de kwaliteit van de gegevens nog voor verdere verbetering vatbaar._

Criteria voor de selectie van de projecten

In sommige gevallen zijn in de eerste twee of drie jaren van de tenuitvoerlegging van de programma’s tamelijk verfijride waarderingssystemen ontwikkeld voor de keuze van de mede te fmancieren projecten. Bij sommige van die systemen (b.v. in Merseyside) wordt met allerlei factoren tegelijkertijd rekening gehouden en wordt niet alleen de subsidiabiliteit beoordeeld, maar worden ook selectiecriteria gehanteerd per prioriteit en daarbinnen per maatregel. De criteria voor de prioriteit, die gemeenschappelijk zijn voor alle onder die prioriteit vallen projecten, betreffen bijvoorbeeld onder meer de outputs van het project, “waar voor je geld”, de gegenereerde prive-investeringen en recenter ook de milieueffecten.

In veel evaluaties halverwege de looptijd zijn vraagtekens geplaatst bij de doeltreffendheid van dergelijke systemen. Op zichzelf zijn doorzichtige en objectieve criteria een goede zaak, maar wellicht zijn zij niet voldoende om te garanderen dat de beste projecten worden gekozen. Er zullen verdere controles nodig zijn, bijvoorbeeld op de geloofwaardigheid van de* door de aanvragers verstrekte informatie en outputprognoses.

Kader 12: Merseyside - waarderingssystemen voor de selectie van ESF/EFRO-projecten

Voor het GPD voor Merseyside is een systeem voor de selectie van de projecten opgezet waarin criteria worden gehanteerd op drie niveaus : de subsidiabiliteitscriteria of "kerncriteria ”, de selectiecriteria voor de prioriteit, die gemeenschappelijk zijn voor alle onder die prioriteit vallende projecten, en de selectiecriteria voor de maatregel, die kunnen verschillen van die voor de prioriteit.

Het was de bedoeling criteriasets te ontwikkelen die begrijpelijk en doorzichtig waren en op een groot aantal heterogene projecten konden worden toegepast. De belangrijkste criteria voor de prioriteiten zijn onder meer de verwachte outputs van de projecten, "waar voor je geld”, de aard van de begunstigden (wat het ESF betreft), aspecten in verband met de arbeidsmarkt, bewijzen voor het bestaan van partnerschappen en samenwerkingsverbanden, de te genereren prive-investeringen en de milieueffecten.

2.3. Gebruikvan de evaluatieresultaten

Zoals in het voorgaande reeds is beschreven, vormen de evaluaties halverwege de looptijd een belangrijke bron van kennis voor de programmabeheerders en de beslissers. Zij informeren hen over essentiele zaken zoals de relevantie van de doelstellingen van de betrokken bijstandsverlening en de vraag in hoeverre de beoogde bredere effecten op de betrokken regio zich daadwerkelijk voordoen. Voor een gezaghebbende evaluatie is nodig dat deze door een strenge analyse wordt ondersteund en voldoende operationeel is om volledig voor beleidsdoeleinden te kunnen worden gebruikt.

De kwaliteit van de evaluatieresultaten garandeert echter nog niet dat deze resultaten ook zullen worden gebruikt. De evaluatie mag met andere woorden niet als de enige input voor de herziening halverwege de looptijd worden beschouwd. Instellingen en beleidsactoren zijn voortdurend bezig met de uitwisseling van informatie. Andere factoren die verband houden pet de politieke context of met het macro-economische kader, kunnen eveneens een rechtstreekse invloed op de uiteindelijke herprogrammeringsbesluiten uitoefenen. Met dit bredere kader voor ogen dient voor het evaluatieproces halverwege de looptijd onderscheid te worden gemaakt tussen drie verschillende gebruiksniveaus.

Bij het eerste gebruiksniveau gaat het om de rol die de evaluatie speelt als terugkoppelingsmechanisme dat informatie verstrekt over de doeltreffendheid van de beleidsmaatregelen. In een groot aantal gevallen is bij het aanbrengen van wijzigingen in de programma’s in ruime mate rekening gehouden met de resultaten en aanbevelingen die de evaluatie had opgeleverd. Het beste voorbeeld is de evaluatie halverwege de looptijd van het Ierse CB, die geloofwaardige en nuttige conclusies heeft opgeleverd welke hebben geleid tot herverdelingen van financiele middelen over maatregelen of subprogramma’s (zie kader 13).

In de tweede plaats heeft de evaluatie er een belangrijke rol in gespeeld dat programmabeheerders en beleidsmakers nieuwe bronnen van informatie of van voortdurende advisering tot hun beschikking kregen. Zo heeft bijvoorbeeld de evaluatie van het programma in het kader van doelstelling 1 voor Henegouwen, waarbij onder meer een specifiek macro-economisch model is gebruikt (zie kader 4), behalve nuttige informatie voor de herprogrammering ook conclusies opgeleverd die inzichten op langere termijn verschaften in de uit convergentieoogpunt te verwachten ontwikkeling van de regionale economic. Andere evaluaties bestreken een smaller aandachtsgebied en beklemtoonden het belang van bepaalde cruciale aspecten van het programmabeheer in plaats van een volledig overzicht te geven van het hele tenuitvoerleggingsproces.

Ten slotte heeft de ervaring ook uitgewezen dat een aanzienlijke inbreng van de bij het programma betrokken partners erg belangrijk is voor het welslagen en de effectiviteit van het evaluatieproces. Een van de belangrijke resultaten is dat beslissers bij de bespreking van evaluatiekwesties werden betrokken en daarbij het een en ander hebben geleerd dat nuttig is om hun optreden te verbeteren. Alhoewel dit leerproces niet altijd formeel was gestructureerd, heeft het een belangrijk effect gehad op het uiteindelijke verloop van de herzieningen halverwege de looptijd.

III. BELANGRIJKSTE RESULT ATEN EN AANPASSINGEN

De evaluaties hebben informatie opgeleverd voor de herziening halverwege de looptijd door een algemeen oordeel te vellen over wat in de eerste helft van de programmeringsperiode was bereikt. In dit verslag wordt in grote lijnen nagegaan waartoe dit heeft geleid door te bekijken welke aanpassingen in de programma’s zijn aangebracht. Ook wordt aandacht besteed aan de mate waarin de door de Commissie vastgestelde prioriteiten in de programma’s zijn verwerkt. .

3.1. Verb and tussen de evaluatie en de herprogrammering

De evaluaties vonden binnen de overeengekomen termijn plaats zodat met de resultaten ervan rekening kon worden gehouden bij de herzieningen halverwege de looptijd die in 1997 en 1998 zijn uitgevoerd¹⁷. Hier dient ook te worden vermeld dat, hoewel de programma’s in de drie nieuwe lidstaten een jaar later van start zijn gegaan dan in de andere lidstaten, alle drie de nieuwe lidstaten formele regelingen hebben getroffen om met evaluaties halverwege de looptijd te beginnen. De Commissie heeft de uitwisseling van ervaringen tussen de beoordelaars gestimuleerd, waardoor bij de evaluaties gebruik kon worden gemaakt van nieuwe ideeen. Een belangrijk kenmerk van dit hele proces is dat er geen grote aanpassingen zijn gebeurd voordat de evaluaties waren afgerond en de programma’s formed waren herzien.

In het algemeen zijn de evaluaties nuttig gebleken doordat belangrijke problemen aan de orde zijn gesteld of de aandacht is gevestigd op de soorten besluiten die moesten worden genomen. De mate waarin zij deze rol hebben kunnen vervullen, hing af van de intrinsieke kwaliteit van de analyses en van het operationele karakter van de gedane aanbevelingen.

Wat de plattelandsontwikkeling betreft, zijn bij de tussentijdse evaluaties aanbevelingen en concrete voorstellen geformuleerd op verzoek van de Commissie en van de beheersautoriteiten. Het ligt dus voor de hand dat de evaluaties voorstellen hebben opgeleverd om de financiele middelen te herschikken. In Spanje en Duitsland vielen de voorgestelde herschikkingen samen met die welke door de verantwoordelijke autoriteiten werden voorgesteld, aangezien in beide gevallen werd uitgegaan van dezelfde onderbouwing (bij de maatregelen gemaakte vorderingen volgens de gegevens van het toezicht). In andere gevallen zijn de voorgestelde financiele herschikkingen slechts . gedeeltelijk in aanmerking genomen (Portugal). Soms zijn de evaluaties pas uitgevoerd nadat de programma's al gewijzigd waren, maar is dan achteraf wel gebleken dat de evaluatieresultaten niet met de aangebrachte wijzigingen in tegenspraak waren (Frankrijk). In Italie hebben de beoordelaren vooral de problemen bij de uitvoering geanalyseerd en zijn de financiele herschikkingen voorgesteld door degenen die verantwoordelijk zijn voor de programma's. Wat Ierland betreft is melding gemaakt van het feit dat de door de beoordelaars aanbevolen uitbreiding van bepaalde maatregelen niet mogelijk is gebleken omdat de benodigde financiele middelen ontbraken.

Enige vertraging in de onderhandelingen voor de herziening halverwege de looptijd heeft zich voorgedaan in Frankrijk voor doelstelling 1 (vooral wat Reunion betreft) en in Griekenland (herprogrammering van de EFRO-maatregelen; wijzigingen van de ESF-maatregelen gepland voor de tweede helft van 1998). In Italie is in april 1998 over een aantal herprogrammeringen beslist en de herziening halverwege de looptijd zal in oktober worden afgerond op basis van de feitelijke voortgang bij enkele programma’s waarvoor de bestedingen een traag verloop kennen.

Ierland en Merseyside als voorbeeld

Het hele proces van de herziening halverwege de looptijd, vanaf de formele evaluatie tot en met de tenuitvoerlegging van de besluiten over de financiele herschikkingen, wordt hier geillustreerd aan de hand van twee voorbeelden. Zij betreffen twee vormen van bijstandsverlening van verschillende omvang : een groot CB (Ierland) en een GPD (Merseyside) (zie de kaders 13 en 14).

Kader 13 : Herziening halverwege de iooptijd (I) : het Ierse CB

Volgens het verslag is het lerse CB een groot succes en zijn de financiele middelen op effectieve wijze ingezet om het opmerkelijke economische herstel te ondersteunen en te bevorderen. De planning van de overheidsuitgaven op middellange termijn in het kader van het CB heeft ertoe geleid dat op veel terreinen systematischer een ejfectiever programmering heeft plaatsgevonden.

Bij de evaluatie van het GB zijn vraagtekens geplaatst bij het nut van financiele steun van de overheid voor een aantal specifieke maatregelen, vooral als het gaat om het gratis of met subsidie verstrekken van diensten waarvoor bedrijven en burgers ook wel willen betalen. Een fundamentele veronderstelling was dat de markten het effectiefste en efficientste middel zijn om economische en sociale doelstellingen te bereiken, zodat overheidsingrijpen alleen dan gerechtvaardigd is als de markt niet naar behoren functioneert en de betrokken ingreep niet zelf economische distorsies veroorzaakt. Uitgaande van deze theoretische veronderstellingen, werden vier situaties onderkend waarin naar het oordeel van de beoordelaars overheidsingrijpen in een markteconomie gerechtvaardigd kan zijn :

- het aanbieden van openbare goederen en diensten (zoals de vervoersinfrastructuur) die zonder overheidssteun niet beschikbaar zouden worden gesteld;

- het verstrekken van corrigerende subsidies om de prijs van goederen en diensten te veranderen in het geval dat de marktprijs niet past bij het bredere maatschappelijke belong dat moet worden gediend (b.v. de kosten van leningen voor het midden- en kleinbedrijf);

- het beheer van regelingen die erop zijn gericht gedrag te veranderen door leemten op het gebied van kennis, bewustzijn of inzicht aan te vullen (b.v. eigenaren van bedrijven of werknemers kennis laten maken met nieuwe technologie);

- de herverdeling van rijkdom via subsidies of uitkeringen om brede maatschappelijke doelstellingen te bereiken.

Aan de hand van de hierboven beschreven situaties werden de 166 CB-maatregelen dan ingedeeld in categorieen. Om binnen elke categorie onderlinge vergelijkingen mogelijk te maken werden binnen de betrokken categorie een of twee “ankermaatregelen” geselecteerd, waarbij het ging om grootschalige maatregelen dan wel maatregelen die betrekking hadden op reeds long bestaande en goed begrepen onderdelen van het overheidsbeleid. Op basis van deze vergelijkingen werd uitgemaakt welke maatregelen succesvol waren en welke maatregelen dat niet waren.

Vervolgens werden ongeveer 150 aanbevelingen geformuleerd over een effectievere besteding van de CB-middelen, waarbij vooral aandacht werd besteed aan de maatregelen die onvoldoende doelgericht waren of ongewenste effecten hadden. De evaluatie heeft duidelijke argumenten opgeleverd om meer overheidsgeld te besteden aan Jysieke infrastructuur, en vooral aan de wegen buiten de steden. Met betrekking tot sommige op de vraag gebaseerde maatregelen werd voorgesteld de bestedingsdoeleinden te herzien in overeenstemming met de feitelijke ontwikkeling en bijvoorbeeld het voor het subprogramma levensmiddelenindustrie uitgetrokken bedrag te verlagen.

Tijdens besprekingen in de Toezichtcomites werd ook erkend dat meer nadruk moest worden gelegd op de bestrijding van de jeugdwerkloosheid en de langdurige werkloosheid en dat de toewijzingen voor specifieke maatregelen op onderwijsgebied en ten behoeve van de kansarmen moesten worden verhoogd.

Het verslag over de evaluatie van het CB bevat ook een aantal gedetailleerde aanbevelingen met betrekking tot het beheer en de tenuitvoerlegging van specifieke maatregelen. Zo wordt bijvoorbeeld betoogd dat er bij de gesubsidieerde dienstverlening te weinig concurrentie is als gevolg van de dominante positie van staatsbedrijven. Wat het toezicht betreft, wordt in het verslag voorgesteld de prestatie-indicatoren verder te verbeteren, al wordt toegegeven dat bij het huidige CB al de meest geavanceerde systemen voor het toezicht en de toepassing van indicatoren worden gebruikt.__' ,

Bij de herziening halverwege de looptijd zijn deze aanbevelingen grotendeels opgevolgd. Er hebben dan ook vooral verschuivingen plaatsgevonden van de productive sector naar de ontwikkeling van de menselijke hulpbronnen en de economische infrastructuur. Er is in totaal 163 miljoen ecu aan andere maatregelen toegewezen, waarbij het vooral gaat om OTO (37 miljoen ecu) vervoersinfrastructuur (36 miljoen ecu) en een serie maatregelen ten behoeve van vroege schoolverlaters en andere kansarme groepen (46 miljoen ecu).

Kader 14: Herziening halverwege de looptijd (II) : het GPD voor Merseyside (doelstelling 1)

Aan Merseyside wordt uit de Structuurfondsen 816 miljoen ecu aan steun verleend via de vijf prioriteiten voor verandering van het gecombineerde programmeringsdocument voor Merseyside : van elders afkomstige investeringen en grote bedrijven; plaatselijke bedrijven; kennisindustrie en geavanceerde technologie; cultuur, media en vrijetijdsbesteding; actie voor de mensen van Merseyside. Deze laatste prioriteit krijgt het grootste deel van de voor het programma bestemde middelen (meer dan twee vijfde). Aan de prioriteiten 'van elders afkomstige investeringen' en "plaatselijke bedrijven” wordt respectievelijk een kwart en een vijfde van de programmamiddelen besteed

De komst van het gecombineerde programma viel samen met een cyclische heropleving van de economic van het VK, die werd gekenmerkt door een sterkere dating van de werkloosheid en een grotere economische groei dan gemiddeld in de EU. Ook Merseyside heeft van deze heropleving geprofiteerd, zodat de middelen van de Structuurfondsen konden worden besteed onder omstandigheden die gunstiger waren dan die waarvan bij de uitwerking van het gecombineerde programma was uitgegaan. In vergelijking met het VK als geheel heeft Merseyside slechts een kleine doling van de werkloosheid te zien gegeven, maar bij de beoordeling daarvan moet wel rekening worden gehouden met de recente verslechtering van de belangrijkste sociale en economische indicatoren.

Bij de evaluatie halverwege de looptijd werden het huidige en het potentiele effect van het gecombineerde programma op de mensen en het bedrijfsleven in Merseyside beoordeeld, kritische opmerkingen over de bestaande toezichtregelingen gemaakt en aanbevelingen geformuleerd voor de voortzetting van het programma in het resterende gedeelte van de programmeringsperiode. Het onderzoek aan de hand van documenten werd aangevuld met een bestudering van 100 afzonderlijke projecten en met uitvoerige enquetes en interviews die werden toegespitst op de begunstigden van het programma. Er werd heel wat evaluatieonderzoek van hoge kwaliteit verricht. Dit compenseerde in belangrijke mate het feit dat bij gebrek aan middelen het aantal grondige analyses beperkt moest blijven.

De beoordelaar heeft een aantal gedetailleerde en onderbouwde aanbevelingen gedaan. Met name heeft hij voorgesteld om in de toekomst het toezicht en de evaluatie te concentreren op de grotere projecten die waarschijnlijk het meeste effect zullen sorteren, en ook op aspecten zoals de verplaatsing van werkgelegenheid en de duurzaamheid. Ook werd aanbevolen het bestaande stel indicatoren uit te breiden om de beoordeling van de effecten van het programma te verbeteren. Tot de voorgestelde indicatoren behoorden onder meer het overlevingspercentage bij de MKB-bedrijven en de mate waarin deze bedrijven gebruikmaken van nieuwe technologie. Daaraan werd toegevoegd dat er te weinig aandacht was voor synergieen binnen de vijf prioriteiten van het programma en voor thema’s die raakpunten hebben met verscheidene maatregelen.

De herprogrammeringen bij de herziening halverwege de looptijd waren grotendeels gebaseerd op de voorstellen van de beoordelaar en waren ook in belangrijke mate in overeenstemming met de prioriteiten voor het regionale beleid die de Commissie voor de periode tot eind 1999 had vastgesteld. In totaal heeft 97 miljoen ecu een nieuwe bestemming gekregen, waarbij vooral meer geld is uitgetrokken voor maatregelen waar de kans het grootst is dat rechtstreeks banen zullen worden geschapen (midden- en kleinbedrijf technologie en maatschappelijke integratie). In het programma zijn nieuwe maatregelen opgenomen die betrekking hebben op de verwerking van visserijproducten en de ontwikkeling en toepassing van communicatietechnologieen. De Commissie heeft ook een termijn vastgesteld voor een algehele herziening van de referentiegegevens en de streefcijfers, waarbij vooral aandacht moet worden besteed aan de nettowerkgelegenheidseffecten._

3.2. In totaal met de hertoewijzingen van middelen uit de Structuurfondsen gemoeide bedragen

Alle CB’s, GPD’s en andere vormen van bijstandsverlening voor de doelstellingen 1 en 6 werden onderworpen aan een herziening halverwege de looptijd. De enige uitzondering vormden de nieuwe Duitse deelstaten, waar de programma’s voortdurend worden bijgesteld. A1 deze herzieningen hebben geleid tot financiele verschuivingen van uiteenlopende omvang om de algehele doelmatigheid van de bijstandsverlening te verbeteren.

Bij de grote en meer complexe CB’s zijn er in verband met de betrokken bedragen meer mogelijkheden voor dergelijke veranderingen dan bij de GPD’s. Er is echter geen rechtstreeks verband tussen de omvang van de wijzigingen en de mate waarin de programma’s een succes dan wel een mislukking zijn. Zelfs een zeer succesvol maatregelenpakket (b.v. het Ierse CB) kan worden verbeterd en moet op sommige punten worden gecorrigeerd zonder dat daarbij hoofdprioriteiten en -doelstellingen worden gewijzigd.

De ruimte voor herschikkingen verschilde sterk van programma tot programma. In het algemeen is vooral op het tempo van de financiele uitvoering gelet, wat in het bijzonder geldt voor de programma’s met een te traag uitgavenverloop. De herschikkingen geven ook aan in hoeverre er rekening is gehouden met de EU-prioriteiten (zie punt 3.3). Doorgaans hebben de programma’s slechts beperkte aanpassingen ondergaan zonder dat de strategische prioriteiten werden gewijzigd. In bepaalde gevallen (b.v. de Italiaanse regio’s van doelstelling 1, het Portugese CB) is geld overgeheveld van de programma’s of subprogramma’s met een trager uitgaventempo naar die waar de uitgaven sneller verlopen; daarbij is ook met andere, kwalitatieve criteria rekening gehouden. In de meeste gevallen betrof het echter verschuivingen tussen maatregelen binnen hetzelfde programma. Ook via de inflatiecorrectie beschikbaar komende extra middelen zijn gebruikt om bepaalde acties te herorienteren, vooral ten gunste van het scheppen van werkgelegenheid. In grafiek 4 is voor elk van de betrokken lidstaten de omvang van het overgedragen bedrag weergegeven.

De grootste verschuivingen vonden plaats bij het CB voor doelstelling 1 in Italie (ongeveer 700 miljoen ecu, inclusief de nog niet geprogrammeerde middelen en de CB-indexering voor 1998), Spanje (meer dan 600 miljoen ecu) en Griekenland (400 miljoen ecu alleen al voor de nationale programma’s). Hoewel dit hoge bedragen zijn, maken zij slechts tussen 2 % (Spanje) en 5 % uit van de totale toewijzing uit de Structuurfondsen aan de betrokken lidstaat. In Ierland beliep de overdracht van steun uit de Structuurfondsen 160 miljoen ecu, d.i. 3 % van de middelen die deze Fondsen voor de periode 1994-1999 beschikbaar hebben gesteld. In Noord-Ierland werden geen middelen tussen subprogramma’s overgedragen, afgezien van de toewijzing van de via de inflatiecorrectie beschikbaar gekomen middelen. In Finland en Zweden betroffen de belangrijkste wijzigingen samenvoegingen van maatregelen om de programmastructuur te vereenvoudigen.

Omgekeerd zijn in enkele vrije kleine programma’s wijzigingen aangebracht die in absolute cijfers niet zo groot zijn, maar relatief gesproken, d.w.z. in procenten van de totale toewijzing uit de Structuurfondsen, wel. In het Belgische Henegouwen heeft circa 19 % van de beschikbare middelen een andere bestemming gekregen, waarbij het betrokken geld vooral naar steunregelingen ten behoeve van het midden- en kleinbedrijf is gegaan. In Flevoland gaat het ondanks de vrij grote relatieve omvang. van de overdrachten (13 %) slechts om diverse kleinere wijzigingen in de GPD-maatregelen, waarbij de algemene doelstellingen onveranderd blijven.

Het is vrij moeilijk een algemeen overzicht van de aard van deze aanpassingen te geven. De opmerkingen van een meer kwalitatieve aard in de navolgende paragraaf blijven daarom beperkt tot slechts enkele essentiele EU-prioriteiten.

Grafiek 4: Steun uit de Structuurfondsen die bij de herziening halverwege de looptijd een andere bestemming heeft gekregen, per lidstaat (in miljoen ecu)

1 regionale uitsplitsing : Nord-Pas de Calais (19,6 min ecu), Corsica (10,1 min ecu), Guyana (36,1 min ecu) en Martinique (22,4 min ecu).

2 uitsluitend de hertoewijzingen van EFRO-middelen.

3 regionale uitsplitsing : Noord-Ierland (69,8 min ecu), Merseyside (97,0 min ecu) en Highlands and Islands (21 min ecu).

4 geen herziening halverwege de looptijd.

3.3. Opneming van de EU-prioriteiten in de programmes

Het is niet altijd gemakkelijk te beoordelen in hoeverre rekening is gehouden met de EU-prioriteiten die zijn vastgesteld in de richtsnoeren van de Commissie voor de herziening halverwege de looptijd. De toevoeging van nieuwe maatregelen of de toewijzing van extra middelen voor bestaande maatregelen kan in dit verband echter tot op zekere hoogte een aanwijzing zijn.

Basisinfrastructuur - meer middelen voor de TEN’S

Het verkleinen van de verschillen in infrastructuurvoorzieningen in de sectoren vervoer, energie, telecommunicatie en milieu is een langetermijndoelstelling van de Structuurfondsen. Dit blijkt met name uit het gedeelte van de totale middelen (meer dan 30 %) dat de programmeringsdocumenten voor doelstelling 1 voor de periode 1994-1999 daarvoor hebben bestemd.

Voor de meeste regio’s blijft dit een belangrijke prioriteit, maar bij de herziening zijn geen belangrijke bedragen beschikbaar gesteld voor nieuwe infrastructuur. In het algemeen lag het accent op specifieke TEN-projecten om voor efficiente verbindingen en systemen te zorgen, vooral in de vervoerssector (kader 15).

Kader 15: Programma betreffende luchthavens - Italie, doelstelling 1

Dit programma heeft tot doel bestaande luchthavens in Zuid-Italie te verbeteren. De Commissie had het onlangs goedgekeurd en er was 10 miljoen ecu voor beschikbaar gesteld, maar bij de herziening halverwege de looptijd is overeengekomen nog 50 miljoen extra voor dit programma uit te trekken, en wel uitsluitend voor TEN-projecten om de betrokken regio verder te ontsluiten.

Productive sector - een sterker accent op werkgelegenheid

Uit de resultaten van de herzieningen halverwege de looptijd blijkt dat er ruimte is gevonden om een sterker accent op de werkgelegenheid te leggen via allerlei acties (meer middelen voor steunregelingen, territoriale werkgelegenheidspacten, initiatieven op het gebied van plaatselijke ontwikkeling, enz.). Uit een aantal reeds genomen besluiten, bijvoorbeeld om territoriale werkgelegenheidspacten op te nemen in de hoofdprogramma’s (kader 16), blijkt dat er sprake is van een streven en inzet van de politiek om de werkloosheid effectiever te bestrijden. Zoals uit de herziene CB’s en GPD’s blijkt, wordt in de meeste lidstaten ook meer aandacht besteed aan de rol die projecten, vooral projecten ten behoeve van het midden- en kleinbedrijf, spelen in het creeren van werkgelegenheid.

In deze context is bij de herzieningen halverwege de looptijd bekeken of de beleidsinstrumenten wel effectief zijn ter ondersteuning van banenschepping en ter bevordering van een actiever werkgelegenheidsbeleid via maatregelen betreffende de menselijke hulpbronnen en het onderwijs. Op een meer operationeel niveau is ook aandacht besteed aan het meten van de werkgelegenheidseffecten (b.v. regio’s in het VK, Nord-Pas de Calais) en is erop gelet dat in de criteria voor de selectie van de projecten meer rekening wordt gehouden met het aspect werkgelegenheid (b.v. Italie).

Kader 16: Territoriale werkgelegenheidspacten

In drie lidstaten (Spanje, Griekenland en Italie) hebben de Toezichtcomites CB-middelen toegewezen voor programma’s of specifieke maatregelen die zijn gericht op de financiering van actieplannen in het kader van territoriale werkgelegenheidspacten. In Spanje (doelstelling 1) wordt via een nieuw multiregionaal programma 55 miljoen ecu aan EU-middelen (afkomstig van de indexering voor het CB) toegekend voor vijf prior itair e pacten. In Griekenland is het de bedoeling de via de indexeringen voor 1997 en 1998 beschikbaar gekomen middelen te bestemmen voor specifieke subprogramma’s binnen de regionale programma's, die momenteel worden herzien. In Italic hebben de nationale autoriteiten in het kader van de herziening halverwege de looptijd voorgesteld negen pacten te ondersteunen via een multiregionaal meerfondsenprogramma waarvoor in totaal 280 miljoen ecu beschikbaar wordt gesteld, waarvan 140 miljoen ecu uit de Structuurfondsen._

Ook nationale steunregelingen die door de Structuurfondsen worden medegefinancierd, zijn herzien om een sterker accent te leggen op het scheppen van werkgelegenheid en op ondersteuning van het midden- en kleinbedrijf (zie kader 17).

Kader 17: Midden- en kleinbedrijf : het Griekse CB

De Griekse autoriteiten hebben in het kader van een herorientering van him operationele programma voor de industrie 136 miljoen ecu meer uitgetrokken ten behoeve van het midden- en kleinbedrijf. De nationale steunregeling is overeenkomstig de richtsnoeren van de Commissie herzien door meer steun te verlenen voor zakelijke dienstverlening en door de steun sterker op indirecte vormen van hulp te richten en minder directe subsidies toe te kennen. Er zijn bemiddelende instanties opgericht voor het beheer van de MKB-acties en de projecten zullen op concurrentiebasis worden geselecteerd. De te financieren MKB-projecten (ongeveer I 450 van de meer dan 4 200 projecten die zijn ontvangen) zijn ook vooraf beoordeeld._

Milieu en duurzame ontwikkeling

Het milieu is als factor voor duurzame ontwikkeling een van de in de hele EU sterk verspreide prioriteiten waar bij de herzieningen halverwege de looptijd heel vaak aandacht aan is besteed. Daartoe zijn specifieke maatregelen genomen of, nog belangrijker, is het milieuaspect horizontaal geintegreerd in de andere programmaprioriteiten. Als gevolg van objectieve problemen (ontbrekende indicatoren, methodologische aspecten) konden de resultaten van de herziening halverwege de looptijd niet in alle gevallen worden omgezet in rechtstreekse operationele conclusies voor de aanpassing van programma's. Vooral het ontbreken van een systematische milieueffectbeoordeling van de projecten werd onder de aandacht gebracht en daarbij werd erop gewezen dat het de kwaliteit van de projecten ten goede zou komen als dergelijke beoordelingen wel systematisch zouden worden uitgevoerd. De weg werd geeffend om in de volgende programmeringsperiode de procedures inzake milieubescherming, en in het algemeen de procedures voor de selectie van de projecten, te verbeteren (kader 18).

Kader 18: Horizontale integrate van milieuoverwegingen

Het milieu is voor de meeste lidstaten al heel long een punt van zorg. De Structuurfondsen kunnen alleen dan een behoorlijke bijdrage aan de milieubescherming leveren, als bij alle besluiten over projecten rekening met het milieu wordt gehouden om de schade eraan te minimaliseren en de positieve effecten te maximaliseren, bijvoorbeeld door de voorkeur te geven aan projecten waarvan positieve milieueffecten uitgaan (preventieve maatregelen, ecoproducten, enz...). De diensten van de Commissie zijn actief betrokken bij werkzaamheden betreffende de milieueffectbeoordeling (er is reeds een specifieke thematische studie in uitvoering, er is een handleiding voor de milieubeoordeling van de regionale ontwikkelingsplannen en de door de EU-Structuurfondsen gesteunde programma's opgesteld, enz.) waarmee wordt beoogd de integratie van milieuoverwegingen te verbeteren.

Vooral in Finland en Zweden is vooruitgang geboekt wat het hanteren van het milieu als "kerncriterium " bij de selectie van de projecten betreft. Onlangs is ook in Italie dit criterium in het industrieprogramma opgenomen voor de selectie van nieuwe industrieprojecten.

Onderzoek en technologische ontwikkeling

Meestal zijn reeds voorzieningen voor onderzoek en technologische ontwikkeling aanwezig, maar moet het gebruik ervan worden geoptimaliseerd. In de betrokken programma’s zijn bepaalde verbeteringen aangebracht, onder meer door de OTO-investeringen ten behoeve van het plaatselijke bedrijfsleven te verhogen (zie kader 19).

Kader 19 : Onderzoek en technologische ontwikkeling : het Ierse CB

In het oorspronkelijke CB was het belong van OTO reeds onderkend, maar bij de herziening halverwege de looptijd is de positie ervan verder versterkt. Er is circa 37 miljoen ecu uitgetrokken voor extra OTO-maatregelen binnen het operationele programma voor de industrie. Er zullen aanbestedingen op basis van concurrentie worden uitgeschreven en de steunpercentages zullen worden verlaagd. Het Toezichtcomite heeft ook besloten om bepaalde dienstverlening tegen kostprijs aan de industriele sector aan te bieden.

Informatiemaatsch appij

Ontwikkeling van de informatiemaatschappij helpt de effecten van een perifere ligging te verminderen, wat dan weer tot meer investeringen en een grotere productiviteit leidt. Daarom zijn meer middelen beschikbaar gesteld voor de prioriteit “informatiemaatschappij” (kader 20).

Kader 20 : Informatiemaatschappij (Portugal, Spanje)

Naar aanleiding van een specifieke aanbeveling van de beoordelaar is in Spanje binnen het CB een nieuw subzwaartepunt (6.6) betreffende de informatiemaatschappij gecreeerd. In eerste instantie is daarvoor 46 miljoen ecu uitgetrokken. De EFRO-maatregelen zullen worden toegespitst op de verlening van professionele en interactieve diensten aan universiteiten, de toeristische sector en het bedrijfsleven, De ESF-maatregelen zullen worden geconcentreerd op specifieke opleidingsacties ten behoeve van de burgers en de plaatselijke overheden.

Een belangrijke innovatie in het CB voor Portugal is de opneming van een nieuwe maatregel ter ondersteuning van de informatiemaatschappij in het subprogramma 'Telecommunicatie'. Voor deze maatregel heeft het EFRO 7 miljoen ecu beschikbaar gesteld. Daarnaast worden ook belangrijke inspanningen geleverd via andere CB-programma’s, en vooral via het programma voor plaatselijke ontwikkeling (PDDR), dat ervoor zal zorgen dat alle plaatselijke ontwikkelingsmaatschappijen onderling worden verbonden, en via het onderwijsprogramma, dat beoogt alle middelbare scholen op het Internet aan te sluiten.

Ontwikkeling van de menselijke hulpbronnen

Wat de maatregelen voor de ontwikkeling van de menselijke hulpbronnen betreft, werd een herorientering op de werklozen noodzakelijk geacht nadat gedurende drie jaar een sterk accent op de jongeren was gelegd. Deze accentverschuiving in de richting van de werklozen is ook in overeenstemming met de preventieve aanpak die in de werkgelegenheidsrichtsnoeren wordt bepleit. Er wordt op verschillende manieren meer voor de werklozen gedaan: de gei'ntegreerde maatregelen (begeleiding en beroepskeuzevoorlichting, opleiding en werkgelegenheidssteun) worden versterkt, er worden meer subsidies verleend voor de oprichting van micro-bedrijven, er worden nieuwe vormen van opleiding ontwikkeld en de plaatselijke dienstverlening op het gebied van arbeidsvoorziening wordt verbeterd. Binnen de op jongeren gerichte maatregelen werd steun toegekend om de aandacht te verleggen van conventionele onderwijs- en opleidingsprogramma’s naar initiatieven ten behoeve van met uitsluiting bedreigde jongeren en vroege schoolverlaters. Daarbij is steun verleend voor een nauwere integratie tussen de gewone onderwijssystemen en de meer altematieve opleidings- en werkgelegenheidssystemen, vooral ten aanzien van beroepsopleidingen op het niveau van het hoger middelbaar onderwijs (kader 21).

Kader 21: Ontwikkeling van de menselijke hulpbronnen - Ierland, doelstelling 1

De herziening halverwege de looptijd van het operationele programma voor de ontwikkeling van de menselijke hulpbronnen (HRDOP) in Ierland is in oktober 1997 door het Toezichtcomite goedgekeurd. De informatie voor deze herziening was niet alleen afkomstig uit de verslagen over het HRDOP en het CB en van de evaluatie-eenheid voor ESF-programma’s, maar ook uit nationale en communautaire beleidsrichtsnoeren zoals de witboeken van de regering en de werkgelegenheidsstrategie van de EU.

Het door het Toezichtcomite goedgekeurde pakket voor de herziening halverwege de looptijd omvatte : een breed beleidskader, financiele herschikkingen met een herzien financieringsplan (de wijzigingen binnen het operationele programma betroffen circa 40 miljoen ecu, inclusief een verhoging van de beschikbare middelen met 14 miljoen ecu) en een overzicht van de acties die moesten worden ondernomen naar aanleiding van de kwalitatieve aanbevelingen in de evaluaties van het OP en het CB.

De belangrijkste herschikking binnen het OP betrof de maatregel voor vroege schoolverlaters (verhoging met 26 miljoen ecu) en had tot doel minimaal 1 000 extra plaatsen te realiseren (met de mogelijkheid om

-32-

er binnen het beschikbare totaalbedrag zo nodig nog 1 400 meer te realiseren). Ook de begeleidende maatregelen werden versterkt, wat een flexibeler aanpak mogelijk maakte. Voorts werden binnen andere maatregelen via een herschikking verkregen middelen speciaal bestemd voor extra plaatsen om het vroege schoolverlaters mogelijk te maken nog verder vooruit te komen. Het Toezichtcomite nam ook kwalitatieve aanbevelingen over met betrekking tot een herorientering op langdurig werklozen, een betere afstemming van de industriele opleidingen op de behoeften van de werkgevers en het uitbreiden van de investeringen in infrastructuur voor kinderopvang.

Gelijke kansen

In veel programma’s wordt meer aandacht besteed aan het thema “gelijke kansen”, al gaat het bij deze prioriteit vaak om een horizontale doelstelling die niet systematisch op het niveau van de maatregelen is doorgetrokken. Wei zijn er aanzienlijke inspanningen geleverd om bepaalde maatregelen op deze prioriteit te herorienteren, vooral in het kader van de ontwikkeling van de menselijke hulpbronnen. Wat de bijstandsverlening uit het EFRO betreft, zijn vooral in Italie en Griekenland in de respectieve industrieprogramma’s specifieke maatregelen te behoeve van vrouwelijke ondememers opgenomen (zie kader 22).

Kader 22: Gelijke kansen : nteer vrouwelijke ondememers

In een aantal programma's zijn maatregelen opgenomen om vrouwen aan te moedigen gebruik te maken van regelingen voor de oprichting van bedrijven. Italic en Griekenland hebben in hun operationele programma’s voor de industrie een (via nationale wetgeving ondersteunde) specifieke maatregel ten behoeve van vrouwelijke ondememers opgenomen. In Finland wordt overwogen vrouwen de toegang te garanderen tot een momenteel in onderzoek zijnde regeling betreffende "zachte leningen _'■

IV. GEVOLGEN VOOR HET BELEID EN TOEKOMSTIGE UITDAGINGEN ,

Uit het in het voorgaande besproken proces van de herziening halverwege de looptijd moesten verscheidene consequenties worden getrokken op beleidsgebied. De aandacht werd gevestigd op bepaalde aspecten van de tenuitvoerlegging en het beheer die reeds tijdens het resterende gedeelte van de programmeringsperiode konden worden aangepakt. Voorts heeft het verloop van dit evaluatieproces niet alleen verduidelijkt wat de toekomstige uitdagingen op evaluatiegebied zijn, maar heeft het ook ideeen aangedragen om na te denken over de strategische prioriteiten voor toekomstige programma’s.

4.1. Consequenties op korte termijn voor de huidige uitvoeringssystemen

Tijdens de besprekingen naar aanleiding van de herzieningen halverwege de looptijd is er vaak op gewezen dat bij de toezichtprocedures de neiging bestaat om meer nadruk te leggen op de financiele uitvoering dan op de fysieke realisaties. In het merendeel van de verslagen over de evaluatie halverwege de looptijd wordt opgemerkt dat er behoefte is aan nieuwe sets indicatoren die een betere meting van de resultaten en effecten van de programma’s mogelijk maken. De uitwerking van dergelijke indicatoren, waarbij ook de nodige aandacht moet worden besteed aan de betrouwbaarheid en aan een behoorlijke kwantificering, zal ervoor zorgen dat de evaluaties halverwege de looptijd de volgende keer van een betere kwaliteit zijn en een grotere reikwijdte hebben.

Sommige lidstaten hebben nu reeds initiatieven genomen om bepaalde onderdelen van hun huidige uitvoeringssystemen te verbeteren. Het betreft onder meer :

- de vaststelling van duidelijke, gekwantificeerde doeleinden en indicatoren voor het toezicht en de evaluatie (b.v. in Oostenrijk, Portugal, Italie en het Verenigd Koninkrijk);

- de bepaling van adequatere criteria voor de selectie van de projecten (inclusief werkgelegenheids- en milieucriteria zoals bijvoorbeeld in Italie);

- vereenvoudiging van de beheersprocedures, vooral voor kleine programma’s (b.v. Finland en Zweden);

- verbetering van de synergie tussen de verschillende door de Structuurfondsen ondersteunde maatregelen (b.v. Portugal en Spanje).

4.2. Eerste beschouwingen met het oog op de toekomstigeprogramma’s

De herziening halverwege de looptijd moest zorgen voor de nodige wijzigingen in de programma’s omdat omstandigheden en behoeften in de loop van de tenuitvoerlegging waren veranderd. Tegelijk met de evaluaties halverwege de looptijd hebben de Commissie en de lidstaten een aantal strategische studies uitgevoerd die al verder reiken dan de huidige programmeringsperiode. De bedoeling van deze analyses was de toekomstige bijstandsverlening uit de Structuurfondsen voor te bereiden door bestudering van problemen op langere termijn die niet gedurende het resterende deel van de looptijd van de bestaande programma’s kunnen worden aangepakt. Zo heeft de Commissie bijvoorbeeld de beperkte informatie die de tussentijdse evaluatie in Italie had opgeleverd, aangevuld met een serie thematische studies over belangrijke CB-prioriteiten: steunregelingen voor de industrie, OTO, milieu, vervoersinfrastructuur en ontwikkeling van de menselijke hulpbronnen.

Met deze studies werd beoogd bepaalde fundamentele beleidsaangelegenheden te behandelen en ook aanbevelingen te formuleren ten aanzien van de punten waarop de toekomstige CB’s van de huidige moeten verschillen. Deze studies droegen noodzakelijkerwijs een vrij algemeen karakter, maar toch hebben zij voor de herziening halverwege de looptijd nuttige informatie opgeleverd ten aanzien van kwesties zoals de toekomstige herorientering van de uitgavenprioriteiten.

In sommige lidstaten is in de context van de herziening halverwege de looptijd reeds begonnen met het opnieuw bekijken van de prioriteiten voor de steunverlening. Samen met nationale autoriteiten zijn ook informele besprekingen en seminars gehouden over bepaalde kwesties die voor de toekomst van zeer groot belang zijn. Voorts heeft de Commissie vier thematische studies (OTO, MKB, milieu en het partnerschapsbeginsel) op gang gebracht om brede beleidslijnen en nieuwe regelingen voor de periode na 1999 te helpen uitwerken.

4.3. De uitdagingen op evaluatiegebied

Dit verslag laat zien dat voor de verschillende programma’s van de doelstellingen 1 en 6 belangrijke vooruitgang is geboekt wat de aanpak van de evaluatie betreft. Op allerlei plaatsen in het verslag is de aandacht gevestigd op kenmerken van de herzieningen halverwege de looptijd die tot de goede benaderingen kunnen worden gerekend. Het betreft onder meer:

- de degelijkheid van de evaluatie (methodologie en criteria om de kwaliteit te beoordelen);

- de inschakeling van de bij de programma’s betrokken partners in het evaluatieproces;

- de organisatie van en het tijdschema voor de herziening halverwege de looptijd;

- de rol van de evaluatie als terugkoppelingsmechanisme dat herprogrammeringsbesluiten ondersteunt en op belangrijke ontwikkelingen helpt te anticiperen.

De uit een en ander te trekken lering kan een basis vormen voor advisering over de beste aanpak in het kader van de volgende programma’s, zodat het beheer van de financiele middelen verder kan worden verbeterd. De cruciale vraag is dus hoe de resultaten kunnen worden verzameld met het oog op een meer systematische verspreiding van goede werkwijzen binnen dezelfde regio en in andere regio’s. Uit wat er tot nog toe over de herzieningen halverwege de looptijd bekend is, blijkt dat de kwaliteit van het proces nog verder moet worden verbeterd met het oog op de uitdagingen waaraan het hoofd zal moeten worden geboden in het kader van toekomstige programma’s.

Comolidering van de evaluatie als een instrument voor besluitvorming

De evaluatie wordt in toenemende mate gezien als een beheersinstrument dat de beleidsmakers en programmabeheerders bij de uitvoering van hun taken moet bijstaan door hun belangrijke inzichten met betrekking tot de doeltreffendheid van maatregelen en programma’s te verschaffen. In verband met deze functie moet er bij de organisatie van de evaluatie voor worden gezorgd dat de productie van betrouwbare en operationele resultaten nauwer is afgestemd op de integrate van deze resultaten in het besluitvormingsproces. Dit betekent dat adequate structuren voor het beheer van de evaluatieactiviteiten in de context van het partnerschap tot stand moeten worden gebracht, voor zover dergelijke structuren nog niet beschikbaar zijn. •

Verbetering van de toezichtsystemen en van de indicatoren

Nationale en regionale autoriteiten hebben reeds bepaalde belangrijke maatregelen genomen om voor het resterende deel van de programmeringsperiode sommige leemten of tekortkomingen van hun toezichtsystemen te verhelpen. Verbeteringen op het punt van de definitie van de indicatoren en het verzamelen van de gegevens zullen noodzakelijk zijn om een effectievere vervulling van de betrokken beheerstaken mogelijk te maken. Ook een betere integratie tussen de financiele en de fysieke indicatoren is een belangrijk punt van zorg voor de programmabeheerders.

Voor toekomstige programma’s zal met betrekking tot de indicatoren zorg moeten worden gedragen voor een adequate kwantificering van de referentiesituatie en van het nagestreefde doel en zullen er ook referentiegegevens moeten zijn om betere vergelijkingen binnen en tussen de programma’s mogelijk te maken. Hiertoe zal de Commissie te zijner tijd een methodologische leidraad opstellen, die onder meer een indicatieve lijst van relevante indicatoren voor de belangrijkste actieterreinen van de Structuurfondsen zal bevatten.

Ontwikkeling en verspreiding van evaluatiemethodologieen

Op het gebied van de evaluatiemethodologie is aanzienlijke vooruitgang geboekt. Het in 1994 door de Commissie opgezette MEANS-programma heeft bijgedragen tot de ontwikkeling van deskundigheid binnen de Commissie zelf dankzij de bij de Structuurfondsen uit de eerste hand opgedane ervaring. Er bestaat niet een enkele gestandaardiseerde evaluatiemethodologie, maar veeleer is er sprake van een breed scala

van methoden die moeten worden aangepast aan de specifieke behoeften en situatie bij elk programma. Er zullen echter inspanningen worden geleverd om te bereiken dat de evaluatietechnieken beter bekend zijn, niet alleen bij de beoordelaars, maar ook bij de programmabeheerders, die de kwaliteit van de evaluatieresultaten zullen moeten

beoordelen.

Bevordering van de multilaterale uitwisseling van ervaringen

Nu wordt onderkend dat evaluatie een belangrijk instrument voor de besluitvorming is, stellen nationale en regionale autoriteiten er doorgaans prijs op in informele vergaderingen ervaringen uit te wisselen en van gedachten te wisselen wat dit onderwerp betreft.

2. De Technische Evaluatiegroep op EU-niveau, die bestaat uit bij het beheer van de

Structuurfondsen betrokken vertegenwoordigers van de lidstaten en ambtenaren van de

Commissie, zou kunnen worden beschouwd als een passend forum voor de bespreking van aangelegenheden op evaluatiegebied en voor de verspreiding van de beste

werkwijzen. De voomaamste thema’s van gemeenschappelijk belang zijn onder meer de typen evaluatiemethodologieen en hun relevantie (b.v. meting van werkgelegenheidseffecten) en het gebruik van evaluatieresultaten voor beleidsdoeleinden.

De algehele effectiviteit van de bij stands verlening van de Structuurfondsen zal mede afhangen van de mate waarin de nationale en regionale autoriteiten het nodige doen om hun toezichtsystemen te verbeteren en in staat zijn elementen van goede werkwijzen over te nemen met het oog op de volgende herziening halverwege de looptijd.

Bijlage 1: Lijst van de kaderen

Kader 1:

Kader 2: Kader 3:

Kader 4: Kader 5:

Kader 6: Kader 7: Kader 8: Kader 9:

Kader 10: Kader 11: Kader 12:

Kader13: Kader 14:

Kader 15: Kader 16: Kader 17: Kader 18: Kader 19: Kader 20: Kader 21: Kader 22:

3. Beoordeling van de evalueerbaarheid (d.w.z. de uitvoerbaarheid van de evaluatie) - Door het EFRO gesteund OP voor Andalusie (Doelstelling 1)

Beheer van de evaluatie - oprichting van ad-hocstructuren

Beoordeling van de kwaliteit van een evaluatie: de evaluatie van het Ierse CB

Henegouwen (Doelstelling 1): het HELM-model

Beoordeling van de doeltreffendheid aan de hand van programma-indicatoren - GPD voor Merseyside - Doelstelling 1 (1994-1999) -werkelijke outputs/resultaten dankzij de bijstand uit het EFRO

Belangrijke prestaties op het gebied van de basisinfrastructuur

Enkele prestaties in de productieve sector

Effect van de opleidingsmaatregelen op de begunstigden

Evaluatie van landbouwmaatregelen - het programma PAMAF (modemisering van de landbouwstructuur in Portugal)

Een voorbeeld : het Spaanse programma in het kader van doelstelling 1

Verbetering van de toezichtsystemen

Merseyside - waarderingssystemen voor de selectie van ESF/EFRO-projecten

Herziening halverwege de looptijd (I): het Ierse CB

Herziening halverwege de looptijd (II) : het GPD voor Merseyside (doelstelling 1)

Programma betreffende luchthavens - Italie, doelstelling 1 Territoriale werkgelegenheidspacten Midden- en kleinbedrijf : het Griekse CB Horizontal integrate van milieuoverwegingen Onderzoek en technologische ontwikkeling : het Ierse CB Informatiemaatschappij (Portugal, Spanje)

Ontwikkeling van de menselijke hulpbronnen - Ierland, doelstelling 1 Ontwikkeling van de menselijke hulpbronnen - Ierland, doelstelling 1

Financiele uitvoering van deprogramma’s vallende onder Doelstelling 1 en 6

	Betalingen/Totaal bijdrage SF inzake Doelstelling 1
V 70 60 50 40 30 20 10 o
-.....~..........................	33 ^	48..............	^>4
.........,..... ...........19 .... ... 7 iiw	£ .
	1994 1995	1996	1997	1998 (1st serrester)
	finwri Jaarlijks	—♦— gecumuleerd

Bijlage 2:

Financiele uitvoering per Lidstaat van de programma’s vallende onder Doelstelling 1 (31.12.97)

Financiele uitvoering per Lidstaat van de programma's vallende onder Doelstelling 1 (31.12.97)

% ‘

□ Vastteggjnger/Totaal b^ctage SF1994-97 □ BetatngerVTotaal bijcfrage SF1994-97

(Oostenrijle GPD goedgekeurd in 1995)

Fhtanciele uitvoering van de programma ^ys vallende onder Doelstelling 6 - Finland

Financiele uitvoering van de programma ^fs vallende onder Doelstelling 6 - Zweden

Bijlage 3: Lijst van rapporten Rapport Doelstelling 1

Austria	BURGENLAND : ZWISCHENEVALUATION DES ZIEL1 -PROGRAMMS BURGENLAND : Endbericht	Apr-98	OIR
Belgium	HAINAUT : EVALUATION INTERMEDIATE DU DOCUP OBJECTIF I HAINAUT - RAPPORT FINAL -REGION WALLONNE	Apr-97	SEMA GROUP/RIDER-UCL
Germany	BERLIN: ZWISCHENBEWERTUNG DER EU-STRUKTURFONDSINTERVENTIONEN IM LAND BERLIN IM ZEITRAUM 1994 BIS 1996	May-97	PROGNOS BERLIN
Germany	BRANDENBURG : ZWISCHENBEWERTUNG ZUM EINSATE DES EFRE, DES ESF UND DES EAGFL-A IM LAND BRANDENBURG 1994-1996	May-97	TROJE BERENTUNG HANN, MUNCHEN
Germany	MECKLENBURG-VORPOMMERN : ZWISCHENBEWERTUNG DES EINSATZES DER EUROPAISCHEN STRUKTURFONDS (EAGFL, EFRE, ESF) FUR DIE PERIODE 1994 BIS 1996 IM BUNDESLAND MECKLENBURG-VORPOMMERN	Apr-97	BUSTRO GmbH ROSTOCK
Germany	SACHSEN : ZWISCHENEVALUIERUNG DES EINSATZES DER EUROPAISCHEN STRUKTURFONDS IM FREISTAAT SACHSEN 1994-1996	May-97	DIW BERLIN
Germany	SACHSEN-ANHALT: ZWISCHENBEWERTUNG DES EINSATZES DER EU-STRUKTURFONDS IN SACHSEN-ANHALT FUR DEN ZEITRAUM 1994 BIS 1996	May-97	ISW HALLEFLEIPZIG
Germany	THURINGEN : DIE EUROPAISCHEN STRUKTURFONDS IN THORINGEN : ZWISCHENBEWERTUNG DES MITTELEINSATZESVON 1994 BIS 1996	May-97	IFO INSTITUT FUR WIRTSCHAFTSFOR-SCHUNG DRESDEN
Germany	NEUE BUNDESLANDER : DIE EUROPAISCHEN STRUKTURFONDS IN DEN NEUEN BUNDESLANDERN - ZWISCHENBEWERTUNG DES MITTELEINSATZES VON 1994 BIS 1996 (BERLIN/ BRANDENBURG/MECKLENBURG-VORPOMMERN/SACHSEN/SACHSEN-ANHALT/THORINGEN)	Sep-97	IFO INSTITUT FUR WIRTSCHAFTSFOR-SCHUNG DRESDEN
Spain	PO CANARIES : EVALUACION INTERMEDIA PROGRAMA OPERATIVO DE CANARIAS (FEDER) 1994-1999	Jun-97	SERVICIOS OMICRON, S.A.
Spain	OP INCENTIVOS REGIONALES : EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO DE INCENTIVOS REGIONALES FEDER (1994-1999) PARA LAS REGIONES ESPANOLAS INCLUIDAS EN EL OBJETIVO N°1 DELOS FONDOS ESTRUCTURALES EUROPEOS	May-97	SERVICIOS OMICRON SA
Spain	CANTABRIA : ESTUDIO DE EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO DE CANTABRIA (FEDER) 1994-1999	Jun-97	INFYDE
Spain	CASTILLA Y LEON : EVALUACION DE LOS PROGRAMAS OPERATIVOS DEL FEDER Y DEL FSE 1994-1999 DE CASTILLO Y LEON	Jan-97	(UNIV. VALLADOLID)
Spain	EVALUACION INTERMEDIA DE LA SUBVENCION GLOBAL FEDER-CDTI EN LAS REGIONES OBJETIVO 1 (1994-1999)	Jun-97	INFYDE/CDTI
Spain	ESTUDIO DE EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO DE INFRAESTRUCTURA CIENTIFICA DEI PERIODO 1994-1999, EN REGIONES ESPANOLAS INCLUIDAS EN EL OBJ. 1, COFINANCIADO CON FEDER Y COORDINADO POR CICYT	Jul-97	PRICE WATERHOUSE -
Spain	EVALUACI6N INTERMEDIA DEL MARCO COMUNITARIO DE APOYO-REGIONES OBJETIVO 1-1994-1999-ESPANA	Sep-97	QUASAR

Spain	CASTILLA Y LEON : EVALUACION DE LOS PROGRAMAS OPERATIVOS DEL FEDER Y DEL FSE 1994-1999 DE CASTI LLO Y LEON	JuI-97	(UNIV. VALLADOLID)
Spain	CEUTA : 2e ESTUDIO DE EVALUACION INTERMEDIA DEL MARCO DE APOYO COMUNITARIO DE LAS REGIONES OBJETIVO N°1 PARA CEUTA (PO CEUTA 1994-1999)	Jun-97	GEDESA
Spain	GALICIA: EVALUACION INTERMEDIA DEL PROGRAM A OPERATIVO DE GALICIA 1994-1999 cofinanciado por el FEDER (PO GALICIA)	May-97	AGRO CONSULTING INTERNATIONAL
Spain	PO MELILLA : EVALUACION INTERMEDIA DEL PROGRAM A OPERATIVO FEDER DE MELILLA 19941999	May-97	ARANDA Y BELTRAN S.L. ESTUDIOS Y ANALISIS SOCIO ECONOMICOS
Spain	ASTURIAS : EVALUACION DEL PROGRAMA OPERATIVO DEL PRINCIPADO DE ASTURIAS (FEDER) 1994-1999 - INFORME PREPARATORIO	Jul-96	UNIVERSIDAD DE OVIEDO .
Spain	OP LOCAL : ESTUDIO DE EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO LOCAL (FEDER) 1994-1999 PARA LAS REGIONES ESPANOLAS INCLUIDAS EN EL OBJETIVO N° 1 DE LOS FONDOS ESTRUCTURALES EUROPEOS	Dec-97	ANDERSON ARTHUR
Spain	OP MEDIO AMBIENTE: EVALUACION INTERMEDIA DEL PROGRAMA OPERATIVO DEL MEDIO AMBIENTE LOCAL (FEDER) 1994-1999 EN REGIONES ESPANOLAS INCLUIDAS EN EL OBJETIVO NO 1 DE LOS FONDOS ESTRUCTURALES EUROPEOS	Aug-97	ECOTEC
Spain	OP CASTILLA-LA-MANCHA:SEGUNDO INFORME DE EVALUACION-PROGRAMA OPERATIVO FEDER DE CASTILLA-LA MANCHA 1994-1999	Jul-97	UNIVERSIDAD DE CASTILLA-LA MANCHA
Spain	ANDALUdA : EVALUACION INTERMEDIA DEL P.O. ANDALUCIA 1994-1999	Mar-98	INSTITUTODE DESARROLLO REGIONAL, FUNDACI6N UNIVERSITARIA
Spain	ANDALUCIA : SUBVENCI6N GLOBAL DE - ANDALUCfA 1994-1999 : INFORME DE EVALUACION INTERMEDIA	Mar-98	ARENAL GRUPO CONSULTOR SL
Spain	DONANA : EVALUACI6N INTERMEDIA DEL P.O. DONANA Ila PHASE (OBJ.l)	May-97	INSTITUTO DE DESARROLLO REGIONAL, FUNDACION UNIVERSITARIA
France	CORSE : EVALUATION INTERMEDIATE DOCUP OBJECTIF 1 CORSE 1994-1999	Jun-97	FERE CONSULTANTS
France	GUYANE : EVALUATION INTERMEDIATE DE LA MISE EN OEUVRE EN GUYANE DES PROGRAMMATIONS REGION ALES (1994-1999) COFINANCEES PAR L'UNION EUROPEENNE (DOCUP ET REGIS II) - SYNTHESE DU RAPPORT	Feb-98	ERNST & YOUNG
France	NORD-PAS-DE-CALAIS (AVESNES / DOUAI / VALENCIENNES): PROGRAMME OBJECTIF 1 (19941999): EVALUATION INTERMEDIATE, EVALUATION D'ENSEMBLE DU PROGRAMME, ASPECTS SECTORIELS EVALUATION DES MESURES	Dec-97	ACT
France	GUADEL0UPE:EVALUABIL1TE DU DOCUP GAUDELOUPE : RAPPORT D'ETUDE (DOCUP 19941999)	Feb-96	CODE/ATHOS

Greece	PELOPONNESE: INTERMEDIATE EVALUATION OBJECTIVE 1 - OPERATIONAL PROGRAMME 19941999 (a) VOL. A (b) VOL. B	May-97	OMAS LTD
Greece	GRECE OCCIDENTALE (GRECE OUEST): INTERMEDIATE EVALUATION OBJECTIVE 1 -OPERATIONAL PROGRAMME	Jun-97	EEO GROUP SA
Greece	CDS P.O. EPIRIUS : INTERMEDIATE EVALUATION 1994-1999 OBJECTIVE 1 - OP	Apr-97	PROPTIKI S.A. -METPON
Greece	CRETE : INTERMEDIATE EVALUATION OBJECTIVE 1 - OPERATIONAL PROGRAMME 1994-1999	May-97	ASTIKI DIACHIRISI S.A.
Greece	THESSALIE: INTERMEDIATE EVALUATION OBJECTIVE 1 -O.P. 1994-1999	May-97	YPODOMI LTD
Greece	ILES IONIENNES : INTERMEDIATE EVALUATION OBJECTIVE 1 - O.P. 1994-1999	May-97	PROOVADISMA LTD
Greece	MACEDOINE CENTRALE + THRACE : INTERMEDIATE EVALUATION OBJ. I - O.P. 1994-99	Apr-97	INDECO S.A.
Greece	MACEDOINE OCCIDENTALE: INTERMEDIATE EVALUATION OBJECTIVE 1 O.P. 1994-1999	May-97	EXANTAS LRD
Greece	MACEDOINE CENTRALE : INTERMEDIATE EVALUATION OBJECTIVE 1 - O.P. 1994-1999	May-97	EUROTEC LTD
Greece	PO GRECE CONTINENTALE (=CENTR.): INTERMEDIATE EVALUATION O.P. OBJ. 1 - 1994-1999	May-97	LDK
Greece	EGEE DU SUD : INTERMEDIATE EVALUATION OBJECTIVE 1 ILES DE LA MER EGEE SUD -OPERATIONAL PROGRAMME 1994-1999	May-97	ENVIPLAN
Greece	CSF GRECE : OBJ.l - 1994-1999	Mar-98	REMACO
Ireland	EXTERNAL EVALUATION OF THE OPERATIONAL . PROGRAMME FOR INDUSTRIAL DEVELOPMENT 1994-1999 : MID-TERM REVIEW	Feb-97	ERNST & YOUNG
Ireland	CSF MID-TERM EVALUATION	Apr-97	ESRI
Ireland	MID TERM EVALUATION OF OPERATIONAL PROGRAMME FOR ECONOMIC INFRASTRUCTURE	Feb-97	INDECON
Ireland	MID-TERM EVALUATION OF THE LOCAL, URBAN AND RURAL DEVELOPMENT O.P.	Jan-97	GOODBODY
Ireland	MID-TERM EVALUATION OF THE HUMAN RESOURCES DEVELOPMENT-O.P. 1994-1999	Feb-97	GOODBODY
Ireland	MID TERM EVALUATION OF THE O.P. FOR ENVIRONMENTAL SERVICES 1994-1999	Jan-97	ERM
Ireland	OPERATONAL PROGRAMME FOR TRANSPORT - MID TERM EVALUATION	Feb-97	DKM ECONOMIC CONSULTANTS
Ireland	MID-TERM EVALUATION OF THE OPERATIONAL . PROGRAMME FOR TOURISM 1994-1999	Feb-97	FITZPATRICK ASSOCIATES
Ireland	OPERATIONAL PROGRAMME FOR AGRICULTURE, RURAL DEVELOPMENT AND FORESTRY 1994-1999	Jan-97	FITZPATRICK ASSOCIATES
Ireland	MID-TERM EVALUATION OF OPERATIONAL PROGRAMME FOR FISHERIES 1994-1999	Feb-97	INDECON
Ireland	MID-TERM EVALUATION : REGIONAL IMPACT OF THE COMMUNITY SUPPORT FRAMEWORK FOR IRELAND 1994-1999 .	Feb-97	FITZPATRICK ASSOCIATES
Italy	VALUTAZIONE DI MEDIO TERMINE QUADRO COMUNITARIO DI SOSTEGNO 1994-99 delle REGIONI ITALIANE DELL'OBIETTIVO 1	JuI-97	NUCLEO DI VALUTAZIONE/INEA E ISFOL
Netherlands	FLEVOLAND : ON-GOING EVALUATIE DOELSTELLING 1 PROGRAMMA	Jan-97	RESEARCH VOOR BELEID
Portugal	AMBIENTE:AVALIACAO INTERCALAR DO PROGRAMA AMBIENTE- EVALUATION DU SOUS-PROGRAMME ENVIRONNEMENT DU CCA II PT	Feb-97	QUATERNAIRE (PINHO PAULO)
Portugal	ALENTEJO:AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DA REGIAO DO ALENTEJO - CCA 1994-1999	Feb-97	CESO I&D

Portugal	AMBIENTE:ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL-RENOVACAO URBANA DO PROGRAMA"AMBIENTE E REVITALIZACAO URBANA DO QUADRO COMUNITARIO DE APOIO 1994-1999	Mar-97	PARTEX-INSTITUTO DE GESTAO E ALIENACAO DO PATRIMONIO HABITACIONAL DO ESTADO
Portugal	SOCIAL:SUB-PROGRAMA INTEGRAR AVALIACAO INTERCALAR	Jan-97	CIES
Portugal	LISBOA E VALE DO TEJO:ESTUDO DE AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DA REGIAO DE LISBOA E VALE DO TEJO	Jan-97	CEDRU
Portugal	PPDR: ESTUDO DE AVALIACAO INTERCALAR PROGRAMA OPERACIONAL PROMOCAO DO POTENCIAL DE DESENVOLVIMENTO REGIONAL -QUADRO COMUNITARIO DE APOIO 1994-1999	Jan-97	CEETA
Portugal	SAUDE:AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL DA SAUDE	Feb-97	CESO I&D
Portugal	ENERGIA:AVALIACAO INTERCALAR DO PROGRAMA ENERGIA E DO PROJECTO DE GAS NATURAL (INTERREG II - CONCLUSAO DAS REDES DE ENERGIA) DO OCA II (1994-1999)	Jan-97	IESE
Portugal	PO CENTRO:ESTUDO DE AVALIACAO INTERCALAR DO P. 0. REGIAO CENTRO	Jan-97	CEDRU
Portugal	PO NORTE:ESTUDO DE AVALIACAO INTERCALAR DO PRONORTE	Jan-97	QUATERNAIRE
Portugal	PEDIP II: AVALIACAO INTERCALAR DO PEDIP II: RELATORIO FINAL INTERCALAR	Mar-97	UNIVERSIDADE CATOLICA PORTUGUESA
Portugal	PESCA : AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL DAS PESCAS	Apr-97	CESO I&D
Portugal	TURISMO : ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL TURISMO E PATRIMONIO CULTURAL DO PROGRAMA MODERNIZACAO DO TECIDO ECONOMICO	Feb-97	DELOITTE & TOUCHE
Portugal	AGRICULTURA : QCA II: ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL AGRICULTURA : PROGRAMA MODERNIZACAO DO TECIDO ECONOMICO - PERIODO 1994-1996	Jun-97	AGRO.GES
Portugal	PROFAP : PROGRAMA INTEGRADO DE FORMACAO PARA A MODERNIZACAO DA ADMINISTRACAO PUBLICA - PROFAP 2 : ESTUDO DE AVALIACAO INTERCALAR	Mar-97	QUATERNAIRE
Portugal	ALGARVE : ESTUDO DE AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DO ALGARVE	Jan-97	CEDRU
Portugal	TELECOMUNICACOES : ESTUDO DE AVALIACAO DA INTERVENCAO OPERACIONAL DAS TELECOMUNICACOES DO PROGRAMA INFRA-ESTRUTURAS DE APOIO AO DESENVOVIMENTO DO OCA	Mar-97	SILICON
Portugal	SUB-PROGRAMME TRANSPORTES:AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL DOS TRANSPORTES DO PROGRAMA INFRA-ESTRUTURAS DE APOIA AO DESENVOLVIMENTO DO QUADRO COMUNITARI DE APOIO 1994-1999, NO PERIODO ENTRE 1994 E 1996	Apr-97	CISED
Portugal	SUB-PROGRAMME COMERCIO E SERVICOS :ESTUDO DE AVALIACAO INTERCALAR DA INTERVENCAO OPERACIONAL COMERCIO E SERVICOS	Nov-97	CESO I&D
Portugal	ACORES=ESTUDO DE AVALIACAO INTERCALAR DO PROGRAMA OPERACIONAL DA REGIAO AUTONOMA DOS ACORES DO QUADRO COMUNITARIO DE APOIO 1994-1999	Feb-97	CESO I&D

Portugal	SUB-PROGRAMME EDUCACAO: AVALIACAO INTERCALAR DE PRODEP II: EDUCACAO	Sep-97	QUATERNAIRE
Portugal	CIENCIA E TECNOLOGIA ESTUDO DE AVALIACAO INTERCALAR DO SUB-PROGRAMA CIENCIA E TECNOLOGIA	Feb-98	IESE/GEOIDEIA
Portugal	OP PESSOA: ESTUDO DE AVALIACAO INTERCALAR PROGRAMA OPERACIONAL EMPREGO E FORMACAO PROFISSIONAL DO QCA II 1994-1999 (PROGRAMMA PESSOA)	Mar-97	IESE (1NSTITUTO DE ESTUDOS SOCIAIS E ECONOMICOS
Portugal	CSF PORTUGAL-OBJ.l .AVALIACAO INTERCALAR DO QUADRO COMUNITARIO DE APOIO II	jun-98	CISEP
United Kingdom (IRN)	NORTHERN IRELAND SINGLE PROGRAMME 19941999 - MID TERM REVIEW - EXTERNAL EVALUATION	May-97	COLIN STUTT CONSULTING
United Kingdom (IRN)	MID-TERM REVIEW OF THE ENVIRONMENTAL SERVICES AND PROTECTION SUB-PROGRAMME	Dec-96	PIEDA CONSULTANTS
United Kingdom (IRN)	MEASURES 4.1.8 AND 4.19. OF THE SUBPROGRAMME FOR AGRICULTURE AND RURAL DEVELOPMENT : MID TERM EVALUATION	Feb-97	COOPERS & LYBRAND
United Kingdom (IRN)	MID-TERM EVALUATION OF THE NORTHERN IRELAND SINGLE PROGRAMME FOR AGRICULTURE AND RURAL DEVELOPMENT (SPARD)	Mar-97	ERM
United Kingdom (IRN)	ENERGY SUB-PROGRAMME 1994-1999 : MID-TERM REVIEW	Jan-97	ERM
United Kingdom (IRN)	MID TERM EVALUATION OF THE TRANSPORTATION SUB-PROGRAMME, 1994-1999	Jan-97	ERM
United Kingdom (IRN)	MID-TERM EVALUATION OF THE INVESTMENT IN THE DEVELOPMENT OF PEOPLE SUB-PROGRAMME, NORTHERN IRELAND SINGLE PROGRAMME 1995-99	Dcc-96	LRDP
United Kingdom (IRN)	MID TERM REVIEW OF PHYSICAL & SOCIAL ENVIRONMENT PROGRAMME (EU S. F.)	Jan-97	COOPERS & LYBRAND
United Kingdom (IRN)	MID-TERM EVALUATION OF THE TOURISM SUBPROGRAMME 1994-1999	Feb-97	NIERC
United Kingdom	MERSEYSIDE: MID-TERM EVALUATION OF MERSEYSIDE OBJECTIVE ONE PROGRAMME	Nov-96	PIEDA PLC
United Kingdom	HIGHLANDS AND ISLANDS - OBJECTIVE 1 PROGRAMME INTERMEDIATE ASSESSMENT	Jun-97	SQW

Rapport Doelstelling 6

Finland	SUOMEN TAVOITE 6 - OHJELMAN ARVIOINNIN VALIRAPORTTI [FI]	Jan-98	HELSINGIN YLIOPISTON TIETOPALVELUT OY/ETLATIETO OY/OY FINNAGRO AB/INT.DEVEL.IRL/PE LLERVON
Sweden	HALVTIDSUTVARDERING AV SVERIGES NAL-6-PROGRAM	Nov-97	NORD-REGIO-EPRC

ISSN 0254-1513

COM(98) 782 def.
DOCUMENTEN

NL

04 13 09 16

Catalogusnummer : CB-CO-98-786-NL-C

4. Bureau voor officiele publikaties der Europese Gemeenschappen L-2985 Luxemburg

¹

Zie het Eerste Verslag over de Economische en Sociale Cohesie (1996), COM (96) 542 def. van

²

november 1996.