Bijlagen bij COM(2008)526 - Methodologie en het mandaat voor de evaluatie door onafhankelijke deskundigen van de structuren en mechanismen van de Europese Onderzoeksraad - Hoofdinhoud
Dit is een beperkte versie
U kijkt naar een beperkte versie van dit dossier in de EU Monitor.
| dossier | COM(2008)526 - Methodologie en het mandaat voor de evaluatie door onafhankelijke deskundigen van de structuren en mechanismen van de ... |
|---|---|
| document | COM(2008)526   |
| datum | 26 augustus 2008 |
ORGANISATIE EN UITVOERING VAN DE EVALUATIE
4.1 Selectie van onafhankelijke deskundigen
De geloofwaardigheid van de evaluatie en haar uitkomsten zullen in de eerste plaats afhangen van de integriteit, kennisbreedte en reputatie van de daarvoor geselecteerde deskundigen. De Commissie stelt voor een Panel aan te stellen, bestaande uit een voorzitter en vier andere leden alsmede een rapporteur, en zal de hoofdstakeholders op de hoogte houden. Panelleden zouden globaal aan de volgende hoofdcriteria moeten voldoen:
- Deskundigheid inzake onderzoeksbeleid en -beheer op nationaal, Europees en/of internationaal niveau;
- Competentiebreedte voor het beoordelen van de Europese Onderzoeksraad vanuit wetenschappelijk, beheersmatig[11], juridisch en ander relevant oogpunt.
Andere criteria die bij de keuze van leden in aanmerking zullen worden genomen zijn:
- Adequaat evenwicht tussen academische wereld en stakeholders uit andere milieus (inclusief Europese onderzoeksstichtingen) om zowel voor de aanwezigheid van institutionele kennis als van technische competentie te zorgen;
- Adequaat evenwicht tussen mannen en vrouwen;
- Breedte en diversiteit van ervaring op het gebied van de Europese onderzoeksruimte.
Het Panel kan worden bijgestaan door andere deskundigen die op verzoek ervan gespecialiseerde onafhankelijke informatie en analyse verstrekken.
4.2 Reikwijdte
De evaluatie zal een beslissende invloed hebben op de toekomst van de ERC; zij moet voldoende breed zijn om tot definitieve conclusies te leiden. Bij de evaluatie dient ook rekening te worden gehouden met de verschillende niveaus van wetgeving en administratieve praktijk die naast het rechtskader van het Uitvoerend Agentschap als specifieke uitvoeringsstructuur bepalend of een voorwaarde zijn voor de werkwijzen van de ERC. Dit zal vooral van belang zijn bij het vaststellen waar en op welke wijze verbeteringen nodig zijn, inclusief door middel van wijzigingen van de wetgeving, en bij het onderzoeken van de voor- en nadelen van mogelijke structuren (bv. een uitvoerend agentschap, een structuur op basis van artikel 171 van het Verdrag of een andere optie), aangezien de bredere context het functioneren van een structuur beïnvloedt. Van belang zullen bijvoorbeeld zijn:
- Het specifiek programma "Ideeën", dat de essentiële structuur van de ERC[12], onder meer de rechten en verplichtingen van de Wetenschappelijke Raad en specifieke uitvoeringsstructuur alsmede andere uitvoeringsregelingen vaststelt, en de wetgeving betreffende het zevende kaderprogramma, inclusief de regels voor deelname.
- De diverse structuren voor besluitvorming, samenwerking en programma-uitvoering (met name de Wetenschappelijke Raad, zijn Secretaris-generaal, en de Commissie), inclusief die welke zijn vastgesteld in afgeleide wetgeving, met name het besluit van de Commissie tot oprichting van de ERC.
- De meer algemene context van het beheer in een communautaire instelling of communautaire organen, met name het Financieel Reglement en het geldende personeelsstatuut alsook diverse voorschriften, richtsnoeren en vaste beheerspraktijken voor de uitvoering van deze besluiten[13].
Aangezien de ERC een nieuwe entiteit is, waarbij verschillende principes en methoden uit vroegere kaderprogramma's een rol spelen, vormt de uitvoering in de opstartfase onvermijdelijk op veel punten een uitdaging. Bij de evaluatie moet dan ook een onderscheid worden gemaakt tussen die uitdagingen welke tijdelijk zijn en waarvoor oplossingen werden of worden gevonden, en kwesties die anderzijds verband kunnen houden met chronische structurele aspecten van de ERC en een impact zullen hebben op zijn activiteiten over langere termijn gezien.
De evaluatie moet een plaats geven aan de lopende ontwikkelingen in de ERC (bijvoorbeeld de stappen in de richting van beheersautonomie van het Uitvoerend Agentschap en het proces voor de aanstelling van toekomstige leden van de Wetenschappelijke Raad), waarbij geput wordt uit alle kwantitatieve en kwalitatieve gegevens en ervaringen die zich vanaf de start van de werkzaamheden van de Wetenschappelijke Raad in oktober 2005 hebben verzameld. Ook moeten hierbij, zoals in de wetgeving bepaald, de procedure en criteria voor de selectie van de leden van de Wetenschappelijke Raad in aanmerking worden genomen.
Gezien de inzet voor het Europese onderzoeksbeleid en de institutionele ontwikkeling ervan moet de prestatie van de ERC worden afgezet tegen benchmarks die een afspiegeling zijn van de allerhoogste maatstaven wereldwijd, met name in verband met vergelijkbare agentschappen in de lidstaten en andere moderne landen in de wereld alsook de door de Commissie beheerde onderzoeksprogramma's van de EU. In dit verband zal de ervaring van andere externe structuren die op grond van het zevende kaderprogramma, zoals de JTI's, of op aanverwante gebieden, zoals het Europees Instituut voor innovatie en Technologie (EIT), zijn opgezet, eveneens relevant zijn. De evaluatie moet ook rekening houden met de bredere evaluatie van externe structuren door de Commissie, zoals de evaluatieverslagen die worden opgesteld over de eerste drie activiteitenjaren van elk uitvoerend agentschap, alsook de audit over de prestatie van alle uitvoerende agentschappen, inclusief de ERC, die de Rekenkamer gedurende 2008 zal starten (rapportage van zijn bevindingen in december 2008).
4.3 Werkmethoden
Om te zorgen voor de nodige breedte en diepte van de gegevens stelt de Commissie het formaat van een "commissie van onderzoek" voor, waarbij documentaire en mondelinge gegevens, die het standpunt van een grote verscheidenheid van hoofdstakeholders, inclusief bijvoorbeeld de Wetenschappelijke Raad van de ERC, de onderzoeksgemeenschap (academische wereld, onderzoeksinstituten, onderzoeksstichtingen, industrie), lidstaten, EU-instellingen, DG RTD en andere Commissiediensten weergeven, in vertrouwen worden onderzocht.
Het is aan het Panel om zelf zijn werkmethoden uit te werken; van het Panel wordt evenwel verwacht dat het:
- mondelinge en schriftelijke gegevens bij de stakeholders opvraagt;
- bestaande gegevens inclusief monitoring- en evaluatiestudies betreffende het specifiek programma "Ideeën" analyseert;
- ad-hoc analyses verricht, bijvoorbeeld van statistische informatie en relevante beleidsdocumenten en -evaluaties.
De Commissie zal aan het Panel alle nodige informatie verstrekken en de Commissiediensten kunnen op verzoek van het Panel ad-hocdeskundigenvergaderingen over bepaalde kwesties bijeenroepen. In de zin van de plannen om de Wetenschappelijke Raad volledig bij de werkzaamheden te betrekken (zie hierboven) heeft deze aangegeven dat hij voornemens is een samenvatting van zijn ervaringen tot dusverre en suggesties voor verbeteringen, mede gelet op internationale beste praktijk van onderzoeksraden, beschikbaar te stellen.
4.4 Criteria
De criteria voor de middenevaluatie – wetenschappelijke excellentie, autonomie, efficiëntie en transparantie – zijn de afspiegeling van grondbeginselen waarop de ERC is gegrondvest. De volgende punten bevatten analyse van en commentaar bij elk van deze criteria. Beklemtoond zij echter dat deze criteria ook holistisch moeten worden opgevat, aangezien zij interagerende eisen behelzen; de kwaliteit van wetenschappelijk beheer bijvoorbeeld kan niet los worden gezien van efficiëntieoverwegingen. De criteria moeten eveneens worden toegepast rekening houdend met adequate benchmarks, bijvoorbeeld de regelingen bij onderzoeksagentschappen in de EU of in andere moderne landen. Verder moet in verband met de toetsing aan de criteria afzonderlijk en in hun totaliteit steeds worden afgetoetst aan de fundamentele eis dat de activiteiten van de ERC van een onberispelijke integriteit moeten zijn.
4.4.1 Wetenschappelijke excellentie
Wetenschappelijke en academische excellentie is zowel een door de ERC te bereiken doelstelling als een onderliggende motivatie van alle aspecten van zijn activiteiten. Essentiële vragen die in de evaluatie aan bod moeten komen zijn:
- Tot op welke hoogte is de ERC succesvol in het bevorderen van wetenschappelijke excellentie binnen de Europese onderzoeksruimte?
- Tot op welke hoogte bevorderen de strategie, administratieve uitvoering en programma-uitvoering van de ERC de wetenschappelijke excellentie?
- Is het beginsel van wetenschappelijke excellentie in de cultuur en procedures van de ERC ingebed?
4.4.2. Autonomie
In verband met autonomie moeten de volgende facetten bij de evaluatie aan bod komen:
- Maken de operationele voorwaarden van de ERC het mogelijk dat de wetenschappelijke strategie op effectieve en onafhankelijke wijze volgens de wetenschappelijke eisen wordt vastgesteld?
- Wordt de door de Wetenschappelijke Raad onafhankelijk ontwikkelde wetenschappelijke strategie gerespecteerd als basis voor uitvoering door de specifieke uitvoeringsstructuur?
- Maken de operationele voorwaarden van de specifieke uitvoeringsstructuur het mogelijk dat deze de door de Wetenschappelijke Raad vastgestelde wetenschappelijke strategie en de eisen van het specifiek programma "Ideeën" strikt, efficiënt en met de nodige flexibiliteit opvolgt?
- Tot op welke hoogte zijn de structuren en procedures die de Commissie voor de ERC heeft vastgesteld toereikend om zijn volle autonomie te garanderen op lange termijn?
4.4.3 Efficiëntie
De ERC opereert niet als een geïsoleerde entiteit maar als een onderdeel van het Europese onderzoekssysteem. Bij het evalueren van de efficiëntie komen dus niet alleen overwegingen kijken in verband met de omvang van zijn algemene middelengebruik, maar ook in verband met het feit of hij in staat is deze middelen op effectieve wijze te gebruiken en bijvoorbeeld de beste kandidaten en peer reviewers aantrekt. Bij het beoordelen van de efficiëntie van de ERC moeten bijgevolg de volgende soorten vragen aan bod komen:
- Liggen de algemene beheersuitgaven van de ERC binnen de daarvoor vastgestelde parameters en zijn zij in overeenstemming met de beste praktijk in onderzoeksagentschappen wereldwijd?
- Tot op welke hoogte wordt met de takenscheiding tussen de Commissie en de ERC op efficiënte wijze duplicering van activiteiten vermeden en tot op welke hoogte is daardoor operationele efficiëntie van de ERC mogelijk?
- Zijn de taken van de actoren in de beheersstructuur van de ERC (Wetenschappelijke Raad, Secretaris-generaal, Specifieke Uitvoeringsstructuur, Commissie) en de onderlinge verhoudingen voldoende duidelijk afgebakend, onderscheiden en adequaat gekoppeld met het oog op een in hoge mate efficiënte organisatie en beheer?
- Maken de door de ERC toegepaste systemen en procedures het mogelijk de doelstellingen te bereiken op een wijze waarbij de (personele en financiële) middelen economisch worden ingezet?
- Zijn de activiteiten van de ERC (uitnodigingen, voorstellen, evaluatie, subsidiëring enz.) voldoende eenvoudig, flexibel en gebruikersvriendelijk om de beste kandidaten en peer reviewers aan te trekken?
4.4.4 Transparantie
De ERC moet zijn activiteiten ontwikkelen met een hoge mate van autonomie en volgens de strengste integriteitsnormen. In dat verband is het concept transparantie tamelijk ongecompliceerd. De voornaamste vragen die moeten aan bod komen zijn:
- Verstrekt de ERC aan de burgers en andere stakeholders informatie met voldoende inhoud en kwaliteit om zijn activiteiten te kunnen begrijpen en vertrouwen te kunnen hebben in het gebruik en de effectieve controle van zijn budget?
- Verstrekt de ERC aan de EU-instellingen informatie met voldoende inhoud en kwaliteit om hun toezichthoudende verantwoordelijkheden te kunnen uitoefenen?
4.5 Tijdschema en prestaties
Overeenkomstig de doelstelling om de evaluatie zo spoedig mogelijk te houden, ziet het indicatieve tijdschema er als volgt uit:
- Benoeming van deskundigen - februari 2009
- Eerste vergadering van het deskundigenpanel - februari 2009
- Indiening van mondelinge en schriftelijke gegevens: februari – mei 2009
- Eindverslag - juli 2009
- Eerste antwoord van de Commissie – september 2009
Het Panel zal een eindverslag opstellen met aanbevelingen en conclusies, inclusief een analyse en evaluatie van de adequaatheid of tekortkomingen van de bestaande structuren en mechanismen en of eventuele vereiste wijzigingen als "technische oplossingen" kunnen worden beschouwd (bijvoorbeeld aanpassingen van het model van het uitvoerend agentschap) dan wel als wezenlijke organisatorische en/of juridische kwesties worden gezien.
Op grond van de uitkomst van de evaluatie moet de Commissie, in overleg met de Wetenschappelijke Raad, het initiatief kunnen nemen voor alle wetgevende voorstellen die nodig worden geacht.
CONCLUSIE
De evaluatie van de ERC-structuren en –mechanismen zal een beslissende invloed hebben op de toekomstige structuur van de ERC en zal als zodanig een referentiepunt zijn voor de toekomstige ontwikkeling van de onderzoeksfinanciering van de EU. Het is dan ook van vitaal belang dat de evaluatie deugdelijk en doeltreffend wordt uitgevoerd, met volle steun van de stakeholders, inclusief de EU-instellingen en de Wetenschappelijke Raad.
Deze mededeling voorziet in de voorgestelde basis en timing voor een evaluatie die deskundig, verreikend en onpartijdig is en aldus een stevige fundament biedt waarop de toekomst op langere termijn van de ERC kan worden gebouwd. Er worden ook een aantal gebieden in aangewezen waarop aanpassingen voor het verbeteren van de prestatie van de ERC mogelijk zijn onverminderd de uitvoering of uitkomst van de evaluatie.
Het Europees Parlement en de Raad worden verzocht tegen december 2008 hun opmerkingen over de hier behandelde methodologie kenbaar te maken zodat de Commissie er rekening mee kan houden bij het vaststellen van het mandaat voor de onafhankelijke evaluatie.
Ingevolge de uitkomst van de evaluatie zal de Commissie passende stappen ondernemen om de conclusies ervan in praktijk te brengen, rekening houdend met de noodzaak om door middel van eventuele aanpassingen de continuïteit van de activiteiten van de ERC te verzekeren.
BIJLAGE
MOGELIJKE MANIEREN OM DE PRESTATIE VAN DE ERC TE VERBETEREN ONVERMINDERD DE EVALUATIE VAN STRUCTUREN EN MECHANISMEN
Zoals aangegeven in bovenstaand punt 3 onderzoekt de Commissie momenteel, onverminderd de uitvoering en uitkomst van de middenevaluatie, aan de hand van de eerste ervaringen al een aantal gebieden waarop de activiteiten van de ERC misschien in belangrijke mate te verbeteren zijn door middel van technische aanpassingen van de uitvoeringsbepalingen en de operationele omgeving binnen de bestaande wetgeving van de Raad en het Parlement. Deze gebieden omvatten:
- De functionaliteit en duidelijkheid van het contact tussen de Wetenschappelijke Raad en de specifieke uitvoeringsstructuur. Verbeteringen zijn misschien mogelijk betreffende de precisering van afspraken voor het contact tussen de Wetenschappelijke Raad, de Commissie en de specifieke uitvoeringsstructuur, inclusief verdere verfijning van de rol van de secretaris-generaal van de ERC ten opzichte van de voorzitter en vicevoorzitters van de Wetenschappelijke Raad en de rol van het door de Wetenschappelijke Raad opgerichte bestuur, waarin de voorzitter, vicevoorzitters en secretaris-generaal vergaderen en waarvoor ook de directeur van de specifieke uitvoeringsstructuur kan worden uitgenodigd. In dat verband kunnen bepalingen van het Commissiebesluit tot oprichting van de ERC worden herzien om rekening te houden met de tijd die de voorzitter en vicevoorzitters van de Wetenschappelijke Raad aan ERC-zaken besteden. Daarbij moeten de risico's van een belangenconflict dat bijvoorbeeld zou kunnen ontstaan uit een effectieve subsidiëring van de ERC door de organisaties die de voorzitter en ondervoorzitters leveren alsook de bepalingen inzake aanspreekbaarheid van de Wetenschappelijke Raad, inclusief de gedragscode en rapportageverplichtingen, worden onderzocht.
- Selectie en aanstelling van peer reviewers. Gezien de brede wetenschappelijke reikwijdte van de activiteiten van de ERC en de noodzaak van een hoog aantal evaluators dienen, overeenkomstig de eisen van goede administratieve praktijk en financieel beheer, voor het deugdelijk gebruik van middelen deze procedures zo eenvoudig en flexibel mogelijk zijn. Vereenvoudigingen zijn misschien mogelijk in verband met zowel de selectie van deskundigen, voor zover er sprake is van ambiguïteiten in de rol van de Wetenschappelijke Raad en Commissie betreffende de selectie van deskundigen voor de peer review van onderzoeksvoorstellen, als de noodzaak dat het Uitvoerend Agentschap voor elke aangewezen deskundige en bij de procedures voor benoeming en betaling een Commissiebesluit opstelt.
- Afhandeling van subsidies Voor voorstellen voor grensverleggend onderzoek, waar de uitkomst van de werkzaamheden inherent onzeker is, past de ERC het beginsel toe om "onderhandeling" over subsidies te vermijden die door het peer review panel (ingevolge een selectiebesluit) op basis van goedkeuring van het voorstel en specificatie van het adequate budget worden aangeboden. Het kan nodig zijn de prestatieverplichtingen van de hoofdonderzoeker te herzien om ervoor te zorgen dat in gevallen waarin het peer review panel het budget verlaagt de werkomschrijving niet noodzakelijk dient te worden aangepast.
- Toesnijden van de IT-tools van KP7 op de specifieke behoeften van de ERC In de beginfase van de uitvoering van het zevende kaderprogramma, die met het opstarten van de ERC samenviel, heeft deze laatste onvermijdelijk gebruik gemaakt van de standaardtools en standaardconfiguraties van deze tools voor het zevende kaderprogramma als geheel. Geleidelijk aan zal de Commissie onderzoeken hoe deze tools – bijvoorbeeld het systeem voor de elektronische indiening van voorstellen (EPSS) – specifiek voor ERC-activiteiten kunnen worden geconfigureerd om zowel de efficiëntie als de autonomie te verbeteren op een wijze die verenigbaar is met de eisen van zuinigheid en efficiëntie voor het zevende kaderprogramma als geheel.
[1] " In de context van het in artikel 7, lid 2, bedoelde voortgangsverslag en voorafgaand aan de tussentijdse evaluatie zal de Commissie tegen medio 2008 bij het Europees Parlement en de Raad een Mededeling indienen over de methodologie en het mandaat voor de evaluatie die door onafhankelijke deskundigen moet worden uitgevoerd betreffende de structuren en mechanismen van de ERC. Indien nodig zal de Commissie een voorstel indienen voor de aanpassing van het Kaderprogramma" (PB L 412 van 30 12 20 2006).
[2] Beschikking 2006/972/EG van de Raad betreffende het specifieke programma "Ideeën" tot uitvoering van het zevende kaderprogramma van de Europese Gemeenschap voor activiteiten op het gebied van onderzoek, technologische ontwikkeling en demonstratie (2007-2013), PB L 54 van 22.2.2007, blz. 88.
[3] De evaluatie zal worden uitgevoerd overeenkomstig de door de Commissie vastgestelde evaluatienormen: "Responding to strategic needs: reinforcing the use of evaluation" SEC(2007)213.
[4] Verslag over de werkzaamheden van de Europese Onderzoeksraad en de verwezenlijking van de in het specifieke programma "Ideeën" beschreven doelstellingen in 2007, COM(2008)473.
[5] 2007/134/EG, PB L 57 van 24.02.2007, blz.14.
[6] 1982/2006/EG van 18.12.2006, PB L 412 van 30.12.2006, blz. 1.
[7] 1906/2006/EG van 18.12.2006, PB L 391 van 30.12.2006, blz. 1.
[8] 2006/972/EG van 19.12.2006, PB L 400 van 30.12.2006, blz. 243 en corrigendum PB L 54 van 22.02.2007, blz. 81.
[9] Besluit van de Commissie van 14 december 2007 tot oprichting, ingevolge Verordening (EG) nr. 58/2003 van de Raad, van het "Uitvoerend Agentschap Europese Onderzoeksraad" voor het beheer van het communautair specifiek programma "Ideeën" op het gebied van grensverleggend onderzoek, PB L 9 van 12.1.2008, blz.15.
[10] Overeenkomstig de bepalingen van het Specifiek Programma: "… [..] De uitvoering en het beheer van de activiteit worden voortdurend getoetst en geëvalueerd om de prestaties te beoordelen en de procedures aan te passen en te verbeteren op basis van de ervaringen ".
[11] Inclusief bijvoorbeeld organisatorische financiële controle of interne audit, enz.
[12] " […] onafhankelijke Wetenschappelijke Raad, die uit wetenschappers, ingenieurs en geleerden met een zeer goede naam is samengesteld en die de Europese onderzoekswereld in zijn volledige breedte en diepte vertegenwoordigt, en wordt ondersteund door een sobere en kosteneffectieve specifieke uitvoeringsstructuur die de vorm aanneemt van een uitvoerend agentschap […] ".
[13] Het personeelsbeleid en de aanwerving bij de ERC vallen onder de bepalingen van de regeling welke van toepassing is op de andere personeelsleden van de Europese Unie (PB L 56 van 4.3.1968, blz. 0001-0007). Deze voorwaarden, die door de wetgever herhaaldelijk zijn verfijnd, zijn de basis voor elk EU-instrument voor onderzoeksondersteuning, inclusief de JTI's, ongeacht of dit door middel van uitvoerende agentschappen of een structuur op grond van artikel 171 gebeurt.