Toelichting bij COM(2021)206 - Vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (wet op de artificiële intelligentie) en tot wijziging van bepaalde wetgevingshandelingen van de unie - Hoofdinhoud
Dit is een beperkte versie
U kijkt naar een beperkte versie van dit dossier in de EU Monitor.
| dossier | COM(2021)206 - Vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (wet op de artificiële intelligentie) en tot ... |
|---|---|
| bron | COM(2021)206   |
| datum | 21-04-2021 |
1.1.Motivering en doel van het voorstel
Deze toelichting hoort bij het voorstel voor een verordening tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (wet op de artificiële intelligentie). Artificiële intelligentie (AI), ook wel kunstmatige intelligentie (KI) genoemd, is een snel evoluerende verzameling van technologieën die een brede waaier van economische en maatschappelijke voordelen kan opleveren in alle industrieën en sociale activiteiten. Door voorspellingen te verbeteren, verrichtingen en de toewijzing van middelen te optimaliseren en de dienstverlening te personaliseren kan het gebruik van artificiële intelligentie helpen om gunstige sociale en ecologische resultaten te behalen en belangrijke concurrentievoordelen op te leveren voor het bedrijfsleven en de Europese economie. Dergelijke maatregelen zijn vooral nodig in sectoren met een grote impact, zoals klimaatverandering, milieu en gezondheid, de overheidssector, financiën, mobiliteit, binnenlandse zaken en landbouw. Dezelfde elementen en technieken achter de sociaaleconomische voordelen van AI, kunnen echter ook nieuwe risico’s of negatieve gevolgen voor het individu of de samenleving met zich meebrengen. Gezien de snelheid van de technologische veranderingen en de mogelijke uitdagingen, is de EU vastbesloten te streven naar een evenwichtige aanpak. Het is in het belang van de EU om haar technologische leiderspositie te behouden en ervoor te zorgen dat Europeanen kunnen genieten van nieuwe technologieën, ontwikkeld en functionerend volgens de waarden, grondrechten en beginselen van de Unie.
Met dit voorstel komt voorzitter Von der Leyen de politieke verbintenis na die zij in haar politieke richtsnoeren voor de Commissie 2019-2024 “Een Unie die de lat hoger legt” 1 heeft aangekondigd, namelijk dat de Commissie wetgeving zal voorleggen voor een gecoördineerde Europese aanpak van de menselijke en ethische implicaties van AI. In aansluiting op die aankondiging heeft de Commissie op 19 februari 2020 het “Witboek over kunstmatige intelligentie — een Europese benadering op basis van excellentie en vertrouwen” 2 gepubliceerd. In het witboek worden beleidsopties uiteengezet om een tweeledige doelstelling te verwezenlijken, namelijk de invoering van AI bevorderen en de risico’s in verband met bepaalde toepassingen van dergelijke technologie aanpakken. Met het onderhavige voorstel wordt beoogd de tweede doelstelling voor de ontwikkeling van een ecosysteem van vertrouwen te verwezenlijken door een rechtskader voor betrouwbare AI voor te stellen. Het voorstel is gebaseerd op de waarden en grondrechten van de EU en heeft tot doel mensen en andere gebruikers het vertrouwen te geven om op AI gebaseerde oplossingen te omarmen en bedrijven aan te moedigen deze te ontwikkelen. AI moet een instrument zijn voor mensen en een positieve kracht in de samenleving, met als uiteindelijk doel het menselijk welbevinden te vergroten. De regels voor AI-toepassingen die op de markt van de Unie beschikbaar zijn of anderszins gevolgen hebben voor personen in de Unie, moeten dan ook mensgericht zijn, zodat de bevolking erop kan vertrouwen dat de technologie op een veilige manier wordt gebruikt, in overeenstemming met de wet en met respect voor de grondrechten. Na de bekendmaking van het witboek heeft de Commissie een brede raadpleging van belanghebbenden georganiseerd, die op grote belangstelling kon rekenen. De vele geïnteresseerde belanghebbenden bleken voorstander te zijn van regelgeving om de uitdagingen aan te pakken en de bezorgdheid over het toenemende gebruik van AI weg te nemen.
Dit voorstel is ook een reactie op de uitdrukkelijke verzoeken van het Europees Parlement (EP) en de Europese Raad, die herhaaldelijk hebben aangedrongen op wetgevingsmaatregelen voor een goed functionerende interne markt voor artificiële-intelligentiesystemen (“AI-systemen”) waarin zowel de voordelen als de risico’s van AI op het niveau van de Unie adequaat worden behandeld. Met dit voorstel wordt de doelstelling van de Unie gesteund om wereldwijd een voortrekkersrol te spelen bij de ontwikkeling van veilige, betrouwbare en ethische artificiële intelligentie, zoals verklaard door de Europese Raad 3 , en de bescherming van ethische beginselen te waarborgen, zoals specifiek gevraagd door het Europees Parlement 4 .
In 2017 heeft de Europese Raad verklaard dat “dringend moet worden ingespeeld op nieuwe trends”, met inbegrip van “vraagstukken als kunstmatige intelligentie (…) waarbij er tegelijkertijd een hoog niveau van gegevensbescherming, digitale rechten en ethische normen wordt gewaarborgd” 5 . In zijn conclusies van 2019 over het gecoördineerd plan inzake de ontwikkeling en het gebruik van kunstmatige intelligentie “made in Europe” 6 wees de Raad er voorts op hoe belangrijk het is dat de rechten van de Europese burgers ten volle worden geëerbiedigd. De Raad riep ook op tot een herziening van de bestaande wetgeving ter zake, zodat deze geschikt is voor de nieuwe kansen en uitdagingen die AI te bieden heeft. De Europese Raad heeft ook opgeroepen om een duidelijke definitie te geven aan AI-toepassingen met een hoog risico 7 .
In de meest recente conclusies van 21 oktober 2020 werd er voorts op aangedrongen de ondoorzichtigheid, complexiteit, vertekening (bias), een zekere mate van onvoorspelbaarheid en gedeeltelijk autonoom gedrag van bepaalde AI-systemen aan te pakken, zodat zij verenigbaar zijn met de grondrechten en om de handhaving van de wettelijke voorschriften te vergemakkelijken 8 .
Ook het Europees Parlement heeft al een aanzienlijke hoeveelheid werk verzet op het gebied van AI. In oktober 2020 heeft het een aantal resoluties over AI vastgesteld, onder meer over ethiek 9 , aansprakelijkheid 10 en auteursrecht 11 . In 2021 kwamen daar resoluties bij over AI in strafzaken 12 en in onderwijs, cultuur en de audiovisuele sector 13 . De resolutie van het EP over een kader voor ethische aspecten van artificiële intelligentie, robotica en aanverwante technologieën bevat een specifieke aanbeveling aan de Commissie om wetgevingsmaatregelen voor te stellen om de kansen en voordelen van AI te benutten, maar ook om de bescherming van ethische beginselen te waarborgen. De resolutie bevat een tekst van het wetgevingsvoorstel voor een verordening betreffende ethische beginselen voor de ontwikkeling, de uitrol en het gebruik van artificiële intelligentie, robotica en aanverwante technologieën. In lijn met de politieke verbintenis die Commissievoorzitter Von der Leyen in haar politieke richtsnoeren is aangegaan met betrekking tot de resoluties die het Europees Parlement op grond van artikel 225 VWEU heeft vastgesteld, wordt in dit voorstel rekening gehouden met bovengenoemde resolutie van het Europees Parlement, met volledige inachtneming van de beginselen van evenredigheid, subsidiariteit en betere regelgeving.
Tegen deze politieke achtergrond stelt de Commissie het regelgevingskader inzake artificiële intelligentie voor, met de volgende specifieke doelstellingen:
·ervoor zorgen dat AI-systemen die in de Unie in de handel worden gebracht en gebruikt, veilig zijn en de bestaande wetgeving inzake grondrechten en waarden van de Unie eerbiedigen;
·rechtszekerheid garanderen om investeringen en innovatie in AI te vergemakkelijken;
·het beheer en de doeltreffende handhaving van de bestaande wetgeving inzake grondrechten en veiligheidsvoorschriften die van toepassing zijn op AI-systemen, verbeteren;
·de ontwikkeling van een eengemaakte markt voor wettige, veilige en betrouwbare AI-toepassingen vergemakkelijken en marktversnippering voorkomen.
Om die doelstellingen te verwezenlijken, wordt in dit voorstel een evenwichtige en evenredige horizontale regelgevingsaanpak voor AI voorgesteld die beperkt blijft tot de noodzakelijke minimumvereisten om de risico’s en problemen in verband met AI aan te pakken, zonder de technologische ontwikkeling onnodig te beperken of te belemmeren of anderszins de kosten van het in de handel brengen van AI-oplossingen onevenredig te verhogen. Het voorstel voorziet in een robuust en flexibel rechtskader. Enerzijds is het alomvattend en toekomstbestendig in zijn fundamentele regelgevingskeuzen, met inbegrip van de op beginselen gebaseerde voorschriften waaraan AI-systemen moeten voldoen. Anderzijds wordt een evenredig regelgevingssysteem ingevoerd dat is gebaseerd op een welomschreven, risicogebaseerde regelgevingsaanpak die geen onnodige handelsbeperkingen oplegt, waarbij juridische interventies worden toegesneden op concrete situaties waarin er een gegronde reden tot bezorgdheid is of waarin een dergelijke bezorgdheid redelijkerwijs in de nabije toekomst kan worden verwacht. Tegelijkertijd omvat het rechtskader flexibele mechanismen zodat het dynamisch kan worden aangepast naarmate de technologie evolueert en zich nieuwe zorgwekkende situaties voordoen.
Het voorstel bevat geharmoniseerde regels voor de ontwikkeling, het in de handel brengen en het gebruik van AI-systemen in de Unie volgens een evenredige, risicogebaseerde aanpak. Er wordt één toekomstbestendige definitie van AI voorgesteld. Bepaalde bijzonder schadelijke AI-praktijken worden verboden omdat zij strijdig zijn met de waarden van de Unie, terwijl specifieke beperkingen en waarborgen worden voorgesteld met betrekking tot bepaalde gebruiksvormen van biometrische systemen voor identificatie op afstand ten behoeve van de rechtshandhaving. Het voorstel bevat een robuuste risicomethodologie om AI-systemen te definiëren die een “hoog risico” voor de gezondheid en veiligheid of de grondrechten van personen met zich meebrengen. Die AI-systemen zullen moeten voldoen aan een reeks horizontale, dwingende voorschriften voor betrouwbare AI en zullen conformiteitsbeoordelingsprocedures moeten volgen voordat zij in de Unie in de handel kunnen worden gebracht. Voorspelbare, evenredige en duidelijke verplichtingen worden ook opgelegd aan de aanbieders en gebruikers van die systemen om de veiligheid en de naleving van de bestaande wetgeving ter bescherming van de grondrechten gedurende de hele levenscyclus van AI-systemen te waarborgen. Voor sommige specifieke AI-systemen worden alleen minimale transparantieverplichtingen voorgesteld, met name wanneer chatbots of “deep fakes” worden gebruikt.
De voorgestelde regels zullen worden gehandhaafd door middel van een governancesysteem op het niveau van de lidstaten, dat voortbouwt op reeds bestaande structuren, en een samenwerkingsmechanisme op het niveau van de Unie door de oprichting van een Europees Comité voor artificiële intelligentie. Er worden ook aanvullende maatregelen voorgesteld om innovatie te ondersteunen, met name door middel van AI-testomgevingen voor regelgeving en andere maatregelen om de regeldruk te verminderen en kleine en middelgrote ondernemingen (“kmo’s”) en startende ondernemingen te ondersteunen.
1.2.Verenigbaarheid met bestaande bepalingen op het beleidsterrein
Vanwege het horizontale karakter moet het voorstel volledig verenigbaar zijn met de bestaande Uniewetgeving die van toepassing is op sectoren waar reeds gebruik wordt gemaakt of in de nabije toekomst waarschijnlijk gebruik zal worden gemaakt van AI-systemen met een hoog risico.
Er wordt ook gezorgd voor verenigbaarheid met het Handvest van de grondrechten van de EU en de bestaande secundaire Uniewetgeving inzake gegevensbescherming, consumentenbescherming, non-discriminatie en gelijkheid van mannen en vrouwen. Het voorstel doet geen afbreuk aan en vormt een aanvulling op de algemene verordening gegevensbescherming (Verordening (EU) 2016/679) en de Richtlijn rechtshandhaving (Richtlijn (EU) 2016/680) met een reeks geharmoniseerde regels die van toepassing zijn op het ontwerp, de ontwikkeling en het gebruik van bepaalde AI-systemen met een hoog risico, en beperkingen op bepaalde toepassingen van biometrische systemen voor identificatie op afstand. Voorts vult het voorstel de bestaande Uniewetgeving inzake non-discriminatie aan met specifieke voorschriften die het risico op algoritmische discriminatie tot een minimum moeten beperken, met name wat betreft het ontwerp en de kwaliteit van datareeksen die voor de ontwikkeling van AI-systemen worden gebruikt, aangevuld met verplichtingen inzake tests, risicobeheer, documentatie en menselijk toezicht gedurende de hele levenscyclus van de AI-systemen. Het voorstel doet geen afbreuk aan de toepassing van het mededingingsrecht van de Unie.
Wat betreft AI-systemen met een hoog risico die veiligheidscomponenten van producten zijn, zal dit voorstel in de bestaande sectorale veiligheidswetgeving worden geïntegreerd om de verenigbaarheid te garanderen, doublures te vermijden en de extra lasten tot een minimum te beperken. Met name wat betreft AI-systemen met een hoog risico die verband houden met producten die onder het nieuwe wetgevingskader (NWK) vallen (bv. machines, medische hulpmiddelen, speelgoed), zullen de in dit voorstel opgenomen voorschriften voor AI-systemen worden gecontroleerd in het kader van de bestaande overeenstemmingsbeoordelingen overeenkomstig de desbetreffende NWK-wetgeving. Wat de interactie tussen de eisen betreft, zullen de typische veiligheidsrisico’s van AI-systemen onder de eisen van dit voorstel vallen, terwijl de NWK-wetgeving tot doel heeft de algemene veiligheid van het eindproduct te waarborgen en bijgevolg specifieke eisen kan bevatten betreffende de veilige integratie van een AI-systeem in het eindproduct. Het voorstel voor een machineverordening, dat op dezelfde dag als dit voorstel wordt vastgesteld, sluit volledig aan bij deze aanpak. Het onderhavige voorstel zal niet direct van toepassing zijn op AI-systemen met een hoog risico die verband houden met producten die onder de relevante wetgeving “oude aanpak” vallen (bv. luchtvaart, auto’s). Met de in dit voorstel vervatte essentiële ex-antevereisten voor AI-systemen met een hoog risico zal evenwel rekening moeten worden gehouden bij de vaststelling van de desbetreffende uitvoerings- of gedelegeerde wetgeving uit hoofde van die handelingen.
AI-systemen die door gereguleerde kredietinstellingen beschikbaar worden gesteld of gebruikt, zullen onder de bevoegdheid vallen van de autoriteiten die verantwoordelijk zijn voor het toezicht op de Uniewetgeving inzake financiële diensten om na te gaan of de vereisten in dit voorstel worden nageleefd, teneinde een coherente handhaving van de verplichtingen uit hoofde van dit voorstel en de Uniewetgeving inzake financiële diensten te garanderen voor AI-systemen die tot op zekere hoogte impliciet zijn gereguleerd in het interne governancesysteem van kredietinstellingen. Om de verenigbaarheid verder te verbeteren, worden de conformiteitsbeoordeling en een aantal van de procedurele verplichtingen van de aanbieders in het kader van dit voorstel geïntegreerd in de procedures van Richtlijn 2013/36/EU betreffende toegang tot het bedrijf van kredietinstellingen en het prudentieel toezicht 14 .
Dit voorstel is ook verenigbaar met de toepasselijke Uniewetgeving inzake diensten, met inbegrip van diensten als tussenpersoon die worden gereguleerd door Richtlijn 2000/31/EG 15 inzake elektronische handel en het recente voorstel van de Commissie voor de wet inzake digitale diensten 16 .
Wat betreft AI-systemen die een onderdeel vormen van grootschalige IT-systemen op het gebied van vrijheid, veiligheid en recht, beheerd door het Agentschap van de Europese Unie voor het operationeel beheer van grootschalige IT-systemen (eu-LISA), is het voorstel niet van toepassing op AI-systemen die in de handel zijn gebracht of in bedrijf zijn gesteld vóór het verstrijken van een jaar na de datum van toepassing van deze verordening, tenzij de vervanging of wijziging van die rechtshandelingen tot een significante wijziging in het ontwerp of het beoogde doel van het betrokken AI-systeem of de betrokken AI-systemen leidt.
1.3.Verenigbaarheid met andere beleidsterreinen van de Unie
Het voorstel maakt deel uit van een breder pakket maatregelen om de problemen in verband met de ontwikkeling en het gebruik van AI aan te pakken, zoals onderzocht in het witboek over AI. Er wordt daarom gezorgd voor verenigbaarheid en complementariteit met andere lopende of geplande initiatieven van de Commissie die ook tot doel hebben deze problemen aan te pakken, met inbegrip van de herziening van de sectorale productwetgeving (bv. de machinerichtlijn, de richtlijn inzake algemene productveiligheid) en initiatieven die betrekking hebben op aansprakelijkheidskwesties in verband met nieuwe technologieën, waaronder AI-systemen. Deze initiatieven zijn een voortzetting van en vormen een aanvulling op dit voorstel, teneinde juridische duidelijkheid te scheppen en de ontwikkeling van een ecosysteem van vertrouwen in AI in Europa te bevorderen.
Het voorstel is ook in overeenstemming met de digitale strategie van de Commissie, in die zin dat het bijdraagt tot de bevordering van technologie die werkt voor de mensen, een van de drie belangrijkste pijlers van de beleidsoriëntatie en de doelstellingen die zijn aangekondigd in de mededeling “De digitale toekomst van Europa vormgeven” 17 . In het voorstel wordt een coherent, doeltreffend en evenredig kader vastgesteld zodat AI wordt ontwikkeld op een manier die de rechten van de mensen eerbiedigt en hun vertrouwen wint, zodat Europa klaar is voor het digitale tijdperk en we van de komende tien jaar het digitale decennium kunnen maken 18 .
Voorts is de bevordering van AI-gestuurde innovatie nauw verbonden met de datagovernanceverordening 19 , de richtlijn open data 20 en andere initiatieven in het kader van de EU-datastrategie 21 voor betrouwbare mechanismen en diensten om data die essentieel zijn voor de ontwikkeling van kwalitatief hoogstaande, datagestuurde AI-modellen te hergebruiken, te delen en te bundelen.
Met dit voorstel wordt ook de rol van de Unie om mee vorm te geven aan internationale normen en standaarden en om betrouwbare AI te bevorderen die strookt met de waarden en belangen van de Unie, aanzienlijk versterkt. Het verschaft de Unie een krachtige basis om met haar externe partners, met inbegrip van derde landen, en op internationale fora verder te onderhandelen over AI-aangelegenheden.
2. RECHTSGRONDSLAG, SUBSIDIARITEIT EN EVENREDIGHEID
2.1.Rechtsgrondslag
De rechtsgrondslag van het voorstel is in de eerste plaats artikel 114 van het Verdrag betreffende de werking van de Europese Unie (VWEU), dat voorziet in de vaststelling van maatregelen om de oprichting en werking van de interne markt te waarborgen.
Het onderhavige voorstel vormt een kernonderdeel van de EU-strategie voor een digitale eengemaakte markt. Het is in de eerste plaats bedoeld om de goede werking van de interne markt te waarborgen door geharmoniseerde regels vast te leggen, met name voor de ontwikkeling, het in de Unie in de handel brengen en het gebruik van producten en diensten die gebruikmaken van AI-technologieën of die als autonome AI-systemen worden aangeboden. In sommige lidstaten worden al nationale regels overwogen om ervoor te zorgen dat AI veilig is en wordt ontwikkeld en gebruikt met respect voor de verplichtingen inzake de grondrechten. Dit zal waarschijnlijk tot twee grote problemen leiden: i) een versnippering van de interne markt op essentiële punten, met name wat betreft de eisen voor AI-producten en -diensten, het in de handel brengen ervan en hun gebruik, de aansprakelijkheid en het toezicht door de overheid, en ii) een aanzienlijke vermindering van de rechtszekerheid voor zowel aanbieders als gebruikers van AI-systemen als het gaat over de wijze waarop bestaande en nieuwe regels in de Unie op die systemen van toepassing zullen zijn. Gezien het vele verkeer van producten en diensten over de grenzen heen, kunnen deze twee problemen het best worden opgelost door harmonisatiewetgeving op EU-niveau.
In het voorstel worden dan ook gemeenschappelijke, dwingende voorschriften vastgesteld die van toepassing zijn op het ontwerp en de ontwikkeling van bepaalde AI-systemen voordat deze in de handel worden gebracht. Deze voorschriften zullen verder worden geoperationaliseerd via geharmoniseerde technische normen. In het voorstel is ook rekening gehouden met de situatie nadat AI-systemen in de handel zijn gebracht, door de wijze waarop de ex-postcontroles worden uitgevoerd, te harmoniseren.
Aangezien dit voorstel voorts bepaalde specifieke regels bevat betreffende de bescherming van natuurlijke personen in verband met de verwerking van persoonsgegevens, met name beperkingen op het gebruik van AI-systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, is het passend deze verordening, voor zover het die specifieke regels betreft, te baseren op artikel 16 van het VWEU.
2.2.Subsidiariteit (bij niet-exclusieve bevoegdheid)
Door de aard van AI, die vaak steunt op grote en gevarieerde datasets en die ingebed kan zijn in elk product dat of elke dienst die vrij circuleert op de interne markt, kunnen de doelstellingen van dit voorstel niet op doeltreffende wijze door de lidstaten alleen worden verwezenlijkt. Bovendien zou een lappendeken van mogelijk uiteenlopende nationale regels het naadloze verkeer van producten en diensten die verband houden met AI-systemen in de EU belemmeren en niet doeltreffend zijn om de veiligheid en de bescherming van de grondrechten en de waarden van de Unie in de verschillende lidstaten te waarborgen. Een aanpak van de problemen op het nationale niveau zal alleen maar leiden tot extra rechtsonzekerheid en belemmeringen, en zal de marktpenetratie van AI vertragen.
De doelstellingen van dit voorstel kunnen beter op het niveau van de Unie worden verwezenlijkt om een verdere versnippering van de eengemaakte markt in potentieel tegenstrijdige nationale kaders te voorkomen, aangezien die het vrije verkeer van de goederen en diensten waarin AI is ingebed, alleen maar zouden belemmeren. Een robuust Europees regelgevingskader voor betrouwbare AI zal ook zorgen voor een gelijk speelveld, en zal ook alle mensen beschermen en tegelijkertijd het concurrentievermogen en de industriële basis in Europa op het gebied van AI versterken. Alleen door een gezamenlijk optreden op het niveau van de Unie kan ook de digitale soevereiniteit van de Unie worden beschermd en kunnen de instrumenten en regelgevende bevoegdheden van de Unie worden ingezet om wereldwijde regels en normen vorm te geven.
2.3.Evenredigheid
Het voorstel bouwt voort op bestaande rechtskaders en is evenredig en noodzakelijk om de doelstellingen te verwezenlijken, aangezien het een risicogebaseerde aanpak volgt en alleen regeldruk oplegt wanneer een AI-systeem waarschijnlijk een hoog risico oplevert voor de grondrechten en de veiligheid. Voor andere AI-systemen zonder een hoog risico worden slechts zeer beperkte transparantieverplichtingen opgelegd, bijvoorbeeld de verstrekking van informatie om aan te geven dat een AI-systeem wordt gebruikt voor interacties met mensen. Voor AI-systemen met een hoog risico zijn de eisen inzake het gebruik van data van hoge kwaliteit, documentatie en traceerbaarheid, transparantie, menselijk toezicht, nauwkeurigheid en robuustheid strikt noodzakelijk om de risico’s voor de grondrechten en de veiligheid te beperken die door AI worden gesteld en die niet door andere bestaande rechtskaders wordt gedekt. Dankzij geharmoniseerde normen en ondersteunende richtsnoeren en nalevingsinstrumenten zullen aanbieders en gebruikers beter in staat zijn de in het voorstel vastgestelde voorschriften na te leven en hun kosten tot een minimum te beperken. De kosten voor de marktdeelnemers staan in verhouding tot de beoogde doelstellingen en tot de economische en reputatievoordelen die de marktdeelnemers van dit voorstel mogen verwachten.
2.4.Keuze van het instrument
De keuze voor een verordening als rechtsinstrument wordt gerechtvaardigd door de noodzaak van een uniforme toepassing van de nieuwe regels, zoals de definitie van AI, het verbod op bepaalde schadelijke op AI gebaseerde praktijken en de indeling van bepaalde AI-systemen. Door de directe toepasbaarheid van een verordening, overeenkomstig artikel 288 VWEU, zal er minder juridische versnippering zijn en zal de ontwikkeling van een eengemaakte markt voor wettige, veilige en betrouwbare AI-systemen eenvoudiger worden. Dit wordt met name verwezenlijkt door de invoering van een geharmoniseerde verzameling van kernvereisten voor AI-systemen met een hoog risico, en van verplichtingen voor aanbieders en gebruikers van die systemen, waardoor de bescherming van de grondrechten wordt verbeterd en zowel marktdeelnemers als consumenten rechtszekerheid wordt geboden.
Tegelijkertijd zijn de bepalingen van de verordening niet onnodig prescriptief en laten zij ruimte voor de lidstaten om uiteenlopende maatregelen te nemen voor elementen die de doelstellingen van het initiatief niet ondermijnen, met name de interne organisatie van het markttoezichtsysteem en de toepassing van maatregelen om innovatie te bevorderen.
3. EVALUATIE, RAADPLEGING VAN BELANGHEBBENDEN EN EFFECTBEOORDELING
3.1.Raadpleging van belanghebbenden
Dit voorstel is het resultaat van een uitgebreid overleg met de voornaamste belanghebbenden, waarbij de Commissie de algemene beginselen en minimumnormen voor raadpleging van belanghebbenden heeft toegepast.
Samen met de bekendmaking van het witboek over artificiële intelligentie is op 19 februari 2020 een onlineraadpleging van het publiek gestart, die liep tot 14 juni 2020. Die raadpleging was bedoeld om standpunten en meningen over het witboek te verzamelen. Zij was gericht op alle belanghebbende partijen uit de openbare en particuliere sector, met inbegrip van regeringen, lokale overheden, commerciële en niet-commerciële organisaties, sociale partners, deskundigen, academici en burgers. Na alle ontvangen reacties te hebben bestudeerd, heeft de Commissie een samenvatting ervan en de afzonderlijke reacties op haar website bekendgemaakt 22 .
In totaal werden 1 215 bijdragen ontvangen, waarvan 352 van bedrijven of bedrijfsorganisaties/-verenigingen, 406 van natuurlijke personen (92 % natuurlijke personen uit de EU), 152 namens academische/onderzoeksinstellingen, en 73 van overheidsinstanties. Het maatschappelijk middenveld werd vertegenwoordigd door 160 respondenten (waaronder 9 consumentenorganisaties, 129 niet-gouvernementele organisaties en 22 vakbonden); 72 respondenten leverden een bijdrage als “overige”. Van de 352 vertegenwoordigers van het bedrijfsleven en de industrie waren er 222 ondernemingen en vertegenwoordigers uit het bedrijfsleven, waarvan 41,5 % micro-, kleine en middelgrote ondernemingen. De rest waren bedrijfsverenigingen. In totaal was 84 % van de antwoorden van het bedrijfsleven en de industrie afkomstig uit de EU-27. Afhankelijk van de vraag hebben tussen 81 en 598 van de respondenten gebruikgemaakt van de mogelijkheid om opmerkingen toe te voegen als vrije tekst. Via de website van de EU-enquête werden meer dan 450 standpuntnota’s ingediend, hetzij als aanvulling op de antwoorden op de vragenlijst (in meer dan 400 gevallen), hetzij als op zichzelf staande bijdragen (in meer dan 50 van de gevallen).
Over het algemeen zijn de belanghebbenden het erover eens dat actie moet worden ondernomen. Een grote meerderheid van de belanghebbenden is het ermee eens dat er lacunes in de wetgeving bestaan of dat nieuwe wetgeving nodig is. Verscheidene belanghebbenden hebben de Commissie er echter op gewezen dat overlappingen, tegenstrijdige verplichtingen en overregulering moeten worden vermeden. In veel van de opmerkingen werd het belang van een technologieneutraal en evenredig regelgevingskader onderstreept.
De belanghebbenden vroegen veelal om een enge, duidelijke en nauwkeurige definitie van AI. Zij wezen ook op het belang om, naast de verduidelijking van de term “AI”, ook een definitie te geven aan “risico”, “hoog risico”, “laag risico”, “biometrische identificatie op afstand” en “schade”.
De meeste respondenten zijn uitdrukkelijk voorstander van de risicogebaseerde aanpak. Het gebruik van een risicogebaseerd kader werd als een betere optie beschouwd dan een algemene regelgeving voor alle AI-systemen. De soorten risico’s en dreigingen moeten per sector en per geval worden vastgesteld. Bij de berekening van de risico’s moet ook rekening worden gehouden met de gevolgen voor de rechten en de veiligheid.
Testomgevingen voor regelgeving kunnen zeer nuttig zijn voor de bevordering van AI en worden toegejuicht door bepaalde belanghebbenden, met name de bedrijfsverenigingen.
Van degenen die hun mening over de handhavingsmodellen hebben gegeven, was meer dan 50 %, met name bij de bedrijfsverenigingen, voorstander van een combinatie van een zelf uitgevoerde ex-anterisicobeoordeling en ex-posthandhavingsmaatregelen voor AI-systemen met een hoog risico.
3.2.Bijeenbrengen en gebruik van expertise
Het voorstel is gebaseerd op twee jaar analyse en een nauwe betrokkenheid van belanghebbenden, waaronder academici, bedrijven, sociale partners, niet-gouvernementele organisaties, lidstaten en burgers. De voorbereiding startte in 2018 met de oprichting van een deskundigengroep op hoog niveau inzake AI. De groep was inclusief en breed samengesteld met 52 vooraanstaande deskundigen, en had als opdracht de Commissie te adviseren over de uitvoering van haar strategie inzake artificiële intelligentie. In april 2019 sprak de Commissie haar steun 23 uit voor de kernvereisten die waren opgesomd in de ethische richtsnoeren van de deskundigengroep op hoog niveau voor een betrouwbare AI 24 , en die herzien waren om rekening te houden met meer dan 500 bijdragen van belanghebbenden. De kernvereisten weerspiegelen een wijdverspreide en gemeenschappelijke aanpak, zoals blijkt uit de overvloed aan ethische codes en beginselen die door tal van particuliere en overheidsorganisaties in Europa en daarbuiten zijn uitgewerkt, waaruit blijkt dat bij de ontwikkeling en het gebruik van AI moet worden uitgegaan van bepaalde essentiële, op waarden gerichte beginselen. De Assessment List for Trustworthy Artificial Intelligence (Altai) 25 heeft deze eisen operationeel gemaakt in een proefproject met meer dan 350 organisaties.
Daarnaast is de AI Alliance 26 opgericht, een platform voor ongeveer 4 000 belanghebbenden om te debatteren over de technologische en maatschappelijke implicaties van AI. In het kader daarvan wordt jaarlijks de AI Assembly georganiseerd.
In het witboek over AI is deze inclusieve aanpak verder ontwikkeld en zijn de reacties van meer dan 1 250 belanghebbenden, waaronder meer dan 450 aanvullende standpuntnota’s, verwerkt. Naar aanleiding daarvan heeft de Commissie een eerste effectbeoordeling gepubliceerd, die op haar beurt meer dan 130 reacties heeft opgeleverd 27 . Er zijn ook aanvullende workshops en evenementen met belanghebbenden georganiseerd. De resultaten daarvan dienen als ondersteuning voor de analyse die is opgenomen in de effectbeoordeling en voor de in dit voorstel gemaakte beleidskeuzes 28 . Er werd ook een extern onderzoek besteld dat in de effectbeoordeling zal worden opgenomen.
3.3.Effectbeoordeling
In overeenstemming met haar beleid inzake “betere regelgeving” heeft de Commissie voor dit voorstel een effectbeoordeling uitgevoerd die door de Raad voor regelgevingstoetsing van de Commissie is onderzocht. Op 16 december 2020 heeft een vergadering met de Raad voor regelgevingstoetsing plaatsgevonden, waaruit een negatief advies is voortgevloeid. Na een grondige herziening van de effectbeoordeling om rekening te houden met de opmerkingen, werd de effectbeoordeling opnieuw ingediend en heeft de Raad voor regelgevingstoetsing op 21 maart 2021 een positief advies uitgebracht. De adviezen van de Raad voor regelgevingstoetsing, de aanbevelingen en een toelichting over de manier waarop daarmee rekening is gehouden, zijn opgenomen in bijlage 1 bij de effectbeoordeling.
De Commissie heeft verschillende beleidsopties onderzocht om de algemene doelstelling van het voorstel te verwezenlijken, namelijk de goede werking van de eengemaakte markt garanderen door de juiste voorwaarden te scheppen voor de ontwikkeling en het gebruik van betrouwbare AI in de Unie.
Er werden vier beleidsopties met telkens een verschillende mate van regelgevend ingrijpen beoordeeld:
·Optie 1: EU-wetgevingsinstrument tot instelling van een vrijwillige etiketteringsregeling;
·Optie 2: een sectorale ad-hocaanpak;
·Optie 3: horizontaal EU-wetgevingsinstrument volgens een evenredige, risicogebaseerde aanpak;
·Optie 3+: horizontaal EU-wetgevingsinstrument volgens een evenredige, risicogebaseerde aanpak + gedragscodes voor AI-systemen zonder hoog risico;
·Optie 4: horizontaal EU-wetgevingsinstrument tot vaststelling van dwingende voorschriften voor alle AI-systemen, ongeacht het risico dat zij inhouden.
Volgens de gebruikelijke methode van de Commissie werden de economische en maatschappelijke gevolgen van elke beleidsoptie beoordeeld, met bijzondere aandacht voor de effecten op de grondrechten. De voorkeursoptie is optie 3+, een regelgevingskader uitsluitend voor AI-systemen met een hoog risico, met de mogelijkheid voor alle aanbieders van AI-systemen zonder hoog risico om een gedragscode te volgen. De eisen hebben betrekking op data, documentatie en traceerbaarheid, informatieverstrekking en transparantie, menselijk toezicht, robuustheid en nauwkeurigheid, en zouden verplicht zijn voor AI-systemen met een hoog risico. Bedrijven die gedragscodes voor andere AI-systemen invoeren, zouden dat vrijwillig doen.
De voorkeursoptie werd geschikt bevonden om de doelstellingen van dit voorstel op de meest doeltreffende manier te verwezenlijken. Door met deze voorkeursoptie de ontwikkelaars en gebruikers van AI een beperkte maar doeltreffende reeks maatregelen op te leggen, wordt het risico op schendingen van de grondrechten en van de veiligheid van mensen beperkt. Tevens worden een doeltreffend toezicht en een doeltreffende handhaving bevorderd, doordat de eisen alleen gelden voor systemen waar het risico op dergelijke schendingen groot is. Daardoor blijven de nalevingskosten tot een minimum beperkt en wordt vermeden dat hogere prijzen en nalevingskosten voor onnodige vertraging zorgen in de invoering van AI. Om mogelijke nadelen voor kmo’s te ondervangen, bevat deze optie verschillende bepalingen om kmo’s te helpen bij de naleving en om hun kosten te verminderen, waaronder de oprichting van testomgevingen voor regelgeving en de verplichting om bij de vaststelling van vergoedingen voor conformiteitsbeoordelingen rekening te houden met de belangen van kmo’s.
De voorkeursoptie zal het vertrouwen van de mensen in AI vergroten, bedrijven zullen meer rechtszekerheid hebben en de lidstaten zullen geen reden zien om unilaterale maatregelen te nemen die de eengemaakte markt zouden kunnen versnipperen. Door de grotere vraag als gevolg van het grotere vertrouwen, het grotere aanbod als gevolg van de rechtszekerheid en de afwezigheid van belemmeringen voor het grensoverschrijdende verkeer van AI-systemen, zal de eengemaakte markt voor AI naar alle waarschijnlijkheid tot bloei komen. De Europese Unie zal blijven werken aan de ontwikkeling van een snel groeiend AI-ecosysteem van innovatieve diensten en producten waarin AI-technologie is geïntegreerd of van autonome AI-systemen, wat zal resulteren in meer digitale autonomie.
Bedrijven of overheidsinstanties die AI-toepassingen met een groot risico voor de veiligheid of de grondrechten van burgers ontwikkelen of gebruiken, zouden aan specifieke eisen en verplichtingen moeten voldoen. Naleving van deze eisen zou voor de levering van een gemiddeld AI-systeem met een hoog risico van ongeveer 170 000 EUR tegen 2025 ongeveer 6 000 tot 7 000 EUR kosten met zich meebrengen. Voor AI-gebruikers zouden er ook jaarlijkse kosten zijn voor de tijd die nodig is om te zorgen voor menselijk toezicht, afhankelijk van het type gebruik. Die kosten zijn geraamd op ongeveer 5 000 tot 8 000 EUR per jaar. De verificatiekosten kunnen oplopen tot nog eens 3 000 tot 7 500 EUR voor aanbieders van AI met een hoog risico. Bedrijven of overheidsinstanties die AI-toepassingen ontwikkelen of gebruiken die geen hoog risico inhouden, zouden slechts minimale informatieverplichtingen hebben. Zij zouden er echter voor kunnen kiezen zich bij anderen aan te sluiten en samen een gedragscode vast te stellen om passende vereisten na te leven en ervoor te zorgen dat hun AI-systemen betrouwbaar zijn. In dat geval zouden de kosten ten hoogste even hoog zijn als voor AI-systemen met een hoog risico, maar hoogstwaarschijnlijk lager.
De gevolgen van de beleidsopties voor de verschillende categorieën belanghebbenden (marktdeelnemers/bedrijven; conformiteitsbeoordelingsinstanties, normalisatie-instellingen en andere overheidsinstanties; natuurlijke personen/burgers; onderzoekers) worden uitvoerig toegelicht in bijlage 3 bij de effectbeoordeling ter ondersteuning van dit voorstel.
3.4.Resultaatgerichtheid en vereenvoudiging
In het onderhavige voorstel worden verplichtingen vastgesteld die gelden voor aanbieders en gebruikers van AI-systemen met een hoog risico. Voor aanbieders die dergelijke systemen ontwikkelen en op de markt van de Unie brengen, zal het rechtszekerheid scheppen en ervoor zorgen dat er geen belemmeringen ontstaan voor de grensoverschrijdende levering van AI-gerelateerde diensten en producten. Voor bedrijven die AI gebruiken, zal dit het vertrouwen van hun klanten bevorderen. De nationale overheidsdiensten kunnen aan de hand van dit voorstel het vertrouwen van het publiek in het gebruik van AI aanwakkeren en de handhavingsmechanismen versterken (door de invoering van een Europees coördinatiemechanisme dat in de passende capaciteit voorziet en audits van de AI-systemen vergemakkelijkt met nieuwe eisen inzake documentatie, traceerbaarheid en transparantie). Voorts zal het kader specifieke maatregelen bevatten om innovatie te ondersteunen, waaronder testomgevingen voor regelgeving en specifieke maatregelen ter ondersteuning van kleinschalige gebruikers en aanbieders van AI-systemen met een hoog risico om aan de nieuwe regels te voldoen.
Het voorstel is er ook specifiek op gericht om het concurrentievermogen van Europa en de industriële basis op het gebied van AI te versterken. Er wordt voor volledige verenigbaarheid gezorgd met de bestaande sectorale Uniewetgeving die van toepassing is op AI-systemen (bv. inzake producten en diensten) om meer duidelijkheid te verschaffen en de handhaving van de nieuwe regels te vereenvoudigen.
3.5.Grondrechten
Het gebruik van AI met haar specifieke kenmerken (bv. ondoorzichtigheid, complexiteit, afhankelijkheid van data, autonoom gedrag) kan een aantal grondrechten die in het EU-Handvest van de grondrechten (“het Handvest”) zijn verankerd, negatief beïnvloeden. Met dit voorstel wordt ernaar gestreefd een hoog niveau van bescherming te garanderen voor die grondrechten en verschillende risicobronnen aan te pakken door middel van een duidelijk omschreven, risicogebaseerde aanpak. Aan de hand van een reeks eisen voor betrouwbare AI en evenredige verplichtingen voor alle deelnemers aan de waardeketen, zal met het voorstel de bescherming van de door het Handvest beschermde rechten worden versterkt en bevorderd: het recht op menselijke waardigheid (artikel 1), de eerbiediging van het privéleven en de bescherming van persoonsgegevens (artikelen 7 en 8), non-discriminatie (artikel 21) en gelijkheid van vrouwen en mannen (artikel 23). Het is de bedoeling om te voorkomen dat het recht van vrije meningsuiting (artikel 11) en de vrijheid van vergadering (artikel 12) worden beknot en om het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, en het vermoeden van onschuld en rechten van de verdediging (artikelen 47 en 48), alsook het algemene beginsel van behoorlijk bestuur te beschermen. Voorts zal het voorstel, voor zover het op bepaalde gebieden van toepassing is, een positieve invloed hebben op de rechten van een aantal bijzondere groepen, zoals het recht van werknemers op rechtvaardige en billijke arbeidsomstandigheden en -voorwaarden (artikel 31), een hoog niveau van consumentenbescherming (artikel 28), de rechten van het kind (artikel 24) en de integratie van personen met een handicap (artikel 26). Het recht op een hoog niveau van milieubescherming en op verbetering van de kwaliteit van het milieu (artikel 37) is eveneens relevant, ook met betrekking tot de gezondheid en veiligheid van mensen. De verplichtingen inzake voorafgaande tests, risicobeheer en menselijk toezicht zullen ook helpen om andere grondrechten te eerbiedigen door het risico op verkeerde of partijdige beslissingen als gevolg van het gebruik van AI op kritieke gebieden zoals onderwijs en opleiding, werkgelegenheid, essentiële diensten, rechtshandhaving en justitie, tot een minimum te beperken. Mochten er toch inbreuken op de grondrechten worden gepleegd, dan zullen de getroffen personen daadwerkelijk schadeloos kunnen worden gesteld dankzij de transparantie en traceerbaarheid van de AI-systemen, gekoppeld aan strenge ex-postcontroles.
Met dit voorstel worden een aantal beperkingen opgelegd aan de vrijheid van ondernemerschap (artikel 16) en de vrijheid van kunsten en wetenschap (artikel 13) zodat rekening worden gehouden met dwingende redenen van algemeen belang, zoals gezondheid, veiligheid, consumentenbescherming en de bescherming van andere grondrechten (“verantwoorde innovatie”) wanneer AI-technologie met een hoog risico wordt ontwikkeld en gebruikt. Deze beperkingen zijn evenredig en beperkt tot het minimum dat noodzakelijk is om ernstige veiligheidsrisico’s en waarschijnlijke inbreuken op de grondrechten te voorkomen en te beperken.
De strengere transparantieverplichtingen zullen ook het recht op bescherming van intellectuele eigendom (artikel 17, lid 2) niet onevenredig aantasten, aangezien zij beperkt zullen blijven tot de minimale informatie die nodig is opdat personen hun recht op een doeltreffende voorziening in rechte kunnen uitoefenen en tot de noodzakelijke transparantie ten aanzien van toezichthoudende en handhavingsautoriteiten, overeenkomstig hun mandaten. Elke openbaarmaking van informatie zal worden uitgevoerd in overeenstemming met de relevante wetgeving ter zake, waaronder Richtlijn 2016/943 betreffende de bescherming van niet-openbaar gemaakte knowhow en bedrijfsinformatie (bedrijfsgeheimen) tegen het onrechtmatig verkrijgen, gebruiken en openbaar maken daarvan. Wanneer overheidsinstanties en aangemelde instanties toegang moeten krijgen tot vertrouwelijke informatie of broncode om na te gaan of materiële verplichtingen zijn nageleefd, zijn zij gebonden aan geheimhoudingsverplichtingen.
4. GEVOLGEN VOOR DE BEGROTING
De lidstaten zullen toezichthoudende autoriteiten moeten aanwijzen die belast zijn met de uitvoering van de wettelijke vereisten. Hun toezichthoudende functie kan worden gebaseerd op bestaande regelingen, bijvoorbeeld als het gaat om conformiteitsbeoordelingsinstanties of markttoezicht, maar zal wel voldoende technologische deskundigheid en personele en financiële middelen vereisen. Afhankelijk van de reeds bestaande structuur in elke lidstaat zou dit kunnen neerkomen op 1 tot 25 voltijdequivalenten per lidstaat.
Een gedetailleerd overzicht van de betrokken kosten is te vinden in het financieel memorandum bij dit voorstel.
5. OVERIGE ELEMENTEN
5.1.Uitvoeringsplanning en regelingen betreffende controle, evaluatie en rapportage
Een robuust controle- en evaluatiemechanisme is van cruciaal belang om de specifieke doelstellingen van het voorstel op doeltreffende wijze te verwezenlijken. De Commissie wordt belast met het toezicht op de gevolgen van het voorstel. Zij zal een systeem opzetten om autonome AI-toepassingen met een hoog risico te registreren in een openbare databank voor de hele EU. Deze registratie zal de bevoegde autoriteiten, gebruikers en andere belangstellenden tevens in staat stellen om na te gaan of het AI-systeem met een hoog risico voldoet aan de in het voorstel vastgestelde vereisten en om een beter toezicht uit te oefenen op AI-systemen die een hoog risico inhouden voor de grondrechten. Om deze databank van informatie te voorzien, zullen aanbieders van AI verplicht zijn om zinvolle informatie te verstrekken over hun systemen en over de conformiteitsbeoordeling die op deze systemen is uitgevoerd.
Voorts zullen aanbieders van AI verplicht zijn de nationale bevoegde autoriteiten in kennis te stellen van ernstige incidenten of storingen die een inbreuk vormen op de grondrechten, zodra zij daarvan op de hoogte zijn, alsook van terugroepingen of het uit de handel nemen van AI-systemen. De nationale bevoegde autoriteiten zullen dan de incidenten of storingen onderzoeken, alle nodige informatie verzamelen en die informatie regelmatig met adequate metadata aan de Commissie overmaken. De Commissie zal deze informatie over de incidenten aanvullen met een uitgebreide analyse van de totale AI-markt.
De Commissie zal vijf jaar na de datum waarop het voorgestelde AI-kader van toepassing wordt, een evaluatie- en herzieningsverslag publiceren.
5.2.Artikelsgewijze toelichting
Inhoudsopgave
- 5.2.1.TOEPASSINGSGEBIED EN DEFINITIES (TITEL I)
- 5.2.2.VERBODEN PRAKTIJKEN OP HET GEBIED VAN ARTIFICIËLE INTELLIGENTIE (TITEL II)
- 5.2.3.AI-SYSTEMEN MET EEN HOOG RISICO (TITEL III)
- 5.2.4.TRANSPARANTIEVERPLICHTINGEN VOOR BEPAALDE AI-SYSTEMEN (TITEL IV)
- 5.2.5.MAATREGELEN TER ONDERSTEUNING VAN INNOVATIE (TITEL V)
- 5.2.6.GOVERNANCE EN UITVOERING (TITELS VI, VII EN VII)
- 5.2.7.GEDRAGSCODES (TITEL IX)
- 5.2.8.SLOTBEPALINGEN (TITELS X, XI EN XII)
Titel I bevat de definitie van het voorwerp van de verordening en het toepassingsgebied van de nieuwe regels die betrekking hebben op het in de handel brengen, de inbedrijfstelling en het gebruik van AI-systemen. Ook de overige in het instrument gebruikte definities worden daarin gedefinieerd. De definitie van AI-systeem binnen het rechtskader beoogt zo technologieneutraal en toekomstbestendig mogelijk te zijn, rekening houdend met de snelle technologische en marktgerelateerde ontwikkelingen op het gebied van AI. Om de nodige rechtszekerheid te bieden, wordt titel I aangevuld met bijlage I, waarin een gedetailleerde lijst van benaderingen en technieken voor de ontwikkeling van AI is opgenomen, die door de Commissie in overeenstemming met nieuwe technologische ontwikkelingen moet worden aangepast. Ook de belangrijkste deelnemers aan de AI-waardeketen zijn duidelijk gedefinieerd, zoals aanbieders en gebruikers van AI-systemen, waaronder zowel openbare als particuliere marktdeelnemers vallen om een gelijk speelveld te garanderen.
Titel II bevat een lijst van verboden AI. De verordening volgt een risicogebaseerde aanpak, waarbij een onderscheid wordt gemaakt tussen AI-toepassingen die i) een onaanvaardbaar risico, ii) een hoog risico, en iii) een laag of minimaal risico met zich meebrengen. De lijst van verboden praktijken in titel II bevat alle AI-systemen waarvan het gebruik onaanvaardbaar wordt geacht omdat het strijdig is met de waarden van de Unie, bijvoorbeeld vanwege een schending van grondrechten. Het verbod heeft betrekking op praktijken die een aanzienlijk potentieel hebben om personen via subliminale technieken, zonder dat ze zich daarvan bewust zijn, te manipuleren of misbruik te maken van de kwetsbaarheid van specifieke kwetsbare groepen zoals kinderen of personen met een handicap, teneinde hun gedrag wezenlijk te verstoren op een wijze die hen of anderen psychisch of fysiek letsel kan toebrengen. Andere manipulatie- of uitbuitingspraktijken ten aanzien van volwassenen die door AI-systemen zouden kunnen worden vergemakkelijkt, kunnen onder de bestaande wetgeving inzake gegevensbescherming, consumentenbescherming en digitale diensten vallen, die waarborgt dat natuurlijke personen naar behoren worden geïnformeerd en de vrije keuze hebben om niet te worden onderworpen aan profilering of andere praktijken die hun gedrag kunnen beïnvloeden. Het voorstel verbiedt ook op AI gebaseerde “sociale scoring” voor algemene doeleinden door overheidsinstanties. Tot slot is ook het gebruik van “realtime” biometrische systemen voor identificatie op afstand in openbare ruimten met het oog op de rechtshandhaving verboden, tenzij in een beperkt aantal uitzonderlijke gevallen.
Titel III bevat specifieke regels voor AI-systemen die een hoog risico voor de gezondheid en veiligheid of de fundamentele rechten van natuurlijke personen inhouden. In het kader van een risicogebaseerde aanpak worden deze AI-systemen met een hoog risico toegelaten op de Europese markt, mits zij voldoen aan bepaalde dwingende voorschriften en vooraf een conformiteitsbeoordeling ondergaan. AI-systemen met een hoog risico worden als dusdanig ingedeeld op basis van het beoogde doel van het AI-systeem, in overeenstemming met de bestaande wetgeving inzake productveiligheid. De indeling als AI-systeem met een hoog risico hangt bijgevolg niet alleen af van de functie die het systeem vervult, maar ook van het specifieke doel en de modaliteiten waarvoor dat systeem wordt gebruikt.
In hoofdstuk 1 van titel III worden de indelingsregels vastgesteld en wordt een onderscheid gemaakt tussen twee hoofdcategorieën van AI-systemen met een hoog risico:
·AI-systemen die zijn bedoeld om te worden gebruikt als veiligheidscomponent van producten die vooraf een conformiteitsbeoordeling door derden moeten ondergaan;
·andere autonome AI-systemen met hoofdzakelijk implicaties op het gebied van de grondrechten die uitdrukkelijk in bijlage III zijn vermeld.
Deze lijst van AI-systemen met een hoog risico in bijlage III bevat een beperkt aantal AI-systemen waarvan de risico’s zich reeds hebben gemanifesteerd of zich in de nabije toekomst waarschijnlijk zullen manifesteren. Om ervoor te zorgen dat de verordening kan worden aangepast aan opkomende gebruiksvormen en toepassingen van AI, kan de Commissie de lijst van AI-systemen met een hoog risico die binnen bepaalde vooraf bepaalde gebieden worden gebruikt, uitbreiden door een reeks criteria en een risicobeoordelingsmethode toe te passen.
Hoofdstuk 2 bevat de wettelijke voorschriften voor AI-systemen met een hoog risico met betrekking tot data en databeheer, documentatie en het bijhouden van gegevens, transparantie en informatieverstrekking aan gebruikers, menselijk toezicht, robuustheid, nauwkeurigheid en beveiliging. De voorgestelde minimumvereisten zijn voor veel toegewijde marktdeelnemers al erg geavanceerd en vormen het resultaat van twee jaar voorbereidend werk, afgeleid van de ethische richtsnoeren van de deskundigengroep op hoog niveau 29 en door meer dan 350 organisaties getest 30 . Zij sluiten ook grotendeels aan bij andere internationale aanbevelingen en beginselen, wat garandeert dat het voorgestelde AI-kader verenigbaar is met de bestaande kaders van de internationale handelspartners van de EU. De precieze technische oplossingen om aan die eisen te voldoen, kunnen worden aangeboden in de vorm van normen of andere technische specificaties, dan wel anderszins worden ontwikkeld op basis van algemene technische of wetenschappelijke kennis, naar goeddunken van de aanbieder van het AI-systeem. Deze flexibiliteit is bijzonder belangrijk, omdat zij aanbieders van AI-systemen in staat stelt de manier te kiezen waarop zij aan de eisen voldoen, rekening houdend met de stand van de techniek en de technologische en wetenschappelijke vooruitgang op dit gebied.
In hoofdstuk 3 wordt een duidelijke reeks horizontale verplichtingen opgelegd aan aanbieders van AI-systemen met een hoog risico. Er worden ook evenredige verplichtingen opgelegd aan gebruikers en andere deelnemers aan de AI-waardeketen (bv. importeurs, distributeurs, gemachtigden).
In hoofdstuk 4 wordt het kader geschetst waarbinnen aangemelde instanties als onafhankelijke derde partij bij conformiteitsbeoordelingsprocedures worden betrokken, terwijl in hoofdstuk 5 de conformiteitsbeoordelingsprocedures die voor elk type AI-systeem met hoog risico moeten worden gevolgd, in detail worden toegelicht. Door te werken met conformiteitsbeoordelingen wordt beoogd de lasten voor marktdeelnemers evenals voor aangemelde instanties, die hun capaciteit geleidelijk aan moeten uitbreiden, tot een minimum te beperken. AI-systemen die bedoeld zijn om te worden gebruikt als veiligheidscomponenten van producten die onder het nieuwe wetgevingskader vallen (bv. machines, speelgoed, medische hulpmiddelen enzovoort), worden onderworpen aan dezelfde ex-ante- en ex-postconformiteitsmechanismen en -handhavingsmechanismen als de producten waarvan zij een component zijn. Het belangrijkste verschil is dat de ex-ante- en ex-postmechanismen niet alleen de naleving van de in de sectorale wetgeving vastgestelde vereisten, maar ook van de in deze verordening vastgestelde vereisten zullen garanderen.
Wat de in bijlage III bedoelde autonome AI-systemen met een hoog risico betreft, zal een nieuw nalevings- en handhavingssysteem worden ingesteld. Hierbij wordt het model van het nieuwe wetgevingskader gevolgd, dat wordt uitgevoerd door middel van interne controles door de aanbieders, met uitzondering van biometrische systemen voor identificatie op afstand, die aan een conformiteitsbeoordeling door een derde worden onderworpen. Een uitgebreide ex-anteconformiteitsbeoordeling door middel van interne controles, gecombineerd met een strenge ex-posthandhaving, zou voor die systemen een doeltreffende en redelijke oplossing kunnen zijn, aangezien de regelgevende maatregelen zich in een vroege fase bevinden en het feit dat de AI-sector zeer innovatief is en de deskundigheid voor audits nu pas wordt opgebouwd. Een beoordeling aan de hand van interne controles voor “autonome” AI-systemen met een hoog risico vereist een volledige, doeltreffende en naar behoren gedocumenteerde ex-antenaleving van alle voorschriften in de verordening en naleving van robuuste kwaliteits- en risicobeheerssystemen en monitoring na het in de handel brengen. Nadat de aanbieder de relevante conformiteitsbeoordeling heeft uitgevoerd, moet hij deze autonome AI-systemen met een hoog risico registreren in een EU-databank die door de Commissie zal worden beheerd om de publieke transparantie en het publieke toezicht te vergroten en het ex-posttoezicht door de bevoegde autoriteiten te versterken. Daarentegen zal voor de conformiteitsbeoordeling van AI-systemen die veiligheidscomponenten van producten zijn, ten behoeve van de verenigbaarheid met bestaande wetgeving inzake productveiligheid, een systeem worden gehanteerd met conformiteitsbeoordelingsprocedures van derden die reeds zijn vastgesteld in het kader van de desbetreffende sectorale wetgeving inzake productveiligheid. Hernieuwde ex-anteconformiteitsbeoordelingen zullen nodig zijn in geval van substantiële wijzigingen van de AI-systemen (en met name wijzigingen die verder gaan dan wat vooraf door de aanbieder in zijn technische documentatie is bepaald en tijdens de ex-anteconformiteitsbeoordeling is gecontroleerd).
Titel IV heeft betrekking op bepaalde AI-systemen waarmee rekening moet worden gehouden gezien de specifieke risico’s op manipulatie die zij inhouden. Er zullen transparantieverplichtingen gelden voor systemen die i) interageren met mensen, ii) worden gebruikt om emoties te detecteren of mensen in te delen in (sociale) categorieën op basis van biometrische gegevens, of iii) inhoud genereren of manipuleren (“deep fakes”). Wanneer personen interageren met een AI-systeem of hun emoties of kenmerken door geautomatiseerde hulpmiddelen worden herkend, moeten zij daarvan op de hoogte worden gebracht. Als een AI-systeem wordt gebruikt om beeld-, audio- of videomateriaal te genereren of te manipuleren dat een merkbare gelijkenis vertoont met authentieke inhoud, moet het verplicht zijn om bekend te maken dat de inhoud door geautomatiseerde hulpmiddelen is gegenereerd, behoudens uitzonderingen voor legitieme doeleinden (rechtshandhaving, vrijheid van meningsuiting). Dit geeft personen de mogelijkheid weloverwogen keuzes te maken of afstand te nemen van een bepaalde situatie.
De inhoud van titel V draagt bij aan de doelstelling om een rechtskader tot stand te brengen dat innovatievriendelijk, toekomstbestendig en bestand tegen verstoringen is. Daartoe worden de nationale bevoegde autoriteiten aangemoedigd om testomgevingen voor regelgeving op te zetten en wordt een basiskader vastgesteld voor governance, toezicht en aansprakelijkheid. AI-testomgevingen voor regelgeving zijn gecontroleerde omgevingen waarin innovatieve technologieën gedurende een beperkte tijd kunnen worden getest op basis van een met de bevoegde autoriteiten overeengekomen testplan. Titel V bevat ook maatregelen om de regeldruk voor de kmo’s en startende ondernemingen te verlichten.
In titel VI worden de governancesystemen op het niveau van de Unie en op nationaal niveau ingesteld. Op het niveau van de Unie voorziet het voorstel in de oprichting van een Europees Comité voor artificiële intelligentie (het “Comité”), dat is samengesteld uit vertegenwoordigers van de lidstaten en de Commissie. Het Comité zal een vlotte, doeltreffende en geharmoniseerde uitvoering van deze verordening vergemakkelijken door bij te dragen aan de vlotte samenwerking tussen de nationale toezichthoudende autoriteiten en de Commissie, en advies en expertise ter beschikking te stellen van de Commissie. De raad zal ook beste praktijken verzamelen en uitwisselen tussen de lidstaten.
Op nationaal niveau zullen de lidstaten een of meer nationale bevoegde autoriteiten moeten aanwijzen, waaronder de nationale toezichthoudende autoriteit, die belast worden met het toezicht op de toepassing en uitvoering van de verordening. De Europese Toezichthouder voor gegevensbescherming treedt op als de bevoegde autoriteit voor het toezicht op de instellingen, agentschappen en organen van de Unie wanneer zij binnen het toepassingsgebied van deze verordening vallen.
Titel VII is bedoeld om het toezicht door de Commissie en de nationale autoriteiten te vergemakkelijken door een EU-databank op te richten voor autonome AI-systemen met een hoog risico die voornamelijk gevolgen hebben voor de grondrechten. De databank zal worden beheerd door de Commissie en van data worden voorzien door de aanbieders van de AI-systemen, die verplicht zullen zijn hun systemen te registreren alvorens ze in de handel te brengen of anderszins in gebruik te nemen.
Titel VIII bevat de monitoring- en rapportageverplichtingen voor aanbieders van AI-systemen met betrekking tot de monitoring na het in de handel brengen en de rapportage van en het onderzoek naar AI-gerelateerde incidenten en storingen. De markttoezichtautoriteiten zullen ook de markt controleren en nagaan of alle reeds in de handel gebrachte AI-systemen met een hoog risico voldoen aan de verplichtingen en vereisten. De markttoezichtautoriteiten beschikken over alle bevoegdheden uit hoofde van Verordening (EU) 2019/1020 betreffende markttoezicht. Via ex-posthandhaving wordt ervoor gezorgd dat overheidsinstanties, zodra het AI-systeem in de handel is gebracht, over de bevoegdheden en middelen beschikken om in te grijpen wanneer AI-systemen onverwachte risico’s met zich meebrengen die een snel ingrijpen rechtvaardigen. Zij zien er ook op toe dat de marktdeelnemers hun relevante verplichtingen uit hoofde van de verordening naleven. Het voorstel voorziet niet in de automatische oprichting van extra instanties of autoriteiten op het niveau van de lidstaten. De lidstaten kunnen derhalve bestaande sectorale autoriteiten aanwijzen (en een beroep doen op de deskundigheid van die autoriteiten), die de bevoegdheid voor het toezicht op en de handhaving van de bepalingen van de verordening op zich zullen nemen.
Dit alles doet geen afbreuk aan het bestaande systeem en de bestaande verdeling van bevoegdheden in de lidstaten voor de ex-posthandhaving van de verplichtingen betreffende de grondrechten. Indien nodig voor hun mandaat zullen de bestaande toezichthoudende en handhavingsautoriteiten ook bevoegd zijn om alle in het kader van deze verordening bijgehouden documentatie op te vragen en in te zien en, indien nodig, de markttoezichtautoriteiten te verzoeken het AI-systeem met een hoog risico aan technische tests te onderwerpen.
In titel IX wordt een kader voor gedragscodes omschreven die aanbieders van AI-systemen zonder hoog risico ertoe moeten aanzetten de dwingende voorschriften voor AI-systemen met een hoog risico (zoals vastgelegd in titel III) vrijwillig toe te passen. Aanbieders van AI-systemen zonder hoog risico kunnen de gedragscodes zelf opstellen en toepassen. In deze codes kunnen ook vrijwillige verbintenissen zijn opgenomen met betrekking tot bijvoorbeeld milieuduurzaamheid, toegankelijkheid voor personen met een handicap, inspraak van belanghebbenden tijdens het ontwerp en de ontwikkeling van AI-systemen, en diversiteit binnen de ontwikkelingsteams.
In titel X wordt de aandacht gevestigd op de verplichting van alle partijen om de vertrouwelijkheid van informatie en data te eerbiedigen en zijn regels opgenomen voor de uitwisseling van de informatie die tijdens de uitvoering van de verordening is verkregen. Titel X bevat ook maatregelen om te zorgen voor de doeltreffende uitvoering van de verordening door middel van doeltreffende, evenredige en afschrikkende sancties voor inbreuken op de bepalingen.
Titel XI bevat regels voor de uitoefening van de bevoegdheidsdelegatie en de uitvoeringsbevoegdheden. Het voorstel geeft de Commissie de bevoegdheid om in voorkomend geval uitvoeringshandelingen vast te stellen om de uniforme toepassing van de verordening te waarborgen, of gedelegeerde handelingen om de lijsten in de bijlagen I tot en met VII bij te werken of aan te vullen.
Titel XII bevat de verplichting voor de Commissie om regelmatig na te gaan of bijlage III moet worden bijgewerkt en om regelmatig verslag uit te brengen over de evaluatie en herziening van de verordening. Dit deel bevat ook de slotbepalingen, waaronder een gedifferentieerde overgangsperiode voor de begindatum van de toepasselijkheid van de verordening, teneinde een soepele uitvoering voor alle betrokken partijen te vergemakkelijken.