Europeiska kommissionens förslag till förordning om harmoniserade regler för artificiell intelligens
Proposal for a Regulation laying down harmonised rules on artificial intelligence (artificial intelligence act) and amending certain union legislative acts.
Remissvar på (COM(2021)206), 23 juni 2021
Diskrimineringsombudsmannen (DO) har anmodats att yttra sig över Europeiska kommissionens förslag till ovanstående förordning. DO har med utgångspunkt i myndighetens uppdrag följande synpunkter.
Allmänna synpunkter på kommissionens förslag
Utvecklingen av artificiell intelligens (AI) pågår i snabb takt inom flera samhällsområden. AI har potential att bidra med betydande nytta genom att tillhandahålla lösningar på ekonomiska, miljömässiga och sociala samhällsutmaningar. Samtidigt finns det en risk för diskriminering när AI-system används. Den föreslagna förordningen adresserar bland annat denna risk och föreskriver ett system för att minska den. För att förordningens tillämpningsområde inte ska bli för begränsat är det angeläget att definitionen av AI är bred. DO bedömer att förslaget kommer att minska risken för diskriminering och ser därför positivt på den föreslagna regleringen. DO välkomnar också att förordningen särskilt innehåller bestämmelser om regelbunden uppföljning, tillsyn och sanktioner.
Det bör i sammanhanget framhållas att diskriminering som sker genom AI-system omfattas av diskrimineringslagen (2008:567) vars förbud är teknikneutrala. För att säkerställa att förbuden efterlevs och för att enskilda ska ha möjlighet till upprättelse när de diskrimineras krävs insyn i AI-systemens uppbyggnad och funktionssätt. Av det följer att processerna för att bedöma om ett AI-system uppfyller kravet på icke-diskriminering i största möjliga mån dokumenteras, registreras och offentliggörs. Det krävs även att enskilda informeras om när AI används vid beslutsfattande. Det gäller också de tekniker och områden där risken för diskriminering har bedömts som låg. Av det skälet bör även system på de så kallade lågriskområdena omfattas av minimikrav på transparens och offentlighet. DO bedömer det alltså inte tillräckligt att hänvisa aktörer som tillhandahåller sådana system till frivilliga uppförandekoder. Vidare bedömer DO att transparenskraven för vissa AI-system i artikel 52 inte är tillräckliga. Artikeln bör också föreskriva en skyldighet att informera enskilda om ett AI-system används vid beslutsfattande.
Vad gäller själva klassificeringen av de så kallade högriskområdena i bilaga III till förordningen är det viktigt att klassificeringen är tydlig och att samtliga områden där diskriminering kan få särskilt stora konsekvenser för den enskilda individen eller samhället upptas redan från början. Enligt DO är det en brist att områdena inte på ett tillräckligt tydligt sätt överensstämmer med de områden som omfattas av de unionsrättsliga likabehandlingsdirektiven. Exempelvis framgår det inte uttryckligen av punkten 5 i bilaga III till förordningen om tillhandahållandet av bostäder inkluderas i tillhandahållandet av väsentliga tjänster, något som skapar osäkerhet mot bakgrund av att tjänster i form av sjukvård anges som ett högriskområde. DO bedömer att punkten uttryckligen bör ange tillhandahållandet av bostäder som ett högriskområde (jfr artikel 3.1 (h) direktiv 2000/43/EG).
Behovet av samverkan mellan DO och tillsynsmyndigheten
Förordningen föreskriver ett ansökningsförfarande och en godkännandeprocess beträffande AI-system som klassificeras som högrisk, där det för ett godkännande krävs att AI-system bland annat uppfyller kravet på att vara icke-diskriminerande. Vidare innehåller förordningen bestämmelser om uppföljning och tillsyn. Att avgöra om ett kriterium eller ett förfaringssätt som framstår som neutralt kan komma att särskilt missgynna en viss i diskrimineringslagen skyddad persongrupp är ofta en komplex och svår bedömning. För att säkerställa att de nationella tillsynsmyndigheterna för AI-system har tillräcklig kompetens för att göra sådana bedömningar anser DO att det är lämpligt att föreskriva att nationella likabehandlingsorgan som DO ska kunna bistå tillsynsmyndigheten med sakkunskap och analys.
För att kunna säkerställa lagens efterlevnad och verka för den enskildes upprättelse, har DO ett motsvarande behov av att kunna vända sig till den nationella tillsynsmyndigheten. Eftersom det på arbetslivets område finns mycket korta preskriptionsfrister är det viktigt att DO snabbt kan få tillgång till information om hur en algoritm har fattat ett beslut eller på annat sätt utgjort en del i ett beslutsunderlag, samt om vilken data som har använts. DO – och sannolikt inte heller de andra tillsynsmyndigheter som berörs – har inte den tekniska kompetens som krävs för att göra bedömningarna. Det är därför angeläget att säkerställa att DO vid behov har möjlighet att vända sig till den nationella tillsynsmyndigheten för att få tillgång till en sådan kompetens.
Det finns även behov att säkerställa att DO direkt eller med stöd av tillsynsmyndigheten kan få tillgång till den information om AI-systemet som krävs för bedömningen. Här förtjänar att påpekas att DO ser att den begränsning i skyldigheten att tillhandahålla DO de uppgifter som krävs för tillsynen som föreskrivs i 4 kap. 3 § andra stycket diskrimineringslagen kommer att innebära ett praktiskt hinder för en sådan effektiv tillsyn på området som förutsätts i artikel 64.3 förordningen.
DO bedömer alltså att det kommer att finnas betydande behov av samverkan mellan DO och den myndighet som ges ansvar att säkerställa efterlevnaden av förordningen. DO välkomnar därför att förordningen i artikel 63.7 uttryckligen föreskriver att medlemsstaterna ska underlätta samordningen mellan tillsynsmyndigheterna. DO vill dock redan här avisera att kravet sannolikt kommer att kräva lagstiftningsåtgärder för att informationsinhämtning och samordning ska ske på ett effektivt sätt.
Ett förtydligande av ansvaret för diskriminering
Som har anförts ovan är det ofta en komplex och svår bedömning att i förhand avgöra om ett kriterium eller förfaringssätt medför en risk för diskriminering. Det är därför viktigt att det uppmärksammas att det finns en beaktansvärd risk för algoritmisk indirekt diskriminering trots att ett AI-system har gått igenom det ansökningsförfarande och den godkännandeprocess som föreskrivs i förordningen.
Enligt DO är det därför en brist att det inte tillräckligt tydligt framgår av förordningen att den inte är avsedd att begränsa de rättigheter och det ansvar som följer av diskrimineringslagstiftningen. Otydligheten i detta avseende kan få följder som inte varit avsedda och som urholkar den enskildes rättigheter enligt diskrimineringslagstiftningen på ett oacceptabelt sätt. Såvitt DO kan bedöma ger inte förordningen något tydligt svar på hur en domstol, som har att pröva ett konkret fall av indirekt algoritmisk diskriminering, ska förhålla sig till att en leverantör eller användare av ett högrisk AI-system har följt förordningens bestämmelser och av den nationella tillsynsmyndigheten har ansetts uppfylla kravet på icke-diskriminering. DO förordar därför att det för kommissionen påtalas att det finns ett behov av att uttryckligen föreskriva att ett godkännande enligt förordningen varken påverkar leverantörers och användares ansvar för diskriminering som sker genom systemen eller enskildas rätt till ersättning för skador som uppstår genom sådan diskriminering.
Beslut i detta ärende (LED 2021/290) har fattats av Lars Arrhenius efter föredragning av processföraren Isabelle Arsova. I den slutliga handläggningen har också chefsjuristen Mattias Falk, enhetschefen Lovisa Strömberg, sektionschefen Karolina Windell och utredaren Ragnar Andersson deltagit.
Lars Arrhenius, diskrimineringsombudsman