Anpassningar till AI-förordningen

Inledande synpunkter

Diskrimineringsombudsmannen (DO) välkomnar i huvudsak AI-utredningens bedömningar och förslag. Regleringen i AI-förordningen har bland annat setts som nödvändig för att förhindra att diskriminering förekommer i en rad samhällssektorer, inte minst inom arbetslivet. Mot den bakgrunden hade det varit önskvärt med ett tydligare diskrimineringsperspektiv i både kommittédirektivet och i utredningens betänkande.

En grundläggande utgångspunkt för DO när det gäller behovet av anpassningar till AI-förordningen är att det av skäl 157 i förordningen framgår att förordningen inte påverkar behörigheten, uppgifterna, befogenheterna och oberoendet för relevanta nationella offentliga myndigheter som övervakar tillämpningen av EU-rätten till skydd för grundläggande rättigheter, inbegripet sådana likabehandlingsorgan som DO utgör. Diskrimineringsförbuden i diskrimineringslagen (2008:567), DL, är teknikneutrala och gäller även AI-relaterad diskriminering på de samhällsområden som lagen omfattar. Det innebär att DO:s befintliga uppgift enligt 4 kap. DL att utöva tillsyn över sådan diskriminering som användning av AI kan orsaka inom ett område som omfattas av 2 kap. DL inte i sig påverkas av AI-förordningen. Detsamma gäller för tillsynsobjektens uppgiftsskyldighet enligt 4 kap. 3 § DL inom ramen för DO:s tillsyn. Denna innebär att den som omfattas av förbuden mot diskriminering är skyldig att på begäran av DO bland annat lämna de uppgifter om förhållandena i verksamheten som kan ha betydelse för tillsynen. En sådan uppgiftsskyldighet kan vara aktuell vid tillsyn över sådana AI-system som omfattas av AI-förordningen när enskilda anmäler till DO att de upplever sig ha blivit utsatta för diskriminering i samband med användningen av AI-system inom ett område som omfattas av ett diskrimineringsförbud enligt diskrimineringslagen.

Även om AI-förordningen därmed inte påverkar DO:s uppdrag att utöva tillsyn även över AI-relaterad diskriminering så innebär förordningen att DO ges skarpare tillsynsverktyg i egenskap av en så kallad artikel 77-myndighet (se nedan) och de befogenheter som följer av denna funktion. DO välkomnar dessa nya befogenheter som behövs med hänsyn till svårigheten att utöva tillsyn över AI-relaterad diskriminering.

Kap. 8 Artikel 77 i AI-förordningen

Kap. 8.5.3 Regeringen bör anmäla och offentliggöra myndigheterna

DO delar utredningens bedömning att DO är en artikel 77.1-myndighet, vilket även regeringen tidigare rapporterat till kommissionen. DO avstår från att lämna synpunkter på utredningens bedömning om vilka andra myndigheter som utgör artikel 77.1-myndigheter.

Kap. 8.6.3 Behovet av nationell reglering

DO instämmer i utredningens bedömning att det saknas ett behov av kompletterande nationell reglering för DO:s, och andra berörda myndigheters befogenheter, som artikel 77.1-myndighet utifrån att AI-förordningen är direkt tillämplig och att befogenheterna är tydligt angivna i förordningen.

Utredningens bedömning att det inte är nödvändigt med en upplysningsbestämmelse om tillsynsmyndigheternas befogenheter kan diskuteras mot bakgrund av intresset av en översiktlig och tydlig reglering. DO anser att om en upplysningsbestämmelse utelämnas förutsätter det att det klargörs i den kommande propositionen att DO:s och övriga artikel 77.1-myndigheters befogenheter är tydliga såsom de följer av AI-förordningens direkt tillämpliga bestämmelser.

I detta sammanhang bör det påpekas att det av 4 kap. 4 § DL följer att den som vid DO:s tillsyn inte rättar sig efter DO:s begäran om uppgifter enligt 4 kap. 3 § DL får av DO föreläggas vid vite att fullgöra sin skyldighet. DO utgår från att denna vitesmöjlighet även kommer att omfatta en begäran enligt artikel 77.1 AI-förordningen att få åtkomst till all dokumentation som skapas eller upprätthålls enligt förordningen på ett språk och i ett format som är lättillgängligt när sådan dokumentation är nödvändig för att DO effektivt ska kunna fullgöra sitt tillsynsmandat. DO anser att det är lämpligt att även detta klargörs i den kommande propositionen.

Kap. 8.7 Offentlighet och sekretess

DO instämmer i utredningens bedömning att 33 kap. 1 § offentlighets- och sekretesslagen innebär att DO har ett fullgott sekretesskydd för uppgifter som förekommer i myndighetens tillsynsverksamhet.

Kap. 9.8 Samverkan med myndigheter som avses
i artikel 77.1, kap. 9.5.1 ansvar att leda en samordningsfunktion

DO instämmer i utredningens bedömning att det krav på samverkan som AI-förordningen enligt artikel 77.3 uppställer mellan marknadskontrollmyndigheter och artikel 77.1-myndigheter går längre än vad som gäller enligt det allmänna samverkanskravet i förvaltningslagen. Som utredningen konstaterar följer det dock direkt av AI-förordningen att det finns ett krav på att marknadskontrollmyndigheter, på en motiverad begäran av en artikel 77.1-myndighet, ska vidta egna utredningsåtgärder eller på annat sätt vara stöd i handläggningen vid tillsynsärenden hos artikel 77.1-myndigheter i samband med organisering av testning av AI-system med tekniska medel. Eftersom bestämmelsen är direkt tillämplig instämmer DO i utredningens bedömning att inga ytterligare nationella bestämmelser behövs.

Av motsvarande skäl instämmer DO i utredningens bedömning att det inte behövs några ytterligare nationella bestämmelser utöver den uppgifts- och samverkansskyldighet som anges i artikel 79.2 och som berör förfaranden för att hantera AI-system som utgör risker för grundläggande rättigheter på nationell nivå. Det följer direkt av artikeln att om risker för grundläggande rättigheter identifieras vid ett sådant förfarande ska marknadskontrollmyndigheten omedelbart informera och till fullo samarbeta med artikel 77.1-myndigheter.

DO vill dock lyfta frågan om behovet av en reglering av en vidare generell samverkansskyldighet för den samordnande marknadskontrollmyndigheten i förhållande till DO. Utredningen föreslår att Post- och telestyrelsen (PTS) ska ha denna roll och även funktionen som så kallad gemensam kontaktpunkt. Enligt förslaget i kap. 9.5.1 ska PTS leda en samordningsfunktion där samtliga marknadskontrollmyndigheter enligt AI-förordningen ingår och inom ramen för samordningsfunktionen ska marknadskontrollmyndigheterna samverka och utbyta information.

Inom ramen för PTS samordningsfunktion kan det aktualiseras frågor som rör skydd av grundläggande rättigheter, inklusive rätten att inte bli utsatt för diskriminering, bland annat kopplat till användning av AI-system på olika högriskområden enligt bilaga III i AI-förordningen. DO anser att det är lämpligt att det införs en särskild samverkansskyldighet för PTS i förhållande till DO och andra myndigheter som utgör artikel 77.1-myndigheter med uppgiften att skydda grundläggande rättigheter. För DO:s del skulle en sådan samverkan aktualiseras när det finns ett behov för PTS och andra marknadskontrollmyndigheter att belysa aktuella AI-frågor utifrån ett diskrimineringsperspektiv. Det finns visserligen allmänna samverkanskrav på myndigheter i förvaltningslagen och myndighetsförordningen, men genom att införa en särskild samverkansskyldighet för PTS inom ramen för dess samordningsfunktion blir det tydligt att DO:s och andra artikel 77-myndigheters särskilda kompetens på deras områden vid behov ska inhämtas.

Kap. 10.7.3 Anmärkning och sanktionsavgift

DO delar inte utredningens bedömning att det inte bör införas en möjlighet för de nationella behöriga myndigheterna att besluta om anmärkning eller sanktionsavgift för överträdelser av skyldigheten enligt artikel 27 att genomföra en konsekvensbedömning avseende grundläggande rättigheter när det gäller AI-system med hög risk. De rent sakliga skälen förefaller enligt DO leda till en motsatt bedömning.

Som framgår av artikel 99.4 ska överträdelser av skyldigheter för tillhandahållare av AI-system med hög risk enligt artikel 26 – som reglerar ett antal skyldigheter för tillhandahållare av AI-system med hög risk som bland annat avser tekniska och organisatoriska åtgärder; kompetens, utbildning och auktoritet; kontroll över indata; övervakning av driften av AI-systemet – medföra påförande av sanktionsavgift. DO instämmer med utredningen att det kan anses vara lika viktigt, som tillhandahållares skyldigheter enligt artikel 26, att identifiera risker för enskilda personer eller grupper av personer vad gäller användning av AI-system. Genom konsekvensbedömningen kan tillhandahållare identifiera risker i ett tidigt skede och vidta nödvändiga åtgärder för att minimera eller eliminera dessa risker innan AI-systemet används. Om tillhandahållare inte genomför dessa konsekvensbedömningar kan det leda till att risker upptäcks för sent, vilket kan orsaka skador på enskilda personers eller grupper av enskilda personers grundläggande rättigheter. DO anser i likhet med utredningen att detta talar för att överträdelser av kravet på att göra en konsekvensbedömning enligt artikel 27 bör omfattas av sanktionsavgifter. Ett sådant sanktionshot skulle också fungera som ett incitament för tillhandahållare att ta ansvar och genomföra konsekvensbedömningar för att förebygga incidenter.

DO anser att en konsekvensbedömning i enlighet med artikel 27 är nödvändig för att förebygga att användning av AI med hög risk medför överträdelser av individers grundläggande rättigheter, inklusive rätten till icke-diskriminering. Betydelsen av att minska risken för att enskilda utsätts för AI-relaterade kränkningar av mänskliga rättigheter bör väga mycket tungt vid avvägningen mellan de olika intressen som utredningen redogör för i detta avsnitt. Därför är det enligt DO motiverat att samma system med administrativa sanktionsavgifter, alternativt anmärkning i mindre allvarliga fall, är tillämpligt även vid överträdelser av artikel 27. Om även dessa överträdelser sanktioneras ska artikel 99.7 i AI-förordningen tillämpas när det gäller vilka omständigheter som ska beaktas vid beslut i frågor om sanktionsavgifter.

Kap. 16 Konsekvensutredning

Utredningens konsekvensbedömning redovisar inga konsekvenser för DO:s del. Detta beror på att utredningen inte redovisar de konsekvenser som följer av de direkt tillämpliga bestämmelserna i AI-förordningen. Samtidigt konstaterar utredningen att de största konsekvenserna av tillämpningen av AI-förordningen i Sverige för alla berörda i huvudsak är just en följd av AI-förordningen och de skyldigheter som följer direkt av den. DO lyfter därför här sådana direkta konsekvenser för DO:s del som en följd av att DO kommer att vara en så kallad artikel 77.1-myndighet.

I jämförelse med DO:s nuvarande uppgifter kan det konstateras att DO enligt 4 kap. DL redan har uppgiften att utöva tillsyn över sådan diskriminering som användning av AI kan orsaka, under förutsättning att det gäller ett samhällsområde som omfattas av 2 kap. DL. Däremot utgör den kommande möjligheten för DO att kunna lämna en motiverad begäran till ansvarig marknadskontrollmyndighet inom respektive område om organisering av testning av ett AI-system med hög risk genom tekniska medel, en ny typ av uppgift inom ramen för tillsynen. Att marknadskontrollmyndigheten i dessa fall ska organisera testningen i nära samarbete med DO, innebär att DO behöver avsätta resurser för ett sådant deltagande vid tester när det blir aktuellt. Antalet ärenden är mycket svårt att förutsäga men uppskattningsvis skulle det kunna handla om maximalt en handfull ärenden per år.

DO kommer även att behöva kompetensutveckla personalen för att DO ska kunna fullgöra vår roll som artikel 77.1-myndighet på ett tillfredsställande sätt. DO måste ha AI-kompetens för att fullt ut kunna använda de nya tillsynsverktygen enligt artikeln i syfte att EU-rättens diskrimineringsförbud ska kunna vara effektivt även på områden som rör AI-relaterade fall av diskriminering. I sammanhanget bör det beaktas att sådana tillsynsärenden rörande AI-relaterad diskriminering som aktualiserar användningen av artikel 77-befogenheter, generellt sett även kan förväntas vara mer resurskrävande för DO att utreda med hänsyn till att det kan kräva vissa egna tekniska resurser hos DO. Det bör även beaktas att PTS inte föreslås få något särskilt uppdrag att stödja artikel 77-myndigheter med AI-expertis, vilket ökar behovet av att DO avsätter resurser för att bygga upp egen kompetens på området.

När det gäller frågan vad ovanstående innebär i form av ökade kostnader är det svårt för DO att göra en säker och tydlig uppskattning av de sammanlagda tillkommande kostnaderna. DO:s kostnader för att genomföra nödvändig kompetensutveckling av den personal som kommer att arbeta med tillsynsbefogenheter enligt artikel 77 kan uppskattas till 250 000 kr. De tillkommande kostnaderna för DO till följd av behovet, när det blir aktuellt, av att avsätta resurser för deltagande vid marknadskontrollmyndigheters tester av AI-system med hög risk genom tekniska medel är särskilt svåra att kvantifiera. Det tillkommer även kostnader för DO:s informationsinsatser riktade mot allmänheten om vår nya roll som artikel 77.1-myndighet.

Även om de ökade kostnaderna således är svåra att uppskatta står det klart att det finns ett behov av ökade resurser till DO i egenskap av artikel 77-myndighet. Med hänsyn till det anförda uppskattar DO att myndigheten inledningsvis behöver ett totalt resurstillskott med minst 1 miljon kr.

Kap. 16.15 Utvärdering av förslagens konsekvenser

DO instämmer i AI-utredningens bedömning att det finns skäl för att utvärdera förslagens konsekvenser en första gång under 2029, med beaktande av kommissionens första rapport till Europaparlamentet och rådet i augusti det året, om utvärderingen och översynen av AI-förordningen.

Bristen på sanktioner vid AI-användning som har diskriminerande effekter på gruppnivå

DO vill i sammanhanget hänvisa till vad myndigheten framförde i remissyttrandet över AI-kommissionens Färdplan för Sverige (SOU 2025:12)(1) vad gäller problematiken kring bristen på sanktioner i diskrimineringslagen vid AI-relaterad diskriminering när det saknas en enskild skadelidande. Den ökade användningen av AI i verksamheter ökar behovet av sanktioner mot diskriminering som inte är beroende av att det finns en enskild skadelidande som är medveten om att AI-användning kan ligga bakom diskriminering och är villig att väcka talan om diskrimineringsersättning. Som framgår av det tidigare remissyttrandet anser DO att det måste finnas en möjlighet att genom sanktioner effektivt motverka AI-användning som har diskriminerande effekter på gruppnivå. Att utvidga DO:s rätt att agera i domstolsförfaranden till att även omfatta diskriminering på gruppnivå skulle även vara i linje med EU:s direktiv om standarder för likabehandlingsorgan som anger att rätten att inleda ett domstolsförfarande i eget namn för att försvara allmänintresset är en typ av processbehörighet som ett likabehandlingsorgan kan ha, för att uppfylla kravet att det ska finnas en rätt att agera i domstolsförfaranden(2).

Diskrimineringslagen måste utvidgas till samtliga offentliga verksamheter där AI-användning kan förekomma

DO vill i detta sammanhang slutligen påminna om att det är en grundläggande brist att det i diskrimineringslagen fortfarande saknas ett heltäckande skydd mot diskriminering i offentlig verksamhet, i förhållande till flera centrala myndigheter där AI-relaterad diskriminering skulle kunna förekomma, exempelvis vid Polismyndigheten och andra rättsvårdande myndigheter. Diskrimineringslagens förbud mot diskriminering har idag en begränsad tillämpning över vissa delar av den offentliga verksamheten, vilket innebär att förekomsten av diskriminering till följd av AI-användning inom vissa offentliga verksamheter inte täcks av lagens tillämpningsområde(3). AI-utredningens betänkande aktualiserar betydelsen av att diskrimineringslagens skydd utvidgas så att all offentlig verksamhet fullt ut omfattas av lagens förbud mot diskriminering.

Mot bakgrund av de möjliga riskerna för systematisk diskriminering som AI-användning kan ge upphov till anser DO att dröjsmålet med att genomföra en sådan utvidgning av diskrimineringslagen, som regeringen tidigare aviserat ska ske, inte är acceptabel. Användningen av AI inom myndigheters verksamheter förstärker alltså ytterligare skälen för att införa ett heltäckande skydd mot diskriminering i offentlig verksamhet. DO uppmanar därför regeringen att så snart som möjligt i samband med AI-förordningens fullständiga ikraftträdande lämna ett förslag som läker den nuvarande bristen i diskrimineringsskyddet mot AI-relaterad och annan diskriminering i offentlig verksamhet.

Beslut i detta ärende har fattats av diskrimineringsombudsman Lars Arrhenius efter föredragning av experten Tarik Qureshi. I den slutliga handläggningen har också enhetschefen Cecilia Narby, sektionschefen Kerstin Burman och strategiska rådgivaren Anna Eriksson deltagit.

Lars Arrhenius