Viktigt synliggöra risker för diskriminering vid användande av AI
Nyhet publicerad 11 mars 2022
I dag den 11 mars presenterar DO en kartläggning över hur statliga myndigheter använder AI och vilken kunskap de har om de risker för diskriminering som kan uppstå vid användandet av AI och automatiserat beslutsfattande. Resultatet visar i korthet att myndigheternas kunskaper om risker för diskriminering och hinder för lika rättigheter och möjligheter inte är tillfredsställande.
Artificiell intelligens (AI) och annat automatiserat beslutsfattande används inom allt fler områden i samhället. Det ses ibland som ett verktyg som garanterar likabehandling och icke-diskriminering. Men DO och flera europeiska likabehandlingsorgan har uppmärksammat att tillämpningen av AI och automatiserat beslutsfattande kan leda till risker för diskriminering och hinder för lika rättigheter och möjligheter.
I DO:s kartläggning fick 34 statliga förvaltningsmyndigheter svara på en enkät och 6 av dessa myndigheter deltog även i fördjupande intervjuer. Syftet var att få en bättre bild av hur och i vilken omfattning statliga myndigheter använder AI och automatiserat beslutsfattande, och vilken kunskap de har om förhållanden som kan leda till diskriminering när det gäller automatiserat beslutsfattande.
Beaktar sällan diskrimineringsgrunderna
Kartläggningen visar i korthet att automatiserat beslutsfattande används vid 14 av de 34 tillfrågade myndigheterna och att de automatiserade besluten berör ett stort antal enskilda individer. Av dessa myndigheter har ett fåtal tydliga styrdokument som ska säkerställa att enskilda individer inte missgynnas vid automatiserat beslutsfattande. Även om flera myndigheter, som använder automatiserat beslutsfattande, gör både riskanalyser och kvalitetsuppföljningar är det sällan de beaktar diskrimineringsgrunderna. Trots detta anser få myndigheter att de har behov av mer kunskap och stöd i hur de kan utveckla sitt arbete för att minska risken för missgynnanden som kan vara fråga om diskriminering.
Viktigt att öka kunskap om risker för diskriminering
De myndigheter som intervjuats har enligt DO:s bedömning en viss inblick i de risker för diskriminering som kan finnas vid automatiserat beslutsfattande. Det framkommer dock att de i realiteten talar om frågor om etik och integritet snarare än om diskriminering i relation till automatiserat beslutsfattande.
Sammantaget visar DO:s kartläggning att kunskapen om risker för diskriminering inte är tillfredställande och att ett diskrimineringsperspektiv i viss utsträckning saknas hos myndigheterna i förhållande till de automatiserade beslutsprocesserna.
- Det är nu extremt angeläget att utveckla kunskapen vad gäller AI och automatiskt beslutsfattande och att synliggöra de risker som finns. Ett område som jag ser som särskilt betydelsefullt är hur DO ska kunna bedriva en effektiv tillsyn när det handlar om AI och automatiserat beslutsfattande. Det är också viktigt att verksamheter som använder AI och annat automatiserat beslutsfattande känner till riskerna och har styrdokument, planer och arbetsmetoder som kan säkerställa att enskilda inte diskrimineras, säger diskrimineringsombudsman Lars Arrhenius.
Ladda ner och läs rapporten "Transparens, träning och data. Myndigheters användning av AI och automatiserat beslutsfattande samt kunskap om risker för diskriminering"