Polisens användning av AI för ansiktsigenkänning i realtid

Diskrimineringsombudsmannens (DO:s) yttrande är avgränsat till de frågor som aktualiseras av DO:s uppdrag att verka för ett samhälle fritt från diskriminering och i övrigt verka för lika rättigheter och möjligheter oavsett diskrimineringsgrund.

I promemorian lämnas förslag som möjliggör för Polismyndigheten och Säkerhetspolisen att använda artificiell intelligens (AI) för ansiktsigenkänning och annan biometrisk fjärridentifiering i realtid på allmän plats för brottsbekämpande ändamål.

DO avstyrker förslagen i promemorian.

Förslagen syftar till att ge polisen utökade verktyg för att bekämpa den grova organiserade brottsligheten. DO instämmer i och för sig i behovet av att sådana åtgärder vidtas. När förslag som dessa läggs fram är det emellertid av yttersta vikt att analysera de risker som är inbyggda i AI-system i sig och vid användningen av sådana system. Det gäller särskilt i förhållande till skyddet för mänskliga rättigheter och förbudet mot diskriminering. En sådan analys är avgörande för att säkerställa att de verktyg som föreslås är proportionerliga i förhållande till det eftersträvade ändamålet.

DO har i olika sammanhang identifierat att användning av AI-system kan leda till systematisk diskriminering(1). Som framgår av remissynpunkter på förslagen i den tidigare promemorian Ds 2024:11 medför användandet av AI-system för ansiktsigenkänning problem kopplat till bias och diskriminering(2). DO finner mot denna bakgrund det anmärkningsvärt att promemorian inte innehåller någon analys av de risker för diskriminering, kopplat till exempelvis personers etniska tillhörighet, som nu aktuella förslag kan innebära. Detta utgör en väsentlig brist.

Genom AI-förordningen(3) införs en rad regler, till exempel särskilda krav på AI-system med hög risk och om inrättande av regulatoriska sandlådor. Dessa regler syftar bland annat till att motverka riskerna för diskriminering vid användningen av AI. DO saknar en analys av dessa regler i förhållande till de förslagna verktygen och den avsedda tillämpningen. Flera delar av AI-förordningen, bland annat de ovan nämnda bestämmelserna, kommer inte heller ha trätt i kraft när förslagen föreslås införas. Konsekvenserna av det behandlas inte i promemorian.

I övrigt noterar DO att behovet av eventuella anpassningar i svensk rätt i förhållande till flera bestämmelser i AI-förordningen, till exempel avseende AI med hög risk och hur utdata(4) får användas, inte heller har behandlats i promemorian.

I brist på nödvändiga analyser och konsekvensbedömningar är det inte möjligt att på ett konkret sätt bedöma de risker för diskriminering som förslagen medför eller hur förslagen i övrigt kan påverka allas lika rättigheter exempelvis till privatliv och personlig integritet i det offentliga rummet. Enligt DO:s bedömning kan det inte uteslutas att förslagen kan leda till systematisk diskriminering kopplat till exempelvis personers etniska tillhörighet med allvarliga konsekvenser för de som drabbas. Det framstår som oklart om de föreslagna verktygen är proportionerliga i förhållande till det i och för sig legitima ändamålet att bekämpa allvarlig brottslighet.

I sammanhanget ska det dessutom beaktas att det saknas ett skydd mot diskriminering i samband med myndighetsutövning från polis och rättsväsende i svensk rätt. Förslag som presenteras i promemorian aktualiserar betydelsen av att diskrimineringslagens skydd utvidgas så att all offentlig verksamhet, inklusive Polismyndighetens och andra rättsvårdande myndigheters verksamhet, fullt ut omfattas av lagens förbud mot diskriminering. Mot bakgrund av de möjliga riskerna för systematisk diskriminering om förslagen genomförs anser DO att de inte bör genomföras innan en sådan utvidgning av diskrimineringslagen sker.

Beslut i detta ärende har fattats av diskrimineringsombudsman Lars Arrhenius efter föredragning av utredare Linn Grönholdt Palm. I den slutliga handläggningen har också stabschefen Samuel Engblom, enhetschefen Karin Ahlstrand Oxhamre, sektionschefen Hanna Shev, experten Tarik Qureshi och strategiska rådgivaren Anna Ericsson deltagit.

Lars Arrhenius