Han granskade Försäkringskassans AI mot vabbfusk

I en granskning publicerad i Svenska Dagbladet visar den svenska frilansen Sascha Granberg tillsammans med Gabriel Geiger från den internationella grävorganisationen Lighthouse Reports att Försäkringskassans AI har missgynnat bland annat mammor som ansökt om vabb.

Granskningen visar att den AI som Försäkringskassan använder för att hitta potentiella bidragsfuskare pekar ut kvinnor som sannolika fuskare mer än dubbelt så ofta som män, trots att män lite oftare har felaktiga ansökningar. Även föräldrar med utländsk bakgrund, låg utbildning eller inkomst flaggades oftare av AIn.

Den stora utmaningen med granskningen var sekretessen, berättar Sascha Granberg.

– Jag visste att Försäkringskassan höll på med det de kallar riskbaserade kontroller. Jag har velat veta ganska länge vad de består av – vilka uppgifter om oss använder de? Jag har till och från begärt ut de här grejerna, men alltid fått avslag.

Frågan kom upp efter att han förra hösten sade upp sig från Ekot, och hade ett möte med SVT-reportern Fredrik Laurin. Han uppmuntrade Granberg att ta kontakt med Gabriel Geiger på Lighthouse Reports.

– Gabriel är den mest envisa grävaren jag jobbat med. Han förstår systemen utan och innan och har gjort sådana här granskningar i åtta europeiska länder, som har fått enormt genomslag. När jag tog ett möte med honom visade det sig att han hade kört fast och stött på väldigt sträng sekretess kring de här frågorna – precis som jag stött på, säger Sascha Granberg.

– I stort sett allt är sekretess: hur många analyserar ni? Hur många uppgifter ingår? Allt är sekretess. Det kändes absurt, så vi gjorde ett litet experiment: vad svarar Försäkringskassan om vi frågar om något de lyft i sina egna årsredovisningar om de här kontrollerna? Om du gissade sekretess så har du rätt.

Till slut lossnade det när de fick ut data som använts till en rapport från Försäkringskassans tillsynsmyndighet, Inspektionen för socialförsäkringen.

Ni fick gå bakvägen?

– Ja. Gabriel hade försökt få ut den tidigare men fått avslag av ISF. Jag satte mig och gick igenom den, och såg till slut att datan var avidentifierad. Det gjorde att vi kunde få ut den, efter kanske en månad av förhandling med ISF.

När de väl hade datan fick Gabriel Geiger fram analysen på bara några minuter. Att säkra resultaten, som kontrollerades med internationella experter, tog desto längre tid.

Vilka generella utmaningar finns för att granska AI-system?

– Bristande transparens är det stora problemet. För att granska sådana här system utifrån frågeställningen som vi haft, ”Behandlas grupper lika?”, vill man ha några konkreta saker. Träningsdata, programkod, och utfallsdata, för att få hela bilden. Det är väldigt sällan man får det, säger Sascha Granberg.

– Det är intressant att jag som frilans får loss det här. Gabriel hade kontaktat svenska medier, men ingen hade nappat. Men på spek tar jag två och en halv månad av min tid för att se om vi kan försöka tränga igenom sekretessen. Hur många mediehus hade varit villiga att göra det?

Han är nöjd med samarbetet med Svenska Dagbladet, men att som grävande frilans få ersättning för tiden han lagt ner verkar omöjligt.

– Min snittersättning för det här jobbet är 100 kronor i timmen på F-skatt – högt räknat. Jag behöver finansiera grävandet med andra typer av uppdrag. Det krävs en diskussion om det här i medierna, hur ska frilansar kunna ägna sig åt granskande journalistik?

Är det viktigt att medier granskar AI-system?

– Det är jätteviktigt. De här systemen används i myndighetsutövning och påverkar oss alla. Försäkringskassan har laborerat med sådana här system i tio års tid, och de är inte de enda. Igår kom regeringens AI-kommission med sina rekommendationer, och efterfrågar mer AI i den offentliga sektorn. Man springer in i den här tekniken, enligt experter vi pratat med ofta utan att reflektera över vilka konsekvenserna kan bli.

Vad krävs?

– Spetskompetens på redaktionerna, att man samarbetar med akademiska experter, långa ledtider, att folk får grotta ned sig i systemen. Och viljan att granska det, säger Sascha Granberg.

Han pekar på att ISFs rapport med kritik mot Försäkringskassan kom redan 2018.

– Ingen redaktion har gått på det. Eller lyckats i varje fall.