Jacob Dexe ställer rätt fråga. Han stannar bara för tidigt.
I sitt inlägg i Helsingborgs Dagblad dokumenterar Dexe hur Göteborg placerade 450 barn i skolor som bröt mot regelverken, en konsekvens av en algoritm som inte hade tagit hänsyn till att det går en älv genom staden. Han dokumenterar hur kommunen sedan förnekade att algoritmen hade fattat beslutet, och lämnade föräldrarna att bevisa något de inte kunde bevisa. Han dokumenterar hur Arbetsförmedlingens utvecklingschef, när handläggare protesterade mot algoritmens matchningsrekommendationer, föreslog att handläggarna borde "ifrågasätta lite mindre."
Det är inte anekdoter. Det är ett mönster. Och Dexe, det ska sägas, är tydlig med det.
Men hans slutsats, att vi behöver svara på hur den AI-förstärkta förvaltningen ska byggas, behandlar det som hände i Göteborg som ett designproblem. Något som bättre policy, tydligare riktlinjer och fler transparensverktyg skulle kunna åtgärda.
Det är inte ett designproblem. Det är ett incitamentsproblem. Och den distinktionen förändrar allt.
Ogenomskinligheten är inte oavsiktlig
Tänk på vad Göteborg egentligen upptäckte. Genom att positionera algoritmen som ett "beslutsstödssystem" snarare än en beslutsfattare uppnådde kommunen något värdefullt: den gjorde ansvarsutkrävandet juridiskt overksamt. Ingen information behövde lämnas ut. Inget resonemang behövde förklaras. Föräldrarna bar bevisbördan för något som institutionen helt enkelt kunde förneka.
Göteborg handlade med stor sannolikhet av förvirring, inte kalkyl. Det intressanta är vad institutioner som bevittnar utgången lär sig av det.
Det var inte ett misslyckande i systemet. Det var systemet som fungerade på det sätt institutioner, under press, tenderar att få det att fungera. Ogenomskinlighet, när den väl visar sig ha juridisk nytta, förblir inte oavsiktlig. Den blir en funktion.
Arbetsförmedlingsfallet gör detta explicit. Den föreslagna lösningen på handläggarnas missnöje var inte att förbättra algoritmen, granska dess gränsfall eller bygga bättre återkopplingsmekanismer. Det var att minska människornas förmåga att säga emot den. Algoritmen användes inte för att förstärka omdömet. Den användes för att ersätta omdömet, under bibehållandet av fiktionen att omdömet fortfarande existerade.
Det är den här riktningen vi är på väg i. Dexe beskriver de tidiga stadierna. Han namnger inte slutdestinationen.
Varför "förklarbarhet" inte är svaret
Dexe konstaterar att man kan be en AI förklara sig, dokumentera modellens logik, publicera träningsdata, till och med släppa koden, men att dessa "inte ger pålitliga svar." Det är korrekt, och det är den viktigaste meningen i hans text. Men den förtjänar mer än ett stycke.
Förklarbarhetsverktyg är inte begränsade till statistik över en population. SHAP kan exempelvis ange olika faktorers bidrag till en enskild prediktion. Det är inte automatiskt en kausal redogörelse för en slutledningskedja eller en juridiskt tillräcklig motivering till ett beslut. Skillnaden är enorm juridiskt sett, eftersom myndighetsbeslut inte är statistiska, de är individuella. En medborgare har inte rätt att veta att "avstånd viktades med 0,34" i modellen. De har rätt att veta varför deras barn skickades till den skolan.
Det är ett gap som bättre förklarbarhetsverktyg inte kan sluta. Det är arkitekturellt. Ett system som producerar utfall genom statistisk mönstermatchning över miljontals parametrar kan per konstruktion inte producera den typ av spårbar, stegvis logik som förvaltningsrätten förutsätter. Man kan linda in det i dokumentation. Man kan inte få det att resonera på det sätt lagen kräver.
Det innebär att valet inte står mellan transparent och ogenomskinlig AI i staten. Det står mellan AI-system arkitekterade för ansvarsutkrävande från grunden, där slutledningskedjor är inspekterbara i realtid, inte rekonstruerade i efterhand, och AI-system som, oavsett hur väl dokumenterade de är, är strukturellt oförenliga med rättsstaten som den ser ut.
Tre saker strategin vägrar att säga
Sveriges AI-strategi siktar på att vara "bäst i världen på att använda AI för att öka kostnadseffektiviteten samt höja kvaliteten och servicen i den offentliga förvaltningen." Dexe citerar det. Varken han eller strategin förklarar vad "bäst" betyder när ansvarsutkrävandet bryter samman.
I praktiken skulle det behöva innebära tre saker.
För det första: ett krav på spårbart resonemang som villkor för driftsättning. Inte förklarbarhet som ett efterhandskonstruerat tillägg, utan arkitekturer där slutledningskedjan är granskningsbar på individnivå. System som inte uppfyller det kravet hör inte hemma i processer som påverkar medborgarnas rättigheter, oavsett hur effektiva de är.
För det andra: redovisning som standard, med omvänd bevisbörda. Ingen institution ska kunna förneka en algoritms roll i ett beslut som berör en medborgare. Det ögonblick ett system deltar i en beslutsprocess ska det deltagandet redovisas, dokumenteras och vara föremål för granskning. Medborgaren bevisar inte att algoritmen existerade. Institutionen bevisar att människan faktiskt bestämde.
För det tredje: ett förbud mot att använda AI för att krympa diskretion snarare än utöka kapacitet. Arbetsförmedlingsfallet är arketypen för fel riktning. Mänsklig diskretion i förvaltningen är inte ineffektivitet, det är mekanismen genom vilken regler möter verkligheten. Att ersätta den med en modell tränad på historiska data förbättrar inte omdömet. Det kodar dåtidens mönster som framtidens begränsning och kallar det framsteg.
Dexe avslutar sitt inlägg med att fråga på vilka principer den AI-förstärkta förvaltningen ska byggas. Det är rätt fråga.
Svaret är inte fler riktlinjer, fler rapporteringskrav eller bättre datadelning mellan myndigheter. Det är svar på ett annat problem, adoptionsproblemet. Problemet Sverige faktiskt har är att den snabbaste vägen till AI i staten också är vägen som systematiskt river den ansvarsinfrastruktur det tog generationer att bygga.
Bäst i världen kan inte bara betyda att komma dit först. Det måste betyda att komma dit rätt.
: Beskrivningen av förklaringar till enskilda prediktioner har rättats.