AI är ett av de stora ämnena på årets PBSA Annual Conference i Arlington, Texas. Under seminariet AI in Background Screening: Finding Risk Before It Finds You diskuterades vilka risker och kontrollmekanismer som behöver beaktas när AI används inom bakgrundskontroller.
Det är viktigt att sätta diskussionen i rätt kontext. Seminariet utgår från amerikanska förhållanden och amerikansk lagstiftning. Artikeln beskriver diskussioner och exempel från den amerikanska marknaden – inte hur vi på Svensk Bakgrundsanalys genomför våra bakgrundskontroller. Vår verksamhet utgår i stället från svenska och europeiska regler och de krav som gäller här.
Svenska och europeiska aktörer verkar under andra rättsliga förutsättningar än våra amerikanska kollegor. Bland annat GDPR och EU:s AI-förordning sätter tydliga ramar för behandling av personuppgifter och användning av AI. AI-system som används för att utvärdera kandidater i rekryteringsprocesser kan omfattas av särskilda krav för högrisk-AI. De amerikanska exemplen går därför inte att överföra rakt av till Sverige. Däremot kan det finnas principiella lärdomar kring kvalitet, kontroll och spårbarhet som är relevanta även på vår sida av Atlanten.
Ett centralt budskap under seminariet var att AI kan förändra var fel uppstår i en process, men inte behovet av kvalitetssäkring och kontroll.
Tre principer lyftes särskilt fram:
- AI-resultat kräver verklig kontroll och måste kunna ifrågasättas.
Ett av seminariets budskap var att den som använder AI i sådana processer inte kan behandla ett AI-genererat resultat som en objektiv sanning. En hög sannolikhet, träffsäkerhet eller riskscore är ett underlag inte automatiskt en korrekt slutsats. Om exempelvis olika identitetsuppgifter pekar åt olika håll behöver avvikelsen kunna fångas upp och hanteras. - Granska hela processen – inte bara AI-modellen.
Fel kan uppstå i källdata, identitetsmatchning, sammanfattningar, externa leverantörer, uppdateringar eller själva rapporteringen. Det räcker därför inte att konstatera att en modell i genomsnitt har hög träffsäkerhet.
Under seminariet illustrerades detta med ett exempel där en modell hade en total träffsäkerhet på 98,4 procent, samtidigt som felaktiga identitetsmatchningar hade ökat kraftigt inom vissa områden. Ett till synes mycket bra genomsnitt kan alltså dölja mer koncentrerade kvalitetsproblem.
- Automatisera inte sådant som inte går att spåra, utreda och rätta.
Om det i efterhand inte går att förstå hur ett resultat har uppstått, identifiera orsaken till ett fel och korrigera processen är automatiseringen inte tillräckligt robust för användningsområden där resultatet kan få betydande konsekvenser.
Ett annat intressant medskick handlade om nya användningsområden. Under seminariet diskuterades bland annat möjligheten att använda befintliga uppgifter för att automatiskt klassificera kandidater utifrån olika riskindikatorer. Det är ett tydligt exempel på ett område där den amerikanska diskussionen inte kan överföras direkt till Sverige eller EU. Sådan användning kan här aktualisera särskilda krav enligt bland annat GDPR och AI-förordningen och måste bedömas utifrån sitt specifika ändamål, vilka uppgifter som används och sin faktiska påverkan på individen.
Seminariets huvudbudskap går kanske bäst att sammanfatta så här:
AI förändrar tekniken – men inte kraven på kontroll, rättssäkerhet och ansvar.
Förutsättningarna i USA och Europa skiljer sig åt, både rättsligt och i hur tekniken kan användas. För oss handlar omvärldsbevakningen inte om att kopiera amerikanska arbetssätt, utan om att förstå utvecklingen, riskerna och kvalitetsfrågorna.
Korrekta källor, spårbarhet, möjlighet att upptäcka och rätta fel samt tydligt ansvar är centralt oavsett teknik. Det är den typen av internationella erfarenheter vi tar med oss hem från PBSA.
