Automatisering
05. Kan jeres automatiserede system forklare sig selv?
Som borgere i demokratiske og frie samfund er vi vant til at kunne få en forklaring på beslutninger, der vedrører vores liv. “Du skal betale et rykkergebyr, FORDI du betalte 3 dage senere end den aftalte frist” eller “Du skal sidde 30 dage i fængsel, FORDI du overtrådte straffelovens paragraf 266”.
Der er dog mange automatiserede systemer, der er designet på en måde, så de ikke er i stand til at give den slags forklaringer. Og særligt maskinlærende systemer kan være dårlige til at give begrundelser, som
mennesker kan forstå. Det kan skabe etiske problemer i de tilfælde, hvor mennesker forventer at få en forklaring på en algoritmisk beslutning, men systemet er ude af stand til at give en sådan. I takt med at automatiserede systemer træffer flere og flere beslutninger, opstår der altså et behov for, at systemerne er designet på en måde, så de kan give en forklaring på deres beslutninger.
Det er dog i høj grad en etisk afvejning, hvornår et system skal kunne forklare sig selv. Det gælder naturligvis for beslutninger med vidtrækkende konsekvenser for menneskers liv, men i praksis vil der være mange algoritmiske beslutninger, som ikke behøver forklaringer, fordi de er for trivielle og hverdagsagtige (eksempelvis en algoritme, der automatisk slukker for lyset i et lokale).
Anbefalinger:
-
Prøv altid at designe algoritmer, så de forklarer sig selv, mens man bruger dem.
-
Om muligt bør I undgå black box-algoritmer, når forklaring er vigtig.
-
Sørg altid for at lave digitale designs, hvor brugeren kan udbede sig en forklaring på en algoritmisk beslutning.
-
I sidste instans bør man altid kunne få en forklaring på en algoritmisk beslutning af et menneske.
-
Gør jeres algoritmer åbne og tilgængelige, så eksperter kan “åbne motorhjelmen”.
-
Invitér eksperter indenfor til at lave reviews af jeres algoritmer.
Det dårlige eksempel:
Facebook har ansatte til at se indhold igennem, som bliver anmeldt af brugere eller af algoritmer, men grundet mængden af indhold på platformen, får algoritmerne lov til at tage fuld kontrol i visse tilfælde, især under covid-19 pandemien, hvor de fleste medarbejdere har været sendt hjem.
Det har dog vist sig, at algoritmerne har været årsag til, at en masse indhold på platformen er blevet slettet, eller at profiler er blevet anmeldt uden ordentligt grundlag. F.eks. har Craig Kelley (UK parlamentsmedlem) oplevet, at hans opslag er blevet slettet uden forklaring. Efter klager kunne Facebook ikke forklare, hvorfor det var blevet slettet og fraskrev sig ansvaret, men det viser sig, at dette sker for omkring 300.000 Facebook-opslag om dagen.
Det gode eksempel:
Rainbird er en virksomhed, som leverer algoritmiske beslutningssystemer til finansielle virksomheder. Virksomheden hjælper banker og forsikringsselskaber med at svare på kundehenvendelser og opdage svindel.
Rainbird skiller sig ud fra andre algoritmiske systemer, fordi virksomheden altid indbygger forklaringssystemer, så kundeservicemedarbejdere kan forstå, hvordan algoritmerne kommer frem til en beslutning. Det betyder, at de kan give deres kunder menneskelige og forståelige forklaringer, hvis deres konto er blevet lukket, eller hvis de har fået afslag på et lån.