Automatisering
04. Er jeres automatiserede system transparent, så man kan kigge ind i maskinrummet?
Automatiserede systemer bliver ofte designet til at træffe mange og hurtige beslutninger, men de er ikke designet til, at folk skal kunne forstå disse beslutninger. Men I mange tilfælde er det faktisk vigtigt, at folk forstår, hvordan et automatiseret beslutningssystem fungerer.
Algoritmer kan lave fejl, og de kan være trænet på dårlige data, som gør, at de systematisk diskriminerer. Hvis man ikke kan åbne motorhjelmen på det automatiske system, kan man heller ikke finde fejlene og uretfærdighederne.
Det er naturligvis de færreste almindelige mennesker, der kan åbne motorhjelmen og forstå de bagvedliggende algoritmer, men åbenhed kan også betyde, at man gør sine algoritmer tilgængelige og gennemsigtige for eksperter og lovgivere, som handler påvegne af almindelige mennesker.
Hvis algoritmerne indeholder forretningshemmeligheder, kan man også invitere uafhængige eksperter indenfor til lukkede etiske reviews, så man ikke behøver at afsløre forretningshemmeligheder.
Anbefalinger:
-
Forsøg at forklare til offentligheden, hvordan jeres automatiserede systemer træffer beslutninger.
-
Gør jeres algoritmer åbne og tilgængelige, så eksperter kan “åbne motorhjelmen”.
-
Invitér eksperter indenfor til at lave reviews af jeres algoritmer.
-
Forklar hvordan jeres automatiserede system er trænet eller bygget.
-
Forsøg så vidt muligt at udvikle simple algoritmer med menneskeligt forståelige logikker.
-
Undgå så vidt muligt black boxsystemer, hvor I ikke engang selv forstår, hvordan algoritmerne fungerer.
Det dårlige eksempel:
I 2018 arbejdede Gladsaxe Kommune på at udvikle en algoritme, som kunne udpege familier, hvor der sandsynligvis befandt sig udsatte børn. Algoritmen var baseret på en stor mængde data og en maskinlærende algoritme, som kunne beregne en sandsynlighed for, at børn mistrivedes i en familie.
Projektet mødte stor politisk modstand, ikke mindst fordi, at det var svært at gennemskue, hvordan algoritmen beregnede sig frem til, at nogle børn var mere udsatte end andre. Den manglende gennemsigtighed gjorde, at borgere, politikere og eksperter mistede tilliden til, at systemet ville ende med at være retfærdigt og tilstrækkeligt præcist.
Efter en del tovtrækkeri blev projektet i 2019 skrinlagt.
Det gode eksempel:
Facebook er blevet stærkt kritiseret for, at politiske aktører kan bruge platformen til at målrette politiske reklamer til nøje udvalgte segmenter i befolkningen ved hjælp af algoritmer, som den brede offentlighed aldrig får kendskab til.
For at afhjælpe dette problem har Facebook dog gjort politiske annoncer åbne for offentligheden, så man kan se alle annoncer fra en bestemt politisk aktør, se hvor meget de bruger på annoncering og i grove træk, hvem de rammer med deres annoncer. Systemet er ikke rettet mod almindelige borgere, men mod journalister, som kan bruge systemet til at kontrollere politiske partier og aktører - typisk i forbindelse med valghandlinger. Systemet er ikke perfekt, men et godt eksempel på mere åbenhed i et automatiseret system.