Automatisering
07. Er der unødig høj risiko ved jeres automatiserede system?
Man kan opdele automatiserede beslutninger i fire kategorier med forskellige etiske risici:
-
Systemet træffer meget præcise beslutninger om spørgsmål med lille konsekvens. Her er der ikke de store risici.
-
Systemet træffer ofte fejlbehæftede beslutninger men på spørgsmål med lille konsekvens. Her er der grund til at være opmærksom på risici, men konsekvenserne af fejl er små.
-
Systemet træffer meget præcise beslutninger, men konsekvenserne ved fejl kan være store. Her bør man passe meget på at være helt sikker på, at det automatiserede system er robust og ikke fordomsfuldt. Man bør overveje, om der overhovedet bør automatiseres.
-
Systemet træffer ofte fejlbehæftede beslutninger om spørgsmål med stor konsekvens. Her bør man altid undgå automatisering!
Anbefalinger:
-
Overvej konsekvenserne, hvis jeres automatiserede system fejler.
-
Arbejd med worst-case scenarier.
-
Sørg for at monitorere og evaluere de fejl, som jeres automatiserede system laver.
-
Involver uvildige eksperter og kritikere i udviklingen af jeres automatiserede løsninger.
-
Vær forsigtig med uigennemsigtige black box-systemer til at automatisere kritiske funktioner.
Det dårlige eksempel:
IBM’s kunstige intelligens Watson bruges inden for sundhed (Watson Health) til at hjælpe med undersøgelser, diagnosticering og behandling af patienter. I 2018 opdagede man, at Watson anbefalede forkert og nogle gange dødbringende medicin til patienter. Dette resulterede i, at Rigshospitalet og Novo Nordisk droppede deres brug af teknologien.
Det gode eksempel:
Da der i foråret 2020 skulle udvikles en app til digital smitteopsporing, opstod der en bred samfundsdebat om det etiske i en automatiseret overvågning af folks kontakt med hinanden. Det var et vigtigt argument fra kritikerne, at værdien af en smitteopsporingsapp ikke stod mål med risikoen ved, at staten fik adgang til lokationsdata om samtlige af landets borgere.
Risikoen for misbrug var simpelthen for stor. Løsningen var, at man involverede en ekspertgruppe med forstand på både etik og teknologi, og dette resulterede i en endelig løsning, hvor man havde minimeret risikoen for misbrug af data ved at decentralisere dataindsamlingen. Man kunne helt have undladt at udvikle en app, men man designede i stedet en løsning, som minimerede risici.