Automatisering
07. Er der unødig høj risiko ved jeres automatiserede system?
Man kan opdele automatiserede beslutninger i fire kategorier med forskellige etiske risici:
-
Systemet træffer meget præcise beslutninger om spørgsmål med lille konsekvens. Her er der ikke de store risici.
-
Systemet træffer ofte fejlbehæftede beslutninger men på spørgsmål med lille konsekvens. Her er der grund til at være opmærksom på risici, men konsekvenserne af fejl er små.
-
Systemet træffer meget præcise beslutninger, men konsekvenserne ved fejl kan være store. Her bør man passe meget på at være helt sikker på, at det automatiserede system er robust og ikke fordomsfuldt. Man bør overveje, om der overhovedet bør automatiseres.
-
Systemet træffer ofte fejlbehæftede beslutninger om spørgsmål med stor konsekvens. Her bør man altid undgå automatisering!
Anbefalinger:
-
Overvej konsekvenserne, hvis jeres automatiserede system fejler.
-
Arbejd med worst-case scenarier.
-
Sørg for at monitorere og evaluere de fejl, som jeres automatiserede system laver.
-
Involver uvildige eksperter og kritikere i udviklingen af jeres automatiserede løsninger.
-
Vær forsigtig med uigennemsigtige black box-systemer til at automatisere kritiske funktioner.