Răspunderea pentru prejudecăți algoritmice în temeiul legislației olandeze și a UE

Răspunderea pentru prejudecăți algoritmice este responsabilitatea legală pe care o are o organizație atunci când un sistem automat produce rezultate discriminatorii. În Olanda, această responsabilitate se bazează pe trei fundamente care se aplică deja astăzi: prevederea generală privind răspunderea civilă delictuală din articolul 6:162 din Codul Civil olandez, legislația privind egalitatea de tratament supravegheată de Institutul Olandez pentru Drepturile Omului și normele GDPR privind echitatea și luarea deciziilor automatizate. Legea UE privind inteligența artificială adaugă un nivel suplimentar, o parte din care este deja în vigoare și o parte din care începe la sfârșitul acestui deceniu.

Consecința practică este simplă. O companie care implementează un filtru de recrutare, un model de credit sau un scor de detectare a fraudelor este responsabilă pentru ceea ce face sistemul respectiv, indiferent dacă a construit modelul în sine sau nu și dacă cineva a intenționat rezultatul. În legislația olandeză privind discriminarea, efectul unei decizii contează, nu motivul din spatele acesteia.

Ce acoperă de fapt răspunderea pentru prejudecăți algoritmice

Prejudecata algoritmică apare atunci când un sistem automat tratează persoane comparabile în mod diferit, pe motive protejate de lege sau pe motive care acționează ca un substitut pentru acestea. Rareori se anunță singură. Un model antrenat pe baza deciziilor luate de companie timp de un deceniu va reproduce orice tipar conțineau acele decizii și va face acest lucru în mod constant, rapid, în fiecare fișier pe care îl atinge. Această consecvență este cea care transformă un defect tehnic într-o expunere legală: o singură decizie umană părtinitoare este un incident, în timp ce un model părtinitor este o politică.

Răspunderea rezultă din trei surse separate, iar acestea pot fi declanșate simultan de aceeași decizie. Răspunderea civilă despăgubește persoana care a suferit o pierdere. Legea privind egalitatea de tratament oferă acestei persoane o cale de a se adresa Institutului Olandez pentru Drepturile Omului (College voor de Rechten van de Mens) sau instanței civile, sarcina probei fiind transferată către organizație odată ce se stabilește o prezumție de discriminare. Legea privind protecția datelor conferă Autorității Olandeze pentru Protecția Datelor (Autoriteit Persoonsgegevens) competențe de aplicare a legii care nu depind de nicio persoană care să depună o plângere.

Nimic din toate acestea nu necesită un statut specific privind inteligența artificială. Regulile care soluționează aceste cazuri au fost scrise înainte ca tehnologia să existe și se aplică acesteia fără modificări.

Unde prejudecățile intră într-un sistem automatizat

Prejudecățile nu reprezintă o singură eroare care poate fi testată o singură dată. Ele apar în puncte identificabile ale ciclului de viață, iar fiecare punct se corelează cu o acuzație diferită de neglijență.

• Datele de antrenament. Deciziile istorice poartă modele istorice. Un model antrenat pe baza lor învață aceste modele ca standard, mai degrabă decât ca o problemă care trebuie corectată.
• Alegerea variabilelor. O caracteristică care pare neutră se poate corela strâns cu o caracteristică protejată. Codul poștal care înlocuiește etnia este exemplul tipic și produce discriminare indirectă chiar și în cazul în care caracteristica protejată în sine nu a fost niciodată înregistrată.
• Modul în care este utilizată ieșirea. Un model care are performanțe inegale între grupuri poate fi justificabil ca instrument de cercetare și indefensabil ca unic temei pentru respingerea unei cereri. Același scor, utilizat diferit, produce un rezultat juridic diferit.
• Lipsa monitorizării. Un sistem care a fost echilibrat la lansare se modifică pe măsură ce datele din jurul său se schimbă. Neevaluarea este în sine un act neglijent în multe afirmații.

Distincția care contează din punct de vedere juridic este între discriminarea directă, în care un criteriu protejat este utilizat în mod deschis, și discriminarea indirectă, în care un criteriu neutru dezavantajează un grup protejat. Discriminarea indirectă poate fi justificată dacă scopul este legitim, iar mijloacele sunt adecvate și necesare, dar această justificare trebuie dovedită, iar o organizație care nu poate explica de ce modelul său folosește o anumită variabilă nu va ajunge acolo.

Fundația olandeză: dreptul răspunderii civile delictuale și dreptul egalității de tratament

Două corpuri de drept olandeze se ocupă de cea mai mare parte a sarcinilor într-o acțiune pentru prejudecată și răspund la întrebări diferite. Dreptul delictual întreabă dacă organizația a acționat cu neglijență și care este valoarea pierderii. Legea egalității de tratament întreabă dacă rezultatul a fost discriminatoriu și face acest lucru cu o sarcină a probei care este în mod deliberat favorabilă reclamantului.

Desfășurarea neglijentă ca act ilegal

Articolul 6:162 din Codul Civil olandez face o persoană răspunzătoare pentru un act ilegal (onrechtmatige daad) care îi poate fi atribuit și care cauzează daune. Implementarea unui sistem automat pe care organizația nu l-a testat, validat sau monitorizat poate constitui un comportament ilegal în sine, independent de rezultatul discriminatoriu. Reclamantul trebuie să demonstreze actul, atribuirea, dauna și legătura cauzală dintre acestea; standardul aplicat este ceea ce ar fi trebuit să facă o organizație atentă aflată în aceeași situație.

În cazul în care sistemul provine de la un furnizor, organizația care îl implementează nu este exonerată de această obligație. Aceasta poate avea o pretenție contractuală împotriva vânzătorului în temeiul articolului 6:74 din Codul Civil pentru executare defectuoasă, dar aceasta este o acțiune separată între două părți comerciale. Nu răspunde pretenției solicitantului care a fost respins.

Legea privind egalitatea de tratament și sarcina probei inversată

Legea generală privind ocuparea forței de muncă (Algemene wet gelijke behandeling) și statutele sectoriale aferente acesteia, inclusiv Legea privind discriminarea pe criterii de vârstă (WGBL) și Legea privind dizabilitatea și bolile cronice (WGBH/CZ), interzic diferențierea directă și indirectă pe motive protejate. În domeniul ocupării forței de muncă, articolul 7:646 din Codul Civil adaugă prevederi privind genul.

Regula procedurală este cea care decide în majoritatea cazurilor. Odată ce reclamantul prezintă fapte care dau naștere unei prezumții de discriminare, sarcina probei se schimbă: organizația trebuie apoi să demonstreze că nu a încălcat interdicția. O organizație care nu poate demonstra ce a fost influențat de modelul său, pe ce date și cu ce teste nu are nicio modalitate de a se achita de această sarcină. Acesta este punctul în care documentația deficitară încetează să mai fie o problemă internă și devine motivul pentru care o cerere este pierdută.

Plângerile pot fi depuse și la Institutul Olandez pentru Drepturile Omului, ale cărui avize nu sunt obligatorii, dar sunt urmate pe scară largă și sunt utilizate frecvent ca probe în procedurile civile ulterioare.

Ce impune GDPR deciziilor automatizate

RGPD reglementează aceleași sisteme din punct de vedere al protecției datelor. Articolul 22 conferă unei persoane dreptul de a nu fi supusă unei decizii bazate exclusiv pe prelucrarea automată, inclusiv crearea de profiluri, în cazul în care decizia respectivă produce efecte juridice sau o afectează în mod similar în mod semnificativ. Deciziile privind recrutarea, creditarea și beneficiile se încadrează, de obicei, în această descriere.

Cuvântul care poartă greutatea este exclusiv . Implicarea umană ia o decizie în afara articolului 22 doar dacă are sens: o persoană cu autoritatea și informațiile necesare pentru a ajunge la o concluzie diferită, nu un operator care confirmă ceea ce arată ecranul. Ștampilarea este tratată ca un proces decizional automatizat.

Două obligații suplimentare se aplică indiferent de articolul 22. Principiul echității, prevăzut la articolul 5 alineatul (1) litera (a), este o cerință de sine stătătoare conform căreia un model discriminatoriu încalcă prin definiție datele, iar articolul 35 impune o evaluare a impactului asupra protecției datelor înainte de prelucrarea care este susceptibilă să genereze un risc ridicat pentru persoane, ceea ce reprezintă, în general, profilarea sistematică a solicitanților sau clienților. Amenda maximă pentru încălcarea acestor prevederi este stabilită de articolul 83 alineatul (5) din RGPD la cea mai mare dintre douăzeci de milioane de euro sau patru procente din cifra de afaceri anuală mondială.

Prezentarea noastră generală a confidențialității datelor, GDPR, inteligenței artificiale și volumelor mari de date prezintă mai detaliat modul în care aceste obligații interacționează cu utilizarea datelor la scară largă.

Ce prevede deja Legea privind inteligența artificială și ce începe mai târziu

Regulamentul (UE) 2024/1689, Legea privind IA, nu mai este o propunere. A intrat în vigoare la 1 august 2024 și se aplică în etape. Începând cu 2 februarie 2025, se aplică interdicțiile de la articolul 5, împreună cu obligația de la articolul 4 de a se asigura că personalul care lucrează cu sisteme de IA are un nivel adecvat de cunoștințe în domeniul IA. Obligațiile pentru modelele de IA cu uz general se aplică începând cu 2 august 2025, la fel ca și dispozițiile privind guvernanța și sancțiunile.

Regimul privind riscul ridicat este partea care privește cel mai direct părtinirea și este, de asemenea, partea care a fost amânată. Sistemele de IA enumerate în anexa III, care includ sisteme utilizate pentru recrutare și selecție, pentru decizii de promovare și concediere, pentru evaluarea bonității și pentru evaluarea riscurilor în asigurări, devin acum supuse obligațiilor privind riscul ridicat începând cu 2 decembrie 2027. Sistemele cu risc ridicat care sunt componente de siguranță ale produselor reglementate în temeiul anexei I urmează la 2 august 2028.

Atunci când aceste obligații se impun, ele codifică o mare parte din ceea ce implică deja o practică atentă: guvernanța datelor care vizează seturi de date reprezentative și verificate pentru erori, documentație tehnică, înregistrare automată, transparență față de persoanele afectate, supraveghere umană integrată în sistem, mai degrabă decât integrată, și o evaluare a conformității înainte ca sistemul să fie introdus pe piață sau pus în funcțiune. Implementatorii, nu doar furnizorii, au propriile lor îndatoriri, inclusiv păstrarea jurnalelor și atribuirea supravegherii unor persoane competente.

Două aspecte sunt formulate în mod regulat greșit. Plafoanele de penalizare sunt eșalonate, nu uniforme: până la treizeci și cinci de milioane de euro sau șapte procente din cifra de afaceri mondială se aplică pentru încălcarea practicilor interzise din articolul 5, în timp ce nerespectarea obligațiilor cu risc ridicat are un plafon mai mic de cincisprezece milioane de euro sau trei procente. Iar Directiva propusă privind răspunderea pentru IA, care ar fi ușurat sarcina probei pentru persoanele prejudiciate de sistemele de IA din întreaga UE, a fost retrasă. Nu există un regim european armonizat de răspundere pentru daunele aduse IA; o cerere în Țările de Jos este o cerere în temeiul legislației olandeze.

Aplicarea legii la nivel național este încă în curs de elaborare. Țările de Jos nu au finalizat încă actul de punere în aplicare care desemnează autoritățile de supraveghere a pieței în temeiul regulamentului, deși Autoritatea olandeză pentru protecția datelor și Autoritatea olandeză pentru infrastructura digitală au asumat roluri de coordonare în lucrările pregătitoare. Discutăm cadrul mai în detaliu în ghidul nostru privind aspectul juridic al inteligenței artificiale și Legea UE privind IA.

Cum se compară cele trei cadre

Cadrul juridic se suprapune, nu concurează. O cerere respinsă poate genera o acțiune civilă, o plângere adresată Institutului, o investigație de reglementare și, în cele din urmă, o nerespectare a Legii privind inteligența artificială, pe baza acelorași fapte.

Ce au stabilit cazurile olandeze

Două episoade modelează modul în care instanțele și autoritățile de reglementare olandeze abordează deciziile automatizate, ambele fiind despre același eșec: un sistem opac aplicat unor persoane care nu puteau vedea cum funcționează.

În februarie 2020, Tribunalul Districtual din Haga a oprit SyRI, sistemul de indicare a riscurilor cu ajutorul căruia organismele publice combinau date dintr-o serie de surse pentru a detecta frauda fiscală și în materie de beneficii. Instanța a decis că legislația care stă la baza sistemului nu a îndeplinit testul echilibrului echitabil prevăzut la articolul 8 din Convenția Europeană a Drepturilor Omului. Fatal nu a fost utilizarea analizei datelor ca atare, ci absența transparenței și a verificabilității: nici modelul de risc, nici indicatorii nu au fost dezvăluiți, astfel încât nici cetățeanul afectat, nici instanța nu au putut verifica efectul discriminatoriu. Lecția pentru organizațiile private este că un sistem pe care nimeni nu îl poate explica nu poate fi apărat, deoarece partea care îl conduce poartă sarcina justificării acestuia.

Scandalul alocațiilor pentru îngrijirea copiilor (toeslagenaffaire) a subliniat același lucru prin consecințele sale. Administrația fiscală a folosit selecția automată a riscurilor, care a tratat indicatori precum dubla cetățenie ca un semnal de fraudă, iar zeci de mii de părinți au fost etichetați în mod eronat și urmăriți pentru rambursare. Autoritatea olandeză pentru protecția datelor a constatat că prelucrarea subiacentă este ilegală și discriminatorie și a impus măsuri de aplicare a legii. De asemenea, a confirmat principiul care contează cel mai mult aici: apărarea conform căreia sistemul a produs rezultatul nu are nicio greutate, deoarece alegerea de a funcționa sistemul este în sine actul care este judecat.

În cazul în care răspunderea apare în cadrul utilizării obișnuite a activității comerciale

Cea mai mare parte a expunerii nu ajunge niciodată la o hotărâre judecătorească de referință. Ea apare în decizii operaționale familiare.

Un filtru de recrutare antrenat pe baza istoricului propriu de angajare al organizației va învăța orice preferințe conținute în acel istoric și îl va aplica fiecărui candidat ulterior. Deoarece instrumentele de recrutare se află exact în Anexa III a Legii privind inteligența artificială și ating în același timp articolul 22 din GDPR, acestea atrag toate cele trei cadre simultan. Un model de credit sau de asigurare care utilizează codul poștal, o lacună în istoricul de angajare sau un indicator de referință cu caracter similar poate produce discriminare indirectă chiar și în cazul în care setul de date nu conține nicio caracteristică protejată. Un sistem de gestionare a forței de muncă care alocă ture, monitorizează performanța sau contribuie la deciziile de concediere se încadrează în aceeași categorie, cu complicația suplimentară că, în temeiul Legii consiliilor de întreprindere, consiliul de întreprindere poate avea dreptul de consimțământ înainte de introducerea unui astfel de sistem.

În fiecare caz, întrebarea pe care o pune o instanță olandeză este aceeași. Ce știa organizația despre cum se comporta sistemul, ce a făcut pentru a afla și ce a făcut când modelul a devenit vizibil?

Furnizor și implementator: cine răspunde pentru ce

Cumpărarea unui sistem nu transferă odată cu acesta riscul. Conform Legii IA, furnizorul și implementatorul au obligații separate, iar conform dreptului civil olandez, persoana prejudiciată dă în judecată pe oricine a luat decizia care a afectat-o, care este aproape întotdeauna organizația care implementează sistemul.

Ceea ce pot face contractele este să aloce consecințele financiare și să securizeze informațiile necesare pentru apărarea împotriva unei reclamații. Un acord de achiziții publice care merită încheiat specifică indicatorii de performanță și echitate pe care sistemul este obligat să îi îndeplinească, garantează accesul la documentație, rezultatele testelor și jurnale, oferă dreptul de audit, impune furnizorului să notifice modificările semnificative ale modelului și stabilește modul în care sunt împărțite costurile de răspundere și apărare în cazul apariției unei reclamații. Ceea ce nu pot face contractele este să elimine o amendă de reglementare sau o obligație legală. Articolul nostru despre cine este răspunzător pentru erorile făcute de inteligența artificială analizează alocarea mai detaliat.

Controlul riscului înainte de sosirea unei cereri de despăgubire

Poziția defensivă într-o afirmație de prejudecată este construită cu mult înainte de formularea afirmației și constă aproape în întregime din înregistrări. Deoarece sarcina probei se schimbă odată ce se stabilește o prezumție de discriminare, organizația care poate demonstra ce a testat, când și ce a făcut cu rezultatul se află într-o poziție fundamental diferită de cea care nu poate.

Un program funcțional are patru elemente. Testarea înainte de implementare, compararea ratelor de rezultate între grupurile protejate de lege și examinarea datelor de antrenament și a variabilelor alese pentru substituții. Continuarea testării după implementare, deoarece un model care a fost echilibrat la lansare nu va rămâne așa. Acordarea unei persoane sau unui comitet numit autoritatea de a revizui rezultatele și de a suspenda un sistem, astfel încât decizia de a-l continua să funcționeze să fie o decizie luată de cineva, mai degrabă decât o decizie implicită pe care nimeni nu o deține. Și înregistrarea tuturor acestora, inclusiv sursele de date, validarea, constatările auditului și pașii corectivi, într-o formă care poate fi predată unei autorități de reglementare sau prezentată în cadrul procedurilor.

În plus, mențineți decizia umană într-un mod cu adevărat uman acolo unde se aplică articolul 22, finalizați evaluarea impactului asupra protecției datelor înainte de implementarea sistemului, mai degrabă decât ulterior, verificați dacă consiliul de întreprindere are un rol și fiți capabili să explicați unei persoane afectate, în limbaj simplu, de ce decizia a fost luată așa cum a fost. Niciunul dintre acești pași nu este exotic, iar regimul de risc ridicat al Legii privind inteligența artificială va face ca majoritatea acestora să fie obligatorii pentru sistemele de recrutare, credit și asigurări începând cu decembrie 2027, în orice caz. Organizațiile care le construiesc acum pur și simplu ajung mai devreme.

Ce trebuie făcut dacă o decizie este contestată

Când un candidat, un client sau un angajat pune la îndoială o decizie automatizată, prima sarcină este una factuală: să se stabilească ce a făcut sistemul de fapt în acel caz, ce date de intrare a folosit, dacă o persoană a exercitat o judecată reală și dacă rezultatul se încadrează într-un model mai larg. Faceți acest lucru înainte de a răspunde, deoarece un prim răspuns inexact este dificil de corectat ulterior și va fi interpretat împotriva organizației.

Păstrați jurnalele și versiunea modelului implicată. Evaluați reclamația în raport cu toate cele trei cadre normative, mai degrabă decât cu cel invocat de reclamant, deoarece o plângere privind protecția datelor și o plângere privind discriminarea pot rezulta din același fișier. Dacă modelul este real, corectarea acestuia și remedierea deciziilor afectate limitează daunele mult mai eficient decât apărarea acestuia.

Law & More Oferă consultanță companiilor cu privire la aspectul juridic al luării deciziilor automatizate: evaluarea expunerii în temeiul legislației olandeze privind răspunderea civilă delictuală și egalitatea de tratament, revizuirea conformității cu GDPR pentru crearea de profiluri și deciziile automatizate, pregătirea pentru obligațiile Legii privind inteligența artificială care se aplică sistemelor de recrutare, creditare și asigurări, negocierea contractelor cu furnizorii și apărarea în cazul reclamațiilor și al investigațiilor de reglementare. avocați IT vom discuta cu plăcere despre modul în care se aplică regulile sistemelor pe care le utilizați.

Întrebări frecvente despre răspunderea pentru prejudecăți algoritmice

Pe măsură ce companiile se adâncesc în domeniul inteligenței artificiale, mulți lideri își pun întrebări foarte specifice despre răspundere. Mai jos, abordăm unele dintre cele mai frecvente și dificile întrebări, oferind răspunsuri clare pentru a vă ajuta să navigați în acest domeniu juridic complex.