AI - Digital Policy

Unul din filmele mele preferate este Matrix. Prima parte, din motive evidente. Cunoscătorii știu despre ce vorbesc. M-a fascinat ideea filmului încă de dinainte să mă ocup de cercetare în ceea ce privește tehnologia digitală, politicile publice și viețile oamenilor. Mai degrabă pentru ideea liberului arbitru și, desigur, a scenelor de acțiune din film 🙂

Dar acțiunea se petrece și în partea filosofică a filmului, fiind vorba despre modul în care o inteligență artificială (IA) a creat un mijloc de a-și susține existența prin asuprirea oamenilor într-o realitate simulată și transformarea lor într-o sursă de energie. De ce ar face asta? Păi, să vezi definiția inteligenței artificiale – un sistem care acționează pentru a-și atinge obiectivele setate. Și nu poți să-ți duci la capăt obiectivele setate decât dacă ai o sursă de energie stabilă și inepuizabilă.

Realitatea e alta..nu cu mult, desigur:

avem de-a face cu algoritmi care optimizează activitatea lor cu consecințe adesea dramatice – vezi algoritmii social media proiectați pentru engagement pe platformă care au venit cu efecte adverse
se lucrează la arme autonome
vrem sau nu vrem să recunoaștem, suntem deja o sursă de date pentru programe bazate pe inteligența artificială
avem de-a face cu mulți care au luat pastila albastră

Povestea inteligenței artificiale este similară în mai multe filme – tehnologia devine conștientă de sine, realizează relele pe care le-a făcut omenirea sau ajunge la concluzia că supraviețuirea ei este țelul suprem și decide să extermine omenirea.

Aici realitatea nu e chiar așa:

nu avem de-a face încă cu inteligența artificială generală – adică cea pe care o vedem în filme, cu care conversezi și care se decide să ne subjuge
avem de-a face cu narrow AI – adică aplicații de inteligență artificială realizate pentru scopuri precise cum ar fi recunoașterea facială sau algoritmii care îți personalizează căutările Google
avem frânturi de coduri de conduită pe inteligență artificială, discuții despre etică în inteligența artificială și, desigur, avem un proiect de reglementare UE pentru inteligența artificială – primul din lume, de altfel

Cu ce seamănă realitatea noastră cu filmele de care ziceam? Avem de-a face cu o cursă pentru supremația în inteligența artificială. Pe primele locuri – SUA și China, urmate undeva pe turnantă de Uniunea Europeană care de fapt aleargă într-o total altă cursă: cea a reglementării, mai degrabă.

Povestea de săptămâna asta începe, deci, de la Matrix și ajunge la Uniunea Europeană și încercările ei de a împiedica manifestarea în viața reală a oricărui film apocaliptic de genul acesta. Două construcții care par unora iluzorii oricum 🙂

Despre ce o să citești mai jos?

ce presupune proiectul de regulament european privind inteligența artificială?
de ce mă interesează? cu ce mă ajută?
cine ce spune despre acest proiect?

Nu încă un regulament european….

Oh, ba da! Acum că am terminat cu cele două regulamente privind piețele digitale și serviciile digitale, care tocmai au primit votul final în Parlamentul European, e rândul regulamentului privind inteligența artificială să intre în scenă.

De ce e nevoie de un regulament european să reglementeze inteligența artificială? Sunt mai multe motive. În primul rând, vorbim de o tehnologie cu profunde implicații în ceea ce privește liberul arbitru (hello, Matrix!), luarea deciziilor, supravegherea sau viața intimă a oamenilor.

În al doilea rând, pentru că unele companii pot comite foarte multe abuzuri pornind de la „vrăjitoria” asta numită IA. Cazul companiei Clearview e notoriu, compania lăudându-se că este „cea mai mare rețea de fețe din lume”, folosind o serie de tactici cam lipsite de etică pentru a-ți colecta selfie-urile pe care le postezi cine știe pe unde. Practic, au făcut un program de recunoaștere facială bazat pe IA folosind date de pe social media și vând acest program autorităților de aplicare a legii din toată lumea (am înțeles că și autorități din UE au achiziționat acest soft, deși ar fi ilegal conform GDPR). Au ajuns acum la a doua amendă și au primit și încă câteva decizii de încetare a activității de colectare a datelor în Franța, Italia sau UK.

În al treilea rând, ca să fie prima care setează trendul 🙂 Într-adevăr, dacă setează regulile pe care se vor dezvolta principalele aplicații de inteligență în viitor, poate forța utilizarea acestor reguli la nivel internațional. E un mod de a opera similar cu regulile pe confidențialitate, unde o cercetătoare a denumit efectul Bruxelles generalizarea normelor GDPR la nivel global deoarece înseamnă reducere de costuri. Deci, foarte probabil să vorbim de efectul Bruxelles și în domeniul IA. Asta doar dacă regulile se dovedesc destul de puternice încât să forțeze companiile să le internalizeze și piața UE este suficient de atractivă.

Care sunt principalele stipulări ale viitorului regulament?

Ca de obicei când vine vorba de reglementări europene, întrebarea-cheie este: cum să cer îndeplinirea unor obligații și respectarea unor standarde fără să omor sectorul pe care vreau să-l reglementez? Pentru că, desigur, nimănui nu-i place să respecte reguli – de la copii la companiile de tehnologie care trâmbițează sus și tare că reglementările creează costuri în plus care nu există în alte părți. Ei mai zic că reglementările ar face produsele să fie necompetitive și, desigur, că omoară libertatea și creativitatea. Ce „vinde” această reglementare și o face diferită de celelalte pe sectorul digital care s-au întâlnit cu un astfel de discurs este faptul că nu a mai fost așa ceva până acum. Deci, companiile își pot pune amprenta asupra legislației prin magicul proces de lobby.

OK, revenind, ce presupune regulamentul? Accentul cade aici pe problema riscurilor inerente și necunoscute pe care sistemele IA le pot determina – nu doar la nivel de utilizare, ci și la nivel geopolitic. Deci, principalele stipulări ale regulamentului au la bază o abordare „risk-based” care cataloghează sistemele IA pe tipurile de riscuri pe care le creează, astfel:

riscuri inacceptabile – sisteme IA care contravin valorilor europene și care vor fi interzise. Aici intră sistemele de credit social, utilizate în China – exemplu clar dat de către propunerea de regulament și care va fi interzis explicit
riscuri ridicate – sisteme IA care au efecte adverse asupra siguranței sau drepturilor fundamentale ale europenilor. Vor fi clasificate astfel cele care îndeplinesc 2 condiții cumulativ: vor fi folosite într-unul din domeniile identificare biometrică, managementul infrastructurii critice, educație, piața muncii, acces la servicii publice sau privat esențiale, aplicarea legii, migrație și controlul graniței, justiție și prezintă un risc asupra sănătății sau siguranței sau afectează drepturile fundamentale ale cetățeanului. Vor trece printr-o evaluare pentru a le stabili statutul
riscuri limitate – sisteme IA care va trebui să respecte o serie de obligații, cum ar fi transparență, adică să fii informat că vorbești cu un sistem AI și nu cu un om
riscuri minime – toate celelalte sisteme IA care nu intră în categoriile de mai sus și nu vor avea alte obligații decât ce există deja în legislații

Majoritatea legislației se învârte în jurul sistemelor cu risc ridicat și creează o serie de obligații pentru ele, dintre care cele mai importante pentru noi, cetățenii sunt:

obligațiile de transparență și de furnizare a informațiilor pentru utilizatori
supravegherea umană
evaluări de conformitate înainte de plasarea pe piață
supravegherea pieței din partea autorităților statele și europene (statele membre și, implicit, și România vor desemna o autoritate pentru supravegherea pieței de IA)

Și cu asta ajungem la mema asta:

Și cu ce dracu mă ajută pe mine, domnișoară?!

Secțiunea asta se întoarce 🙂 A mai fost pe aici și mi se pare chiar o expresie relevantă pentru toate ideile debitate pe această platformă. O să prezint pe scurt câteva situații prin care IA îți poate afecta drepturile fundamentale și you be the judge.

În primul rând, am spus în secțiunea de mai sus că IA e o tehnologie cu profunde implicații în liberul arbitru (hello, Matrix!), luarea deciziilor sau supravegherea sau viața intimă a oamenilor. Să vedem câteva situații:

luarea deciziilor – cine vrei să ia decizia să scoată CV-ul tău din teancul de CV-uri primite de o corporație și să decidă să te angajeze? Un om de HR sau un soft de inteligență artificială (IA) care poate face o prognoză cu privire la cum te vei descurca în viitor la acea slujbă? De unde știe el să facă această prognoză? Poate un astfel de sistem să ia o decizie corectă?
liberul arbitru – controlul comportamentului este explicit interzis în actuala formă a proiectului de regulament. Deci, nu va exista un sistem de supraveghere menit să verifice și să pedepsească comportamente considerate nepotrivite de către o autoritate arbitrară. Aici discuția poate intra pe o pantă mai complicată dacă ne gândim că algoritmii social media ar putea influența comportamente sau crea comportamente pe social media cu implicații indirecte asupra liberului arbitru. Dar hai să nu ne băgăm aici, având în vedere că problema rețelelor sociale și a algoritmilor săi nu este considerată de risc ridicat
supravegherea sau viața intimă a persoanelor – una e sistemul de supraveghere dintr-un aeroport, alta e sistemul de supraveghere într-un oraș care, cuplat cu recunoașterea facială, poate să-ți urmărească fiecare pas. Nu suntem neapărat aici, dar povestea cu Clearview AI menționată mai sus arată că am putea fi. Să nu uităm că acest soft a fost achiziționat de forțe de poliție din Europa. Întrebarea care se pune și la care nu cred că legislația IA răspunde este: ai dreptul să mergi până jos la magazin să cumperi o pâine fără a te gândi că cineva te vede și te urmărește și pune informația asta cap la cap cu altceva? (sigur că așteptați la o întrebare filosofică aici)

Toate întrebările de mai sus, dar și proiectul de legislație, pornesc de la premisa că sistemul IA funcționează pe baza unui set de date de calitate, cu ajutorul căreia acesta „a învățat”. De altfel, există stipulări în proiectul de regulament care se asigură că sistemele cu risc ridicat vor fi dezvoltate pe seturi de date de calitate și că sistemele vor avea guvernanță a datelor clară cu privire la:

cum au decis designul sistemului
colectarea de date și procesul de procesare a datelor
formularea ipotezelor de lucru pentru sistem
examinarea posibilelor biasuri (și altele)

Testarea datelor utilizate va trebui să ia în calcul și caracteristicile geografice sau comportamentale din zona în care vor fi utilizate sistemele cu risc ridicat. Mai precis, sistemele IA nu pot funcționa universal pentru că avem particularități culturale sau de comportament, spre exemplu să recunoască că o burqa nu e tot una cu o cagulă (exemplu exagerat, dar e util pentru înțelegere).

În al doilea rând, proiectul de regulament IA ne dă posibilitatea să aflăm când avem de-a face cu un sistem IA și nu cu un om. Spre exemplu, când vei depune actele pentru un împrumut bancar, vei fi informat că un sistem IA îți calculează scorul de credit.

În al treilea rând, supravegherea umană este cheia pentru ca drepturile noastre să fie respectate, iar sistemele cu risc ridicat va trebui să se asigure că un om suficient de bine pregătit, care înțelege cum funcționează sistemul, îl va „stăpâni”. Sarcinile acestuia/acesteia vor fi de a fi conștient/ă de tendința umană de a se baza prea mult pe tehnologie, de a fi capabil/ă de a interpreta corect rezultatele sau de a decide să nu folosească sistemul. Deci, aici avem de-a face nu doar cu IT-iști care creează sistemele astea, ci va trebui să ținem cont că forța de muncă în general are nevoie de cunoștințe de IA ca să poată folosi sistemele astea care doar se vor înmulți în viitor.

În al patrulea rând, statele și Comisia vor supraveghea piața și vor putea cere scoaterea unor sisteme care se dovedesc a fi prea riscante sau care vor avea efecte neintenționate. Deci, și aici avem nevoie de oameni bine pregătiți la nivel național care să poată înțelege tehnologia, dar și drepturile noastre fundamentale 🙂

Sună totul too good to be true? E vremea să ne uităm ce mai zic alții pe acest subiect.

Cum e de fapt?

Lucrurile sunt departe de a fi perfecte în ceea ce privește abordarea „futureproof” și neutră cu care se laudă Comisia Europeană. Sau cel puțin așa zic cei care s-au pronunțat pe lege.

Institutul Ada Lovelace din UK, printre cele mai semnificative institute de cercetare pe chestiuni de tehnologie din lume, are câteva probleme cu acest proiect de regulament:

mare parte din reglementările la adresa sistemelor IA vor cădea în brațele producătorului, dar acestea nu sunt produse „finite” sau, zic cei de la Ada, statice, „comportamentul lor schimbându-se în funcție de noi seturi de date, integrări în diverse ecosisteme etc”. Iar „utilizatorii” de astfel de sisteme IA au un rol limitat în legislație. Mai pe scurt, regulamentul nu descâlcește responsabilitățile diverselor entități implicate în utilizarea sistemelor IA – de la simple firme care cumpără un sistem, la social media, unde algoritmii nu neapărat că fac parte integrantă din sistemul IA
chiar dacă face caz din ideea necesității respectării drepturilor fundamentale ale cetățenilor, cei de la Ada cred că draftul de regulament cam ignoră contribuția cetățenilor/utilizatorilor finali ai sistemului IA. Adică nu te poți plânge unei autorități că ai fost nedreptățit de un sistem IA.
paralel cu obiecția de mai sus, cei de la Ada mai spun că regulamentul nu oferă o evaluare de impact asupra drepturilor fundamentale, cu toate că proiectul menționează importanța drepturilor fundamentale de foarte multe ori
clasificarea sistemelor pe tipuri de risc a fost făcută oarecum arbitrar, conform celor de la Ada. Și nu știm dacă se vor putea adăuga alte tipuri de sisteme în viitor. Ei spun că această listă arbitrară nu prea creează încredere în tehnologie, așa cum tot trâmbițează UE

DigitalEurope, asociația care reprezintă interesele marilor companii la Bruxells (printre care și BigTech), și-a formulat o poziție pe subiect:

și ei sunt de acord că lista sistemelor IA cu risc mare e cam vagă și ar trebui detaliată
și ei sunt de acord că utilizatorul sistemului trebuie să aibă un rol mai bine stabilit – pornind de la simpla idee că una e să-l creezi, ala e să-l folosești, dar obligațiile trebuie împărțite
sigur ar rezulta foarte multă hârțogărie din partea celor care creează astfel de sisteme – un lucru car poate dăuna IMM-urilor și start-upurilor.
sarcina implementării cade și în cârca statelor membre, care ar putea interpreta diferit unele aspecte ale regulamentului, ceea ce ar duce și la mai multă fragmentare. Deci, e nevoie de mai multă coordonare și sprijin pentru state de la nivel european (prin instituția propusă numită European AI Board)

Cercetătorii cei mai celebri pe subiect și-au formulat și ei păreri pe subiect (și nu doar cele din sfera – vai, IA va aduce pieirea omenirii). Max Tegmark este unul dintre cei mai celebri specialiști IA din lume și, invitat la o audiere a Parlamentului European pe acest subiect, s-a pronunțat că propunerea de regulament nu este „futureproof” deloc, având în vedere că nu face referire la sisteme de uz general, care sunt de fapt viitorul tehnologiei IA.

Altă obiecție a lui Tegmark – care nu este cuprinsă la rândul ei în textul legislației – se referă la potențialul de manipulare la nivel societal pe care-l au aceste sisteme și care nu cade sub incidența acestui proiect. Se referea desigur la social media.

Pe scurt: legislație limitată, vorbește despre drepturi fundamentale, dar nu face prea multe pentru a le rezolva, delimitări oarecum arbitrare ale tipurilor de riscuri și posibile implementări defectuoase.

Cum rămâne?

La aceeași audiere a Parlamentului European a participat și Stuart Russell, unul din „pionierii domeniului” care a fost de acord cu ideile lui Tegmark. El a și scris unul din primele manuale de IA în SUA și a scris o carte, numită Human Compatible, unde explică potențialul și limitările IA. Recomand cartea.

Chiar dacă recunoaște că avem de-a face cu limitări tehnologice în ceea ce privește construirea unor sisteme IA generale, în cartea cu subtitlul AI and the Problem of Control el vine deja cu o teorie cu privire la IA în așa fel încât să reducă din start unele potențiale amenințări. Deci, nu avem încă de-a face cu IA foarte puternice, dar el deja vine cu idei despre cum să schimbăm de tot definiția și construcția IA. Dacă asta nu te pune pe gânduri, atunci ce?

Ideea lui principală, cu care vă las în acest final de articol, este să regândim definiția IA de la:

„mașinile sunt inteligente atâta timp cât se așteaptă ca prin acțiunile lor să-și îndeplinească obiectivele”

„mașinile ne sunt benefice atâta timp cât se așteaptă ca prin acțiunile lor să ne îndeplinească obiectivele noastre”.

De la obiectivele lor – pe care noi le setăm, dar poate le setăm prost și cu consecințe nebănuite – la obiectivele noastre cu adevărat. Regăsesc ceva fărâmă din ideile astea în proiectul de regulament IA? Nu prea, deocamdată ne gândim la IA ca la niște produse pe care le cumpărăm și care trebuie să aibă marca de conformitate CE pe ele. Nu gândim societal.