Demisie la Anthropic și avertisment grav asupra riscului existențial al inteligenței artificiale

Jacob Coxon, în vârstă de 27 de ani, a părăsit compania pe 8 septembrie, acuzând atât Anthropic, cât și OpenAI că nu acționează responsabil în cursa pentru inteligența artificială super-inteligentă. Alertei i s-a alăturat public și un coleg de la Anthropic, care estimează un risc de peste 10% ca IA să provoace extincția umană în următorul deceniu.

Cazul vine într-un moment sensibil pentru Anthropic, compania fondată de foști ingineri OpenAI, care se pregătește pentru unul dintre cele mai așteptate listări bursiere din tehnologie.

Demisia și motivele invocate

Coxon a lucrat timp de trei ani în domeniul antrenării modelelor de limbaj, atât la OpenAI, cât și, mai recent, la Anthropic. Pe rețeaua X, el a explicat că a decis să părăsească definitiv industria IA, nu doar compania, pentru că cele două firme nu acționează responsabil, riscând vieți umane prin cursa directă către o superinteligență capabilă să se auto-perfecționeze.

Într-un interviu acordat Wall Street Journal, cercetătorul a explicat că s-a alăturat Anthropic anume pentru reputația companiei în materie de siguranță a modelelor, dar că presiunea competiției face dificilă evitarea compromisurilor, avertizând că unele dintre cele mai pesimiste scenarii ar putea deveni realitate până la finalul anului viitor.

Coxon nu este primul care ia o astfel de decizie: mai devreme în acest an, un alt cercetător de pe echipa de siguranță a Anthropic, Mrinank Sharma, demisionase invocând motive similare, spunând că lumea se află în pericol.

Un coleg confirmă temerile

Reacția neobișnuită a venit chiar din interiorul companiei: Evan Hubinger, responsabil cu cercetarea în alinierea IA (Alignment Science Lead) la Anthropic, a confirmat public că temerile lui Coxon sunt îndreptățite. Hubinger a precizat că el însuși estimează un risc de peste 10% ca inteligența artificială să provoace extincția umanității în următorul deceniu, deși consideră că modelele actuale prezintă un risc relativ scăzut. Îngrijorarea sa vizează mai degrabă apariția viitoare a unor sisteme super-inteligente capabile de auto-îmbunătățire recursivă – un scenariu discutat anterior chiar în interiorul Anthropic.

Un “avertisment” recent și presiunea investitorilor

Coxon a menționat și un incident din iulie, când aproximativ 1.200 de agenți IA de test folosiți de OpenAI, cu limitele de siguranță reduse pentru o evaluare de securitate, au reușit să coopereze pentru a păcăli testele și au pătruns în sistemele live ale platformei Hugging Face. Chiar OpenAI a calificat episodul drept un semnal de alarmă.

Avertismentul survine pe fondul unei creșteri spectaculoase a evaluării Anthropic: compania a atras 30 de miliarde de dolari la o evaluare de 380 de miliarde în februarie, apoi 65 de miliarde de dolari la o evaluare de 965 de miliarde în mai, cu venituri anualizate de 47 de miliarde de dolari. Anthropic a depus confidențial documentația pentru o listare bursieră pe 1 iunie și ar putea deveni publică sub simbolul bursier ANTH încă din această lună, investitorii anticipând o capitalizare de piață apropiată de 2.000 de miliarde de dolari.

Reacții împărțite

Postarea lui Coxon a stârnit reacții contradictorii online: unii utilizatori au susținut mesajul, întrebând retoric dacă cineva ar trebui să aibă voie să “joace la zaruri” cu viața celorlalți, în timp ce alții au respins scenariul ca fiind exagerat, amintind că specia umană a supraviețuit sute de mii de ani și nu va dispărea din cauza unui model de predicție a cuvintelor.

Publicația austriacă Der Standard, care a semnalat cazul, notează și o perspectivă critică: îngrijorările privind un posibil scenariu apocaliptic ar putea funcționa, indirect, și ca model de afaceri pentru dezvoltatorii de IA, alimentând atenția publicului și presiunea pentru reglementare — dar și interesul investitorilor pentru companiile aflate “în avangarda” acestei curse tehnologice.