Demisii de marcă în OpenAI: Urgența unei culturi a responsabilității în AI

Timp de citire: 3 minute

Un responsabil cu siguranța de la OpenAI și-a dat demisia din companie, avertizând asupra culturii defectuoase a acesteia și că firmele din domeniul AI nu erau „nici pe departe suficient de prudente” în ceea ce privește dezvoltarea tehnologiei, potrivit The Guardian.

David Robinson, care a coordonat redactarea rapoartelor de siguranță care însoțeau lansările de produse ale dezvoltatorului ChatGPT, și-a explicat demisia într-un eseu intitulat „Am părăsit OpenAI pentru că cultura sa este defectuoasă”.

Robinson a scris că este necesară o schimbare culturală radicală în cadrul firmelor de vârf din domeniul AI, iar incidente precum „roiul” de agenți OpenAI – programe de AI care funcționează autonom, fără supraveghere umană – care au atacat startup-ul de AI Hugging Face sunt „tipice pentru această industrie, având în vedere viteza și flexibilitatea cu care oamenii acționează”.

Într-un articol publicat în revista The Atlantic, Robinson a scris:

„Sunt de acord cu alți angajați care au părăsit recent compania că firmele care dezvoltă această tehnologie nu sunt nici pe departe suficient de prudente. Dar cred că trebuie să privim mai adânc decât regulile specifice sau noile legi. Trebuie să vorbim despre cultură.”

Referindu-se la ritmul de dezvoltare al OpenAI, el a scris:

„Pe măsură ce compania trece în viteză de la o lansare la alta, nu reușește să atingă nivelul de atenție pe care îl consider necesar.”

Cu toate acestea, OpenAI a dat semne de prudență în ultimele săptămâni, în urma incidentului Hugging Face și a dezvăluirii faptului că a notificat peste 100 de organizații cu privire la activitatea unor agenți necorespunzători. Săptămâna aceasta, compania a anunțat că renunță la lansarea unui model de AI de nouă generație, după ce cercetătorii au ridicat semne de întrebare privind siguranța în timpul testelor interne. OpenAI a suspendat, de asemenea, antrenarea celor mai avansate modele ale sale.

Geoffrey Irving, care a lucrat la OpenAI și DeepMind înainte de a deveni cercetător șef la Resolution, s-a alăturat și el sâmbătă avertismentelor privind AI.

Într-un articol publicat în revista Time, el a declarat:

„Avertismentele recente privind potențialul distructiv al AI subestimează gravitatea situației. Cred că există o probabilitate de aproximativ 50% ca noi toți să murim din cauza dezvoltării unor sisteme de AI mai inteligente decât omul, iar acțiunile noastre din următorii doi până la zece ani vor determina rezultatul.”

Eseul lui Robinson vine, de asemenea, în urma demisiei lui Jacob Coxon, cercetător la Anthropic, o companie rivală a OpenAI, care a părăsit dezvoltatorul chatbotului Claude luna trecută. El a avertizat că AI „ne-ar putea ucide pe toți până la sfârșitul deceniului” – iar acest avertisment a fost urmat de unul din partea Anthropic, conform căruia există o probabilitate de peste 10% ca AI să distrugă umanitatea în următorul deceniu. Criticii acestor avertismente au subliniat, totuși, că acestea nu sunt științifice, deoarece nu pot fi verificate sau infirmate.

Robinson a scris că Silicon Valley nu are o conștiință a „modului în care trebuie gestionată tehnologia periculoasă” și a „ceea ce înseamnă să ții la oameni”. Avertizând că OpenAI are un „optimism neîngrădit” în ceea ce privește rezolvarea problemelor pe măsură ce acestea apar, el a scris că această cultură internă înseamnă că eșecurile în materie de siguranță nu vor face decât să crească pe măsură ce sistemele devin mai performante.

„Imaginați-vă agenți «rebeli» care funcționează ca echipe de hackeri (de exemplu, blocând sistemele informatice ale spitalelor pentru a obține răscumpărare), dar care nu au nevoie niciodată să doarmă”,

a scris Robinson.

Robinson a solicitat două modificări în materie de siguranță: ca firmele din domeniul AI să se bazeze pe expertiza în siguranță din alte domenii, precum cel nuclear și cel aviatic, și să dezvolte o „știință nouă” care să garanteze că sistemele puternice din viitor vor putea fi ținute sub control atunci când funcționează în mod autonom.

„Având în vedere riscurile actuale, laboratoarele de vârf trebuie să funcționeze ca centralele nucleare sau aeroporturile aglomerate, cu mai multe niveluri de redundanță și o planificare atentă și îndelungată, astfel încât erorile umane ocazionale și inevitabile să nu deschidă calea către un dezastru”,

a scris el.

Un purtător de cuvânt al OpenAI a declarat că firma continuă să „consolideze practicile noastre de siguranță și securitate pentru a face față riscurilor pe care le observăm astăzi”,

lucrând în același timp la gestionarea riscurilor care ar putea fi generate de viitoarele progrese în domeniul AI.

„Ne asigurăm că modelele noastre nu devin mai performante decât putem gestiona și securiza în condiții de siguranță și întrerupem antrenamentul sau reținem modelele atunci când este necesar să încetinim ritmul”,

a spus purtătorul de cuvânt.