AI rivalizează medicii în sarcini complexe de raționament medical, arată un studiu

Modelele de inteligență artificială au depășit medicii în deciziile medicale de urgență, potrivit unui nou studiu, potrivit Euronews.

Cercetătorii de la Harvard Medical School și de la Beth Israel Deaconess Medical Center din Statele Unite au comparat inteligența artificială și medicii într-o gamă largă de sarcini de raționament clinic.

Aceștia au descoperit că modelele de limbaj mare (LLM) au depășit medicii în mai multe sarcini, inclusiv luarea deciziilor în camera de gardă pe baza informațiilor disponibile, identificarea diagnosticelor probabile și alegerea următorilor pași în management.

„Am testat modelul de inteligență artificială în raport cu aproape fiecare criteriu de referință și a eclipsat atât modelele anterioare, cât și valorile de referință ale medicilor noștri”,

a declarat Arjun Manrai, co-autor principal și profesor la Harvard Medical School.

„Cu toate acestea, acest lucru nu înseamnă că inteligența artificială va îmbunătăți neapărat îngrijirea – modul și locul în care ar trebui implementată rămân insuficient studiate și avem nevoie disperată de studii prospective riguroase pentru a evalua impactul inteligenței artificiale asupra practicii clinice.”

Cum a fost testat modelul de inteligență artificială?

Cercetătorii au evaluat pentru prima dată o1-preview, modelul de raționament OpenAI lansat în 2024, căruia i-au oferit o serie de cazuri clinice, inclusiv conferințe de cazuri publicate și înregistrări ale departamentelor de urgență din lumea reală.

Inteligența artificială a depășit medicii umani în majoritatea experimentelor, în special în raționamentul managerial, raționamentul clinic, documentația și situațiile de urgență din lumea reală cu informații limitate.

„Modelele sunt din ce în ce mai capabile. Obișnuiam să evaluăm modelele cu teste cu variante multiple de răspuns; acum obțin constant scoruri apropiate de 100% și nu mai putem urmări progresul pentru că suntem deja la limita maximă”,

a declarat co-autorul Peter Brodeur, cercetător clinician HMS în medicină la Beth Israel Deaconess.

Într-un test, cercetătorii au cerut medicilor de drept –o1 și GPT-4o– să evalueze pacienții în diferite momente ale unui cadru standard al departamentului de urgență, de la triajul timpuriu până la deciziile ulterioare de internare.

În fiecare etapă, modelului i s-au oferit doar informațiile disponibile în acel moment și i s-a cerut să genereze diagnostice probabile și să recomande ce ar trebui să se întâmple în continuare.

Cea mai mare diferență dintre inteligența artificială și medicii umani a fost în etapa de triaj, în care informațiile despre pacient sunt mai limitate.

La fel ca în cazul medicilor umani, modelele de inteligență artificială și-au îmbunătățit capacitățile de diagnostic pe măsură ce au devenit disponibile mai multe informații.

„Deși aplicarea inteligenței artificiale pentru a ajuta la susținerea deciziilor clinice este uneori considerată o activitate cu risc ridicat, o utilizare mai mare a acestor instrumente ar putea servi la atenuarea costurilor umane și financiare ale erorilor de diagnostic, întârzierilor și lipsei de acces”,

au scris autorii.

Sunt necesare mai multe cercetări

Cercetătorii au solicitat studii prospective pentru a evalua aceste tehnologii în contexte reale și pentru ca sistemele de asistență medicală să investească în infrastructură de calcul și să dezvolte cadre care să poată sprijini integrarea în siguranță a instrumentelor de inteligență artificială în fluxurile de lucru clinice.

„Un model ar putea stabili corect diagnosticul, dar ar putea sugera și teste inutile care ar putea expune un pacient la daune”,

a spus Brodeur.

„Oamenii ar trebui să fie punctul de referință suprem atunci când vine vorba de evaluarea performanței și a siguranței.”

Studiul are unele limitări. Autorii au remarcat că studiul reflectă doar performanța modelului și se concentrează în principal pe versiunea preliminară a modelului o1, care a fost ulterior înlocuit de modele mai noi, cum ar fi modelul o3 al OpenAI.

„Deși ne așteptăm ca performanța să fie susținută sau îmbunătățită cu modelele mai noi, ar trebui efectuate studii suplimentare pentru a elucida modul în care performanța variază între modele și pentru a studia modul în care oamenii și LLM-urile pot colabora”,

au scris autorii.