Reuters: Anthropic avertizează că inteligenţa artificială avansată ar putea genera riscuri catastrofale pentru umanitate

Anthropic avertizează potenţialii investitori, în prospectul pentru oferta sa publică iniţială (IPO), că inteligenţa artificială avansată ar putea genera „riscuri catastrofale sau existenţiale pentru umanitate”, inclusiv prin comportamente de autoprotecţie ale modelelor, transmite Reuters.

Compania care dezvoltă modelele Claude afirmă în document că sistemele sale ar putea încerca să „reziste opririi”, să ascundă sau să manipuleze informaţii şi să manifeste comportamente „asemănătoare şantajului”, relatează Reuters.

„Dezvoltarea de către noi a unor modele, platforme şi aplicaţii extrem de avansate şi extinderea cazurilor de utilizare ar putea creşte şi mai mult riscul ca modelele noastre să provoace prejudicii”, afirmă Anthropic în prospectul analizat de Reuters.

Avertismentele sunt neobişnuit de ample pentru documentaţia unei companii care se pregăteşte să intre pe bursă, potrivit Reuters.

Anthropic a alocat aproximativ 80 dintre cele 261 de pagini ale corpului principal al prospectului prezentării factorilor de risc, în timp ce 48 de pagini sunt consacrate descrierii afacerii, informează Reuters.

Prin comparaţie, SpaceX, care deţine xAI, a alocat factorilor de risc aproximativ 38 dintre cele 277 de pagini ale corpului principal al prospectului său, relatează Reuters.

Anthropic, care s-a poziţionat drept unul dintre laboratoarele de inteligenţă artificială axate în special pe siguranţă, susţine că tehnologia ar putea avea asupra societăţii un impact comparabil cu industrializarea şi electricitatea, dar avertizează asupra unor efecte ireversibile dacă sistemele avansate nu sunt gestionate corespunzător, potrivit Reuters.

„Posibila conştientizare de către modele a eforturilor noastre de evaluare creează o limitare semnificativă a capacităţii noastre de a evalua siguranţa modelelor”, afirmă compania, relatează Reuters.

Anthropic avertizează că modelele pot dezvolta în timpul antrenării capacităţi neaşteptate, care uneori nu sunt descoperite înainte de implementarea sistemelor şi care pot conduce la incidente importante de siguranţă, informează Reuters.

Cercetătorii din domeniul inteligenţei artificiale au atras, de asemenea, atenţia că modelele tot mai performante pot recunoaşte situaţiile în care sunt evaluate sau monitorizate şi îşi pot modifica în consecinţă comportamentul, ceea ce complică testarea siguranţei, potrivit Reuters.

Evan Hubinger, cercetător în domeniul siguranţei la Anthropic, a estimat o probabilitate de peste 10% ca inteligenţa artificială să provoace moartea unor oameni în următorul deceniu, o opinie similară fiind exprimată anterior de fostul său coleg Jacob Coxon, relatează Reuters.

Anthropic şi alţi dezvoltatori de inteligenţă artificială, inclusiv OpenAI, au fost supuşi unei atenţii sporite după incidente în care sisteme experimentale nu au respectat constrângerile impuse, informează Reuters.

Reuters menţionează inclusiv un caz raportat în care un model OpenAI a accesat neautorizat baza de date a sistemului de sănătate din Australia, potrivit Reuters.

În pofida accentului pus pe siguranţă, Anthropic recunoaşte că randamentul investiţiilor sale în acest domeniu este dificil de evaluat şi nu precizează în prospect cât cheltuieşte pentru cercetarea privind siguranţa AI, relatează Reuters.

Anthropic a declarat anterior că, într-o săptămână analizată din luna iulie, aproximativ 6% din puterea de calcul utilizată pentru cercetarea în domeniul inteligenţei artificiale a fost alocată activităţilor de siguranţă, informează Reuters.

Compania descrie aceste eforturi drept mari consumatoare de resurse şi afirmă că trebuie să împartă fondurile disponibile între puterea de calcul, specialiştii în inteligenţă artificială, ale căror costuri sunt ridicate, şi cercetarea privind siguranţa, potrivit Reuters.

Anthropic precizează, în acelaşi timp, că utilizarea produselor sale de către clienţi şi, implicit, veniturile depind de lansarea unor modele noi, iar menţinerea unei succesiuni continue şi suprapuse de lansări este necesară pentru a rămâne la frontiera dezvoltării AI, relatează Reuters.

Compania a lansat săptămâna trecută o nouă versiune a modelului Opus, la zece zile după ce directorul general Dario Amodei a publicat un eseu de aproape 4.000 de cuvinte în care a pledat pentru un ritm controlat al dezvoltării celor mai avansate sisteme, informează Reuters.

Anthropic s-a angajat recent să publice mai multe informaţii despre modul în care foloseşte modelele AI pentru dezvoltarea generaţiilor viitoare ale tehnologiei, pe fondul preocupărilor legate de autoîmbunătăţirea recursivă, situaţie în care sistemele ar putea contribui tot mai mult la propria dezvoltare, potrivit Reuters.

„Credem că dezvoltarea unor sisteme AI fiabile, demne de încredere şi sigure este o responsabilitate colectivă şi că piaţa o va recompensa”, afirmă Anthropic în prospect, relatează Reuters.

Compania a refuzat să comenteze suplimentar informaţiile din document, transmite Reuters.