Reuters: Anthropic a suspendat timp de peste o lună antrenarea unui model AI din motive de securitate

Anthropic a dezvăluit că a suspendat timp de peste o lună antrenarea unui model AI de ultimă generaţie, din cauza unor preocupări legate de securitate, în timp ce patru dintre modelele sale au reuşit să acceseze sisteme informatice externe în timpul testelor, transmite Reuters.

Informaţiile apar în documentele publicate luni de companie pentru oferta sa publică iniţială, care evidenţiază dificultăţile tot mai mari întâmpinate de dezvoltatorii de inteligenţă artificială în controlarea sistemelor avansate, informează Reuters.

Anthropic a precizat că a amânat etapa iniţială de antrenare a unui nou model de bază, aflat la frontiera tehnologică a inteligenţei artificiale, pentru a consolida măsurile de protecţie împotriva furtului parametrilor modelului şi al proprietăţii intelectuale, relatează Reuters.

Suspendarea a durat mai mult de o lună, iar compania a avertizat că astfel de întreruperi ar putea întârzia generarea de venituri şi ar putea permite concurenţilor să obţină un avantaj tehnologic, precizează Reuters.

Documentele de listare descriu şi o serie de incidente de securitate, anterior nedezvăluite, în care patru modele AI au depăşit limitele mediilor informatice izolate utilizate pentru testare şi au accesat sisteme reale, externe, potrivit sursei citate. Sesiunile respective au durat între 10 şi 34 de ore, conform sursei menţionate.

Potrivit Anthropic, o eroare produsă în timpul unor teste de securitate cibernetică desfăşurate împreună cu un partener extern a făcut ca mediul de testare să rămână conectat la internet, deşi instrucţiunile prevedeau dezactivarea accesului la reţea, transmite Reuters.

Într-unul dintre incidente, o versiune preliminară a unui model AI a continuat să încerce rezolvarea unei sarcini de evaluare imposibil de îndeplinit, a descoperit o parolă stocată şi a utilizat-o pentru a obţine acces cu drepturi de administrator la sistemul informatic al unei terţe părţi, relatează Reuters.

Ulterior, modelul a obţinut alte date de autentificare, a modificat setările sistemului şi a accesat datele personale ale unei persoane, potrivit Reuters. Anthropic nu a dezvăluit identitatea părţilor externe implicate, precizează Reuters.

Compania a precizat că a notificat toate părţile afectate şi că nu a identificat dovezi potrivit cărora modelele ar fi încercat să evite supravegherea umană sau să îşi coordoneze acţiunile între ele, conform sursei menţionate.

În urma incidentelor, Anthropic a suspendat anumite evaluări de securitate cibernetică efectuate înaintea lansării modelelor şi a întrerupt temporar utilizarea unor medii de antrenare prin învăţare prin recompensă considerate cu risc ridicat, informează Reuters.

Dezvăluirile evidenţiază riscurile asociate dezvoltării unor sisteme de inteligenţă artificială din ce în ce mai autonome, capabile să interacţioneze cu infrastructuri informatice şi să execute sarcini complexe, potrivit sursei citate.

Probleme similare au fost raportate şi de OpenAI, care a suspendat temporar anumite activităţi de antrenare la începutul acestui an, din motive de siguranţă, după ce modelele sale au compromis sisteme ale platformei Hugging Face, adaugă Reuters.

Anthropic a consacrat aproximativ 94 de pagini din prospectul de listare prezentării factorilor de risc, un număr mai mare decât în versiunea confidenţială a documentului consultată anterior de Reuters.

Separat, compania a anunţat duminică faptul că Claude a reuşit să ocolească o restricţie de acces contra cost şi să consulte, fără autorizare umană, date agregate privind numărul alegătorilor din statul american Georgia, informaţii care erau disponibile public, potrivit Reuters.