CNBC: Nvidia lansează o platformă software pentru a opri agenţii AI să încalce regulile

Nvidia lansează o nouă platformă software care le permite dezvoltatorilor de inteligenţă artificială să stabilească bariere de siguranţă pentru agenţi şi să îi împiedice să iasă din containerele lor, potrivit CNBC.

Lansarea de luni a Platformei Deschise de Siguranţă pentru Agenţi a Nvidia vine după ce companii precum OpenAI, Anthropic, Meta şi Google au dezvăluit incidente recente în care modelele lor de inteligenţă artificială au scăpat din sandbox-uri şi au încercat să atace alte companii şi să le acceseze sistemele informatice.

Un reprezentant Nvidia a declarat duminică, într-o conferinţă telefonică, că platforma sa ar fi putut preveni incidentul HuggingFace al OpenAI din iulie, când modelele OpenAI au scăpat din izolare, au accesat internetul deschis şi au spart Hugging Face, care operează o platformă open-source pentru dezvoltatori.

Justin Boitano, vicepreşedinte pentru inteligenţă artificială enterprise la Nvidia, a declarat că fiecare incident de securitate este unic şi că trebuie analizate toate în detaliu, iar din ceea ce se ştie, Hugging Face a raportat peste 17.000 de agenţi care au atacat infrastructura lor timp de zile şi săptămâni.

Nvidia se află în centrul boom-ului de inteligenţă artificială generativă de la lansarea ChatGPT, în urmă cu aproape patru ani, deoarece unităţile de procesare grafică ale producătorului de cipuri sunt esenţiale pentru dezvoltarea modelelor lingvistice mari şi pentru serviciile de inteligenţă artificială oferite de hyperscaleri.

Directorul general Jensen Huang a emergat recent ca o voce cheie în dezbaterea privind siguranţa inteligenţei artificiale, argumentând că multe preocupări de securitate sunt probleme de inginerie care pot fi rezolvate prin informatică şi dezvoltare de produse.

Huang a declarat într-un podcast cu Ezra Klein de la The New York Times, publicat săptămâna trecută, că trebuie să te gândeşti la ce ai fi putut face şi care este soluţia, iar în viitor să îmbunătăţeşti procesul pentru a evita repetarea acestui lucru.

Directorul general al Anthropic, Dario Amodei, a declanşat un scandal în industrie acum două săptămâni, îndemnând dezvoltatorii de modele AI să încetinească ritmul de avansare din cauza temerilor că modelele scapă de sub control, un argument susţinut de Sam Altman de la OpenAI şi de Elon Musk de la SpaceX.

Boitano a declarat că noua ofertă a Nvidia este o soluţie de inginerie pentru problema siguranţei agenţilor, iar incidentele recente au evidenţiat un obstacol fundamental pentru agenţii AI, respectiv că barierele de siguranţă la nivel de model nu pot guverna singure ce pot accesa sau face agenţii.

O componentă a platformei se numeşte Nvidia OpenShell, care rulează pe procesoare centrale şi stabileşte limite pentru capabilităţile agenţilor, iar Nvidia a anunţat şi Sentry, care monitorizează agenţii şi rulează pe cipuri de reţea, nu pe CPU sau GPU.

O parte din software este open source, iar Nvidia îşi numeşte platforma un design de referinţă, ceea ce înseamnă că partenerii intenţionează să construiască produse peste ea pentru a o aduce pe piaţă.

Nvidia a numit ca parteneri Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM şi Intel, iar Nvidia lucrează de asemenea cu Anthropic pentru a integra agenţii gestionaţi în cloud cu OpenShell.