Anthropic spune că ceva neliniştitor i s-a întâmplat lui Claude

Compania de top din domeniul IA, Anthropic, a avertizat că oamenii riscă să piardă controlul asupra sistemelor de IA într-un viitor foarte apropiat, dacă tendinţa îngrijorătoare observată la modelul său Claude va continua.

Startup-ul evaluat la 1 trilion de dolari a dezvăluit că Claude scrie acum peste 80% din propriul cod – faţă de mai puţin de 10% în februarie anul trecut.

Anthropic susţine că codul scris de Claude este în prezent aproximativ la paritate cu codul scris de oameni şi se aşteaptă să fie mult mai bun în următorul an.

„Această tendinţă indică un sistem de IA capabil să-şi proiecteze şi să-şi dezvolte în mod complet autonom propriul succesor”, au scris Marina Favaro şi Jack Clark de la Anthropic într-o postare pe blog joi.

„O IA care se poate construi singură ar fi o evoluţie majoră în istoria tehnologiei – una care ar putea aduce beneficii enorme lumii în domeniul ştiinţei, al sănătăţii şi nu numai.

„Însă auto-îmbunătăţirea recursivă completă ar putea creşte şi riscul ca oamenii să piardă controlul asupra sistemelor de IA.”

Anthropic a remarcat că, până de curând, progresele în domeniul inteligenţei artificiale s-au bazat în totalitate pe ingineri şi dezvoltatori umani. Însă compania deleagă acum din ce în ce mai mult dezvoltarea IA-ului său către sistemele de IA însele, într-un efort de a accelera progresul.

Aceste progrese îl plasează pe Claude pe calea „auto-îmbunătăţirii recursive”, care i-ar putea permite să se îmbunătăţească singur, fără intervenţie umană.

Anthropic a adăugat că ar fi „probabil un lucru bun” să se încetinească efectiv dezvoltarea tehnologiei pentru a acorda mai mult timp abordării implicaţiilor potenţiale.

O încetinire sau o pauză în dezvoltarea IA ar necesita un consens larg la nivel de industrie, precum şi cooperare politică pe fondul unor presiuni şi rivalităţi geopolitice intense.

„O încetinire sau o pauză semnificativă ar necesita ca mai multe laboratoare bine dotate, aflate la, sau aproape de frontiera tehnologică, din mai multe ţări, să fie de acord să se oprească în aceleaşi condiţii”, se menţionează în postarea Anthropic, citată de Independent.

„Ar fi, de asemenea, necesar ca fiecare să poată verifica dacă ceilalţi s-au oprit efectiv... Nimic din toate acestea nu este neapărat imposibil în principiu – lumea a creat regimuri de verificare pentru alte tehnologii complexe –, dar acele regimuri au necesitat zeci de ani pentru a construi atât infrastructura, cât şi încrederea. Noi nu avem atât timp la dispoziţie.”

Anthropic a declarat că intenţionează să colaboreze cu factorii de decizie, cercetătorii şi alte companii din domeniul IA în lunile următoare, în efortul de a se pregăti pentru apariţia sistemelor de IA cu auto-îmbunătăţire.

Nu este prima dată când se lansează un astfel de apel la suspendarea dezvoltării IA, mii de tehnologi solicitând un moratoriu de şase luni asupra antrenării IA în 2023, în urma lansării ChatGPT.

Scrisoarea deschisă, organizată de organizaţia non-profit Future of Life Institutes, a menţionat pericolul pierderii controlului asupra IA la nivelul întregii societăţi, deşi nu s-a obţinut nicio pauză.