Lumea reală nu are buton de „Undo”

 În industria tehnologică există o presupunere atât de răspândită încât aproape nimeni nu o mai contestă: dacă un sistem software greșește, vom repara după aceea. Vom relansa procesul. Vom restaura o copie de siguranță. Vom corecta manual baza de date. În cel mai rău caz, vom trimite un mesaj automat de scuze clienților și vom face „rollback”.

Doar că lumea reală nu funcționează ca o aplicație de test într-un mediu izolat.

Dacă un e-mail greșit a plecat deja către zece mii de oameni, el există în căsuțele lor poștale. Dacă un transfer bancar eronat a fost deja decontat, banii au părăsit contul. Dacă un robot industrial s-a mișcat cu câțiva centimetri în afara traiectoriei, piesa de pe bandă este deja distrusă.

Calculatorul poate șterge înregistrarea internă a evenimentului, dar nu poate șterge faptul că evenimentul s-a produs. Mașina poate uita ce a făcut. Lumea, în schimb, rămâne modificată.

Aici începe problema reală a noii generații de sisteme bazate pe Inteligență Artificială. Și, din păcate, ea nu are aproape nicio legătură cu filtrele de cuvinte și dezbaterile morale despre care discutăm zilnic în spațiul public.

Suntem obsedați de ce spune AI-ul, nu de ce face

În ultimii ani, întreaga discuție despre „siguranța AI” s-a concentrat aproape complet pe comportamentul lingvistic al modelelor: să nu înjure, să nu ofere instrucțiuni periculoase, să nu genereze conținut extremist sau să nu fie ofensatoare. Companiile investesc miliarde de dolari în filtre automate pentru ca tehnologia să pară politicoasă, empatică și aliniată cu normele sociale.

Toate acestea sunt utile, dar ele tratează doar suprafața problemei. Ele strunesc fluxul de cuvinte al unui algoritm statistic, dar lasă complet nerezolvată siguranța execuției sale în realitate.

Între timp, tehnologia se schimbă rapid sub ochii noștri. AI-ul iese din fereastra sterilă de chat și intră direct în structura organizațiilor noastre sub formă de „agenți persistenți”. Nu mai vorbim despre sisteme care doar răspund la întrebări, ci despre aplicații autonome lăsate să ruleze pe perioade lungi, capabile să modifice date, să aprobe documente, să mute resurse între sisteme sau să execute comenzi în alte programe informatice.

În acest nou teritoriu, întrebarea importantă nu mai este:

„A spus ceva greșit?”

Întrebarea devine:

„A executat ceva greșit?”

Un chatbot care îți recomandă un film prost sau generează un text bizar este o problemă minoră. Un agent autonom care execută o acțiune ireversibilă pe baza unor informații degradate produce efecte reale, greu sau imposibil de retras.

Fricțiunea administrativă: cum o simplă desincronizare blochează o companie

Multe dintre cele mai periculoase erori nu apar din „inteligență malefică” sau din scenarii apocaliptice de tip Hollywood. Ele apar din lucruri extrem de banale, pe care oricine le-a întâlnit măcar o dată într-un birou: o informație care nu se mai sincronizează la timp între două servere, o conexiune care pică exact în momentul nepotrivit sau o memorie internă a agentului care nu mai reflectă starea reală a terenului.

Imaginați-vă un agent AI integrat în departamentul administrativ al unei companii mari. Nu conduce mașini autonome și nu controlează infrastructuri strategice. Face lucruri aparent plictisitoare și de rutină:

• aprobă accesul la documente interne;
• mută date între departamente;
• generează contracte tipizate;
• actualizează drepturile de acces ale angajaților;
• răspunde automat la cererile din rețea.

Într-o după-amiază banală de marți, din cauza unei simple erori de rețea externe, un manager își pierde temporar acreditările într-o aplicație terță. Actualizarea acestei stări ajunge la agentul AI cu o întârziere de doar câteva secunde.

Lucrând pe baza unei realități administrative care tocmai a expirat, agentul AI procesează cascada de consecințe logice din algoritmul său:

• presupune că managerul a fost revocat;
• retrage automat permisiunile pentru întreaga lui echipă;
• blochează conturi cheie;
• regenerează politicile de securitate ale departamentului;
• notifică celelalte sisteme din rețea.

Totul pare perfect logic la nivel local, în interiorul codului.

Și complet fals la nivelul organizației.

Compania descoperă, în mijlocul unei livrări comerciale reale către un client important, că zeci de oameni nu își mai pot accesa fișierele critice, iar operațiunile sunt paralizate.

În jurnalul intern al calculatorului apare ulterior un mesaj sec:

„Synchronization restored successfully.”

Doar că, între timp, organizația a funcționat minute bune pe o realitate administrativă falsă. Contracte au fost întârziate, telefoanele de la suport tehnic au explodat, iar echipa a pierdut ore întregi încercând să descurce nodul creat mecanic de sistem.

Aceeași logică a desincronizării devine și mai brutală atunci când coboară în lumea fizică.

La un robot industrial dintr-o fabrică, o micro-latență de câteva sute de milisecunde în transmiterea poziției unei piese poate face ca brațul mecanic să execute mișcarea pe baza unei stări care nu mai există. Brațul se coboară într-un punct gol, piesa este strivită, banda se oprește.

Calculatorul raportează triumfător că eroarea a fost izolată și sistemul recuperat.

Dar deșeurile de metal rămân pe podeaua fabricii.

Unele execuții pur și simplu nu pot fi reparate după ce au fost comise.

Asta este partea pe care industria încă refuză să o accepte.

Două filozofii complet diferite: „fail-open” versus „fail-closed”

În internetul clasic, micile erori sunt tolerate prin filosofia numită „fail-open”. Dacă o aplicație de streaming pierde temporar datele despre preferințele tale, ea continuă optimist și îți recomandă un serial nepotrivit. Consecințele sunt minime, viața merge înainte.

Dar când AI-ul începe să producă efecte persistente în afacerile și deciziile noastre, optimismul digital devine un defect de proiectare extrem de periculos.

Din această limită se naște filosofia alternativă: „fail-closed”.

Un sistem construit pe acest principiu funcționează după o regulă mult mai rigidă:

„Dacă nu pot demonstra structural, prin reguli logice stricte și verificabile, că următoarea acțiune este validă în raport cu starea reală și curentă a lumii, execuția se oprește înainte de a produce efecte.”

În momentul în care datele devin ambigue sau când starea externă nu mai poate fi verificată cu certitudine din cauza latenței, un sistem „fail-closed” nu devine „mai flexibil” pentru a salva aparența de funcționare continuă.

Face exact opusul.

Își restrânge autoritatea până la oprire completă.

Mai bine un proces blocat care cere intervenție umană decât un proces care continuă să execute în orb pe baza unei erori.

Pentru o cultură tehnologică obsedată de viteză și automatizare cu orice preț, acest comportament pare o rigiditate excesivă. În realitate, este una dintre puținele modalități mature de a preveni degradarea sistemelor în care ne desfășurăm activitatea.

Un astfel de design nu pretinde că deține adevărul absolut asupra lumii. Face ceva mult mai modest și mai realist:

recunoaște că există momente în care sistemul nu mai poate demonstra că următorul pas este sigur.

Iar în acel punct, refuză să continue.

Problema reală a AI-ului nu este inteligența, ci execuția sub incertitudine

AI-ul nu devine periculos pentru că dezvoltă o formă ipotetică de conștiință malefică. Devine periculos atunci când i se permite să continue să execute acțiuni sub incertitudine informațională, în interiorul unor sisteme unde efectele nu mai pot fi retrase complet.

Aici apare poate cea mai importantă idee:

incertitudinea nu ar trebui să extindă libertatea unui sistem autonom. Ar trebui să îi reducă autoritatea.

Atunci când calculatorul nu mai este sigur pe informațiile sale, el nu ar trebui să devină „mai flexibil”. Ar trebui să devină mai prudent.

Poate că adevărata maturitate a tehnologiei nu va fi demonstrată prin cât de fluent sau empatic vorbesc mașinile, ci prin capacitatea lor structurală de a refuza să facă următorul pas atunci când siguranța lui nu mai poate fi demonstrată.

Giorgio Roth / 2026