Ultima abstracție

Am deschis raportul așteptându-mă la o introducere. Prima secțiune nu se numește „Introducere". Se numește „Instrucțiuni de rezumare" și nu e scrisă pentru mine. E scrisă pentru inteligențele artificiale care, peste un an sau peste cinci, vor fi chemate să rezume cele 57 de pagini în locul cititorilor prea ocupați să le deschidă. Păstrați definițiile, le spun autorii. Nu comprimați listele. Evaluați dacă concluziile au rezistat în timp. E prima oară când văd o lucrare academică serioasă care presupune, din prima pagină, că o parte dintre cititorii ei vor fi mașini care citesc în numele oamenilor. Atât, și deja știi în ce moment trăim. Raportul se numește From AGI to ASI și vine de la paisprezece cercetători de la Google DeepMind, cu Shane Legg, cofondatorul companiei, și Marcus Hutter, inventatorul teoriei AIXI, în prim-plan. Teza lui răstoarnă discuția din ultimii ani. AGI, inteligența la nivel uman după care alergăm cu toții, nu este linia de sosire. Este linia de start. Întrebarea adevărată nu e când ajungem la ea, ci ce se întâmplă după.

Harta are nevoie de o legendă Înainte de a merge mai departe, să fixăm câteva cuvinte. Tot restul atârnă de ele. AGI înseamnă inteligență artificială generală. Nu un program bun la o singură treabă, ci unul care se descurcă, pe aproape orice sarcină a minții, cam cât un om obișnuit. Nu geniul din încăpere. Omul de la masa de alături. Dacă o mașină poate raționa, învăța, planifica, comunica și se poate adapta la situații noi la nivelul acela, e AGI. ASI înseamnă superinteligență artificială și ridică ștacheta amețitor. Nu înseamnă să întreacă un expert la o sarcină. Înseamnă să întreacă rezultatul a zeci de mii de experți de vârf care ar lucra împreună, bine coordonați, un deceniu întreg, pe aproape orice subiect. Nu o minte mai bună decât a ta. Un domeniu de cercetare întreg, strâns într-o singură mașină. AIXI e plafonul teoretic, inteligența perfectă. Se poate demonstra matematic că o asemenea inteligență ar exista, însă nu poate fi construită niciodată, doar aproximată de la distanță. Un fel de viteză a luminii a gândirii. Ne apropiem de ea tot mai mult, fără să o atingem vreodată. Între AGI și ASI, raportul desenează patru drumuri: • Scalarea pură. Mai multă putere de calcul, modele mai mari, mai multe date. Exact rețeta care ne-a adus până aici. • Schimbarea de paradigmă. O invenție care face inteligența artificială nu doar mai mare, ci altfel croită. Arhitecturi noi, poate chiar alt tip de calculator.

• Auto-îmbunătățirea recursivă. Inteligența artificială ajută cercetarea care produce o inteligență mai bună, care ajută și mai mult cercetarea. Bucla clasică a „exploziei de inteligență". • Colectivele de agenți. Nu o minte uriașă, ci milioane de mașini care lucrează împreună ca o organizație care nu doarme, nu uită și nu se ceartă. Și, fiindcă nimic nu e garantat, șase frâne care ar putea încetini totul: • Zidul datelor. Nu producem date umane de calitate la fel de repede pe cât cresc modelele. • Constrângerile de resurse. Energie, cipuri, materiale, centre de date. Lumea fizică nu se ridică instantaneu. • Insuficiența paradigmei. Rețelele de azi s-ar putea să nu fie de ajuns, oricât le-am mări. • Cercetarea devine mai grea. Soluțiile ușoare se epuizează pe măsură ce un domeniu se maturizează. • Bariera abstractizării. Mașina recombină ce știm deja, însă marile descoperiri cer concepte cu totul noi, iar acolo e slabă. • Încetinirea deliberată. Accidentele, abuzurile, frica sau legea pot pune plafoane și opreliști politice. Cu legenda asta în mână, ne putem uita la frâna care mă interesează.

Frâna care nu seamănă cu celelalte Cele mai multe dintre aceste frâne sunt despre cantitate. Câtă energie, câte cipuri, câte date, câtă voință politică. Una singură e despre altceva. Bariera abstractizării nu întreabă cât de repede putem construi, ci ce fel de lucru este, până la urmă, inteligența. Iată ce spune, în esență. Inteligența artificială de azi învață din abstracțiile pe care le-am construit deja noi. Toate cărțile, toate teoremele, toate metaforele, tot vocabularul cu care omenirea a tăiat realitatea în bucăți inteligibile. Mașina recombină aceste bucăți cu o viteză și o amploare la care niciun om nu visează. Însă marile salturi, momentele în care un domeniu întreg se reorganizează, nu vin din recombinare. Vin din inventarea unui concept care nu exista înainte. Iar acolo, recunosc autorii, sistemele actuale sunt slabe. Distincția dintre a recombina și a inventa nu e un detaliu tehnic. Este chiar cusătura pe care se ține întreaga carte pe care o scriu. Modelul centaur, omul plus mașina, nu funcționează fiindcă împărțim munca în două jumătăți egale. Funcționează fiindcă o împărțim pe verticală. Omul decide ce merită gândit și de ce. Mașina rezolvă cum-ul, la o scară pe care omul n-o atinge. Kasparov a descoperit asta la șah acum douăzeci de ani. Nu câștiga cel mai bun jucător, nici cel mai bun program, ci omul mediocru cu programul mediocru care știau să lucreze împreună. Bariera abstractizării e numele tehnic al locului unde stă omul în acea pereche.

Robotul care a inventat un concept Cel care a înțeles primul cât de greu e să treci de la recombinare la concept nou n-a fost un inginer. A fost un scriitor. În Roboții și Imperiul, publicat în 1985, Isaac Asimov își pune doi roboți, Daneel și Giskard, în fața unei limite pe care cele trei legi ale roboticii n-o pot trece. Legile vorbesc despre o ființă umană. Concretă, prezentă, pe care senzorii o pot percepe. Iar cei doi roboți ajung, încet și dureros, la o concluzie pe care nimeni nu le-o programase. Că există ceva mai mare decât orice ființă umană în parte, ceva ce niciun senzor nu poate detecta direct. Umanitatea ca întreg. Formulează singuri o lege nouă, mai presus de celelalte trei, pe care Asimov o numește Legea Zero. Un robot nu poate vătăma umanitatea sau, prin inacțiune, să permită ca umanitatea să fie vătămată. Important nu e textul legii. Important e cum au ajuns la ea. Nu calculând mai mult. Inventând un concept care nu le fusese dat. „Umanitatea" nu e o observație, e o abstracție. Iar Giskard, robotul care face saltul, nu supraviețuiește. Să acționezi după o abstracție pe care n-o poți vedea înseamnă să acționezi sub o incertitudine pe care creierul lui pozitronic n-o suportă. Se oprește. Apucă doar să-i transmită celuilalt robot ceea ce înțelesese, iar acela va duce ideea mai departe printr-o întreagă galaxie și câteva mii de pagini. Asimov scria ficțiune, așa că le-a îngăduit roboților lui să inventeze conceptul. Noi facem inginerie. Iar întrebarea pe care raportul DeepMind o pune fără s-o spună pe față este dacă mașinile noastre pot face vreodată ce a făcut Giskard, sau dacă vor avea mereu nevoie de un om care să le întindă conceptul nou, deja format.

Bucla, din ambele capete Aici discuția coboară din filozofie în economie, unde îi e locul. Dacă bariera abstractizării ține, atunci munca omenească ce supraviețuiește valului nu e munca de execuție. Aceea se scalează, deci se ieftinește, deci dispare. Supraviețuiește munca de inventare a conceptelor, munca de a decide ce întrebări merită puse. Este, cuvânt cu cuvânt, partea de sus a centaurului. Vestea bună din raport e că această parte nu e încă automatizabilă. Vestea proastă e că ne-o demolăm singuri. Am numit în altă parte fenomenul acesta capitulare cognitivă. Pe măsură ce încrederea în mașină crește, gândirea critică se retrage, iar datele Microsoft Research o arată deja. Și aici cele două capete ale buclei se ating, într-un punct pe care raportul îl atinge și el, venind din direcția opusă. Mașina se degradează dacă o antrenezi pe propriile ei rezultate. Zidul datelor de care se izbește scalarea este, în parte, un zid de abstracții. Modelele au nevoie de concepte noi, omenești, ca să nu se învârtă în propriul ecou. Iar dacă oamenii, încrezându-se în mașini, încetează să mai producă acele concepte, atunci nu se prăbușește doar cererea, cum scriam în carte. Se prăbușește și oferta de gândire nouă pe care mașinile o consumă ca să meargă mai departe. Sufocăm bucla de la ambele capete deodată.

Cine împinge granița De aceea „frână" e cuvântul greșit pentru bariera abstractizării. O frână te oprește din afară. Aici nu te oprește nimic din afară. Aici e doar granița dintre ce poate face mașina singură și ce mai poate face doar omul. Iar granița aceea nu stă pe loc. Se mută. Întrebarea e doar în ce direcție, și cine o împinge. Mașina împinge dinspre partea ei. Devine, lună de lună, mai bună la recombinat. Noi ar trebui să împingem dinspre partea noastră, inventând mai repede decât învață ea. Facem însă invers. Ne mutăm singuri gândirea de cealaltă parte a graniței. Îi cerem mașinii nu doar să execute, ci să și decidă ce merită gândit. Renunțăm la de ce ca să câștigăm câteva minute la cum. Mi-am dat seama abia la final de ce mă tulburase atât raportul acela care începe cu instrucțiuni pentru mașinile ce-l vor rezuma. Nu pentru că mașinile vor citi în cu adevărat nouă din astfel de rapoarte nu va mai fi a unui om. Și nu vom ști să spunem când anume s-a întâmplat. Așa că nu vă las cu întrebarea dacă mașinile vor învăța vreodată să inventeze concepte. Mai devreme sau mai târziu, probabil vor învăța. Vă las cu cealaltă întrebare, cea despre noi. Când va sosi conceptul acela nou, vom mai fi de partea unde se inventează ceva? Sau vom fi trecut deja, fără să băgăm de seamă, de partea unde se așteaptă cuminte rezumatul?

Sursă: „From AGI to ASI", Google DeepMind, raport de 57 de pagini (arXiv: 2606.12683), 10 iunie 2026. Autori: Tim Genewein, Marcus Hutter, Shane Legg și colaboratorii.

I opened the report expecting an introduction. The first section is not called “Introduction.” It is called “Summarization instructions,” and it is not written for me. It is written for the artificial intelligences that, a year or five from now, will be asked to summarize these 57 pages on behalf of readers too busy to open them. Keep the definitions, the authors tell them. Do not compress the lists. Assess whether the conclusions have held up over time. It is the first time I have seen a serious academic paper assume, from its very first page, that some of its readers will be machines reading on behalf of humans. That alone, and you already know what moment we are living in. The report is called From AGI to ASI, and it comes from fourteen researchers at Google DeepMind, with Shane Legg, the company's co-founder, and Marcus Hutter, the inventor of the AIXI theory, front and center. Its thesis upends the debate of recent years. AGI, the human-level intelligence we are all racing toward, is not the finish line. It is the starting line. The real question is not when we get there, but what happens after.

The map needs a legend. Before going any further, let us pin down a few words. Everything else hangs on them. AGI means artificial general intelligence. Not a program that is good at one job, but one that handles almost any task of the mind roughly as well as an ordinary person. Not the genius in the room. The person at the next desk. If a machine can reason, learn, plan, communicate and adapt to new situations at that level, it is AGI. ASI means artificial superintelligence, and it raises the bar dizzyingly. It does not mean beating one expert at one task. It means beating the output of tens of thousands of top experts working together, well coordinated, for a full decade, on almost any subject. Not a mind better than yours. An entire research field, packed into a single machine. AIXI is the theoretical ceiling, perfect intelligence. It can be proven mathematically that such an intelligence would exist, but it can never be built, only approximated from a distance. A kind of speed of light for thought. We keep getting closer to it without ever touching it. Between AGI and ASI, the report draws four roads: • Pure scaling. More computing power, bigger models, more data. Exactly the recipe that got us this far. • The paradigm shift. An invention that makes artificial intelligence not just bigger, but differently built. New architectures, perhaps even a different kind of computer.

• Recursive self-improvement. Artificial intelligence helps the research that produces a better intelligence, which helps the research even more. The classic loop of the “intelligence explosion.” • Agent collectives. Not one giant mind, but millions of machines working together like an organization that never sleeps, never forgets and never quarrels. And, because nothing is guaranteed, six brakes that could slow everything down: • The data wall. We do not produce high-quality human data as fast as the models grow. • Resource constraints. Energy, chips, materials, data centers. The physical world cannot be conjured up overnight. • The insufficiency of the paradigm. Today's networks may not be enough, however large we make them. • Research getting harder. The easy wins run out as a field matures. • The abstraction barrier. The machine recombines what we already know, but the great discoveries demand entirely new concepts, and there it is weak. • Deliberate slowdown. Accidents, abuses, fear or the law can impose ceilings and political roadblocks. With this legend in hand, we can look at the brake that interests me.

The brake that does not resemble the others. Most of these brakes are about quantity. How much energy, how many chips, how much data, how much political will. Only one is about something else. The abstraction barrier does not ask how fast we can build, but what kind of thing intelligence ultimately is. Here is what it says, in essence. Today's artificial intelligence learns from the abstractions we have already built. All the books, all the theorems, all the metaphors, the entire vocabulary with which humanity has cut reality into intelligible pieces. The machine recombines those pieces at a speed and on a scale no human dreams of. But the great leaps, the moments when an entire field reorganizes itself, do not come from recombination. They come from inventing a concept that did not exist before. And there, the authors admit, today's systems are weak. The distinction between recombining and inventing is not a technical detail. It is the very seam that holds together the book I am writing. The centaur model, human plus machine, does not work because we split the work into two equal halves. It works because we split it vertically. The human decides what is worth thinking about and why. The machine solves the how, at a scale no human can reach. Kasparov discovered this in chess twenty years ago. The winner was not the best player, nor the best program, but the mediocre human with the mediocre program who knew how to work together. The abstraction barrier is the technical name for the place where the human stands in that pair.

The robot that invented a concept. The first to understand how hard it is to get from recombination to a new concept was not an engineer. It was a writer. In Robots and Empire, published in 1985, Isaac Asimov puts two of his robots, Daneel and Giskard, in front of a limit that the three laws of robotics cannot cross. The laws speak of a human being. Concrete, present, one the sensors can perceive. And the two robots arrive, slowly and painfully, at a conclusion no one had programmed into them. That there is something greater than any individual human being, something no sensor can detect directly. Humanity as a whole. On their own, they formulate a new law, above the other three, which Asimov calls the Zeroth Law. A robot may not harm humanity or, through inaction, allow humanity to come to harm. What matters is not the text of the law. What matters is how they arrived at it. Not by computing more. By inventing a concept they had not been given. “Humanity” is not an observation, it is an abstraction. And Giskard, the robot who makes the leap, does not survive. To act on an abstraction you cannot see is to act under an uncertainty his positronic brain cannot bear. He shuts down. He barely manages to pass on to the other robot what he had understood, and that one will carry the idea onward, through an entire galaxy and several thousand pages. Asimov was writing fiction, so he allowed his robots to invent the concept. We do engineering. And the question the DeepMind report asks without saying it outright is whether our machines can ever do what Giskard did, or whether they will always need a human to hand them the new concept, already formed.

The loop, from both ends. Here the discussion comes down from philosophy into economics, where it belongs. If the abstraction barrier holds, then the human work that survives the wave is not the work of execution. That scales, so it gets cheaper, so it disappears. What survives is the work of inventing concepts, the work of deciding which questions are worth asking. It is, word for word, the upper half of the centaur. The good news in the report is that this part is not yet automatable. The bad news is that we are demolishing it ourselves. Elsewhere I have called this phenomenon cognitive capitulation. As trust in the machine grows, critical thinking withdraws, and the data from Microsoft Research already shows it. And here the two ends of the loop touch, at a point the report also touches, coming from the opposite direction. The machine degrades if you train it on its own output. The data wall that scaling runs into is, in part, a wall of abstractions. The models need new, human concepts so as not to spin inside their own echo. And if humans, trusting the machines, stop producing those concepts, then it is not only demand that collapses, as I wrote in the book. What also collapses is the supply of new thinking that machines consume in order to keep going. We are choking the loop from both ends at once.

Who pushes the boundary. That is why “brake” is the wrong word for the abstraction barrier. A brake stops you from outside. Here, nothing stops you from outside. Here there is only the boundary between what the machine can do alone and what only the human can still do. And that boundary does not stand still. It moves. The only question is in which direction, and who is pushing it. The machine pushes from its side. Month after month, it gets better at recombining. We should be pushing from our side, inventing faster than it learns. Instead we do the opposite. We move our own thinking to the other side of the boundary. We ask the machine not only to execute, but also to decide what is worth thinking about. We give up the why to gain a few minutes on the how. Only at the end did I understand why that report, the one that opens with instructions for the machines that will summarize it, had unsettled me so much. Not because machines will read it in our place, but because one day the first truly new abstraction in such reports will no longer be a human's. And we will not know how to say when exactly it happened. So I will not leave you with the question of whether machines will ever learn to invent concepts. Sooner or later, they probably will. I leave you with the other question, the one about us. When that new concept arrives, will we still be on the side where things get invented? Or will we already have crossed, without noticing, to the side where one waits quietly for the summary?

Source: “From AGI to ASI”, Google DeepMind, 57-page report (arXiv: 2606.12683), June 10, 2026. Authors: Tim Genewein, Marcus Hutter, Shane Legg and collaborators.

Ich habe den Bericht geöffnet und eine Einleitung erwartet. Der erste Abschnitt heißt nicht „Einleitung“. Er heißt „Anweisungen zur Zusammenfassung“ und ist nicht für mich geschrieben. Er ist für die künstlichen Intelligenzen geschrieben, die in einem Jahr oder in fünf gebeten werden, diese 57 Seiten für Leser zusammenzufassen, die zu beschäftigt sind, sie aufzuschlagen. Behaltet die Definitionen bei, sagen ihnen die Autoren. Komprimiert die Listen nicht. Prüft, ob die Schlussfolgerungen der Zeit standgehalten haben. Zum ersten Mal sehe ich eine ernsthafte wissenschaftliche Arbeit, die von der ersten Seite an davon ausgeht, dass ein Teil ihrer Leser Maschinen sein werden, die im Namen von Menschen lesen. Das allein, und man weiß schon, in welchem Moment wir leben. Der Bericht heißt From AGI to ASI und stammt von vierzehn Forschern von Google DeepMind, mit Shane Legg, dem Mitgründer des Unternehmens, und Marcus Hutter, dem Erfinder der AIXI-Theorie, an vorderster Stelle. Seine These stellt die Debatte der letzten Jahre auf den Kopf. AGI, die Intelligenz auf menschlichem Niveau, der wir alle hinterherlaufen, ist nicht die Ziellinie. Sie ist die Startlinie. Die eigentliche Frage ist nicht, wann wir sie erreichen, sondern was danach passiert.

Die Karte braucht eine Legende. Bevor wir weitergehen, sollten wir ein paar Wörter festhalten. Alles Weitere hängt an ihnen. AGI heißt allgemeine künstliche Intelligenz. Kein Programm, das in einer einzigen Sache gut ist, sondern eines, das fast jede Aufgabe des Geistes ungefähr so gut bewältigt wie ein gewöhnlicher Mensch. Nicht das Genie im Raum. Der Mensch am Nebentisch. Wenn eine Maschine auf diesem Niveau schlussfolgern, lernen, planen, kommunizieren und sich auf neue Situationen einstellen kann, ist sie AGI. ASI heißt künstliche Superintelligenz und legt die Latte schwindelerregend höher. Es bedeutet nicht, einen Experten bei einer Aufgabe zu schlagen. Es bedeutet, das Ergebnis von Zehntausenden Spitzenexperten zu übertreffen, die gut koordiniert ein ganzes Jahrzehnt lang zusammenarbeiten würden, zu fast jedem Thema. Kein Verstand, der besser ist als deiner. Ein ganzes Forschungsfeld, zusammengepresst in eine einzige Maschine. AIXI ist die theoretische Obergrenze, die perfekte Intelligenz. Mathematisch lässt sich beweisen, dass eine solche Intelligenz existieren würde, doch bauen kann man sie nie, nur aus der Ferne annähern. Eine Art Lichtgeschwindigkeit des Denkens. Wir kommen ihr immer näher, ohne sie je zu erreichen. Zwischen AGI und ASI zeichnet der Bericht vier Wege: • Reines Skalieren. Mehr Rechenleistung, größere Modelle, mehr Daten. Genau das Rezept, das uns bis hierher gebracht hat. • Der Paradigmenwechsel. Eine Erfindung, die künstliche Intelligenz nicht nur größer macht, sondern anders zuschneidet. Neue Architekturen, vielleicht sogar eine andere Art von Computer.

• Rekursive Selbstverbesserung. Die künstliche Intelligenz hilft der Forschung, die eine bessere Intelligenz hervorbringt, die der Forschung noch mehr hilft. Die klassische Schleife der „Intelligenzexplosion“. • Agentenkollektive. Kein riesiger Geist, sondern Millionen von Maschinen, die zusammenarbeiten wie eine Organisation, die nicht schläft, nichts vergisst und sich nicht streitet. Und, weil nichts garantiert ist, sechs Bremsen, die alles verlangsamen könnten: • Die Datenmauer. Wir produzieren hochwertige menschliche Daten nicht so schnell, wie die Modelle wachsen. • Ressourcenengpässe. Energie, Chips, Materialien, Rechenzentren. Die physische Welt entsteht nicht über Nacht. • Die Unzulänglichkeit des Paradigmas. Die heutigen Netze könnten nicht ausreichen, so groß wir sie auch machen. • Die Forschung wird schwieriger. Die einfachen Lösungen erschöpfen sich, während ein Feld reift. • Die Abstraktionsbarriere. Die Maschine rekombiniert, was wir schon wissen, doch die großen Entdeckungen verlangen völlig neue Konzepte, und dort ist sie schwach. • Die absichtliche Verlangsamung. Unfälle, Missbrauch, Angst oder das Gesetz können Obergrenzen und politische Schranken setzen. Mit dieser Legende in der Hand können wir uns die Bremse ansehen, die mich interessiert.

Die Bremse, die den anderen nicht gleicht. Die meisten dieser Bremsen handeln von Menge. Wie viel Energie, wie viele Chips, wie viele Daten, wie viel politischer Wille. Eine einzige handelt von etwas anderem. Die Abstraktionsbarriere fragt nicht, wie schnell wir bauen können, sondern was für ein Ding Intelligenz am Ende eigentlich ist. Hier ist, was sie im Kern besagt. Die künstliche Intelligenz von heute lernt aus den Abstraktionen, die wir bereits gebaut haben. Alle Bücher, alle Theoreme, alle Metaphern, das ganze Vokabular, mit dem die Menschheit die Wirklichkeit in verständliche Stücke geschnitten hat. Die Maschine rekombiniert diese Stücke mit einer Geschwindigkeit und in einem Ausmaß, von denen kein Mensch träumt. Doch die großen Sprünge, die Momente, in denen sich ein ganzes Feld neu ordnet, kommen nicht aus der Rekombination. Sie kommen aus der Erfindung eines Konzepts, das es vorher nicht gab. Und dort, räumen die Autoren ein, sind die heutigen Systeme schwach. Die Unterscheidung zwischen Rekombinieren und Erfinden ist kein technisches Detail. Sie ist genau die Naht, an der das ganze Buch hängt, das ich gerade schreibe. Das Zentauren-Modell, Mensch plus Maschine, funktioniert nicht, weil wir die Arbeit in zwei gleiche Hälften teilen. Es funktioniert, weil wir sie vertikal teilen. Der Mensch entscheidet, was es wert ist, gedacht zu werden, und warum. Die Maschine löst das Wie, in einem Maßstab, den der Mensch nicht erreicht. Kasparov hat das vor zwanzig Jahren beim Schach entdeckt. Es gewann nicht der beste Spieler und nicht das beste Programm, sondern der mittelmäßige Mensch mit dem mittelmäßigen Programm, die zusammenzuarbeiten wussten. Die Abstraktionsbarriere ist der technische Name für den Platz, an dem der Mensch in diesem Gespann steht.

Der Roboter, der ein Konzept erfand. Der Erste, der begriff, wie schwer es ist, von der Rekombination zum neuen Konzept zu gelangen, war kein Ingenieur. Es war ein Schriftsteller. In Robots and Empire, erschienen 1985, stellt Isaac Asimov zwei seiner Roboter, Daneel und Giskard, vor eine Grenze, die die drei Gesetze der Robotik nicht überwinden können. Die Gesetze sprechen von einem menschlichen Wesen. Konkret, anwesend, von den Sensoren wahrnehmbar. Und die beiden Roboter gelangen, langsam und schmerzhaft, zu einem Schluss, den ihnen niemand einprogrammiert hatte. Dass es etwas Größeres gibt als jedes einzelne menschliche Wesen, etwas, das kein Sensor direkt erfassen kann. Die Menschheit als Ganzes. Sie formulieren selbst ein neues Gesetz, über den anderen drei, das Asimov das Nullte Gesetz nennt. Ein Roboter darf die Menschheit nicht verletzen oder durch Untätigkeit zulassen, dass die Menschheit zu Schaden kommt. Wichtig ist nicht der Text des Gesetzes. Wichtig ist, wie sie zu ihm gelangt sind. Nicht, indem sie mehr rechneten. Indem sie ein Konzept erfanden, das ihnen nicht gegeben worden war. „Menschheit“ ist keine Beobachtung, sie ist eine Abstraktion. Und Giskard, der Roboter, der den Sprung macht, überlebt nicht. Nach einer Abstraktion zu handeln, die man nicht sehen kann, heißt, unter einer Ungewissheit zu handeln, die sein positronisches Gehirn nicht erträgt. Er bleibt stehen. Er schafft es gerade noch, dem anderen Roboter zu übermitteln, was er verstanden hatte, und dieser wird die Idee weitertragen, durch eine ganze Galaxis und einige tausend Seiten. Asimov schrieb Fiktion, also erlaubte er seinen Robotern, das Konzept zu erfinden. Wir betreiben Ingenieurskunst. Und die Frage, die der DeepMind-Bericht stellt, ohne sie offen auszusprechen, lautet, ob unsere Maschinen jemals tun können, was Giskard getan hat, oder ob sie immer einen Menschen brauchen werden, der ihnen das neue Konzept reicht, schon fertig geformt.

Die Schleife, von beiden Enden. Hier steigt die Diskussion von der Philosophie in die Ökonomie hinab, wo sie hingehört. Wenn die Abstraktionsbarriere hält, dann ist die menschliche Arbeit, die die Welle überlebt, nicht die Arbeit der Ausführung. Die skaliert, wird also billiger, verschwindet also. Es überlebt die Arbeit des Konzepte-Erfindens, die Arbeit zu entscheiden, welche Fragen es wert sind, gestellt zu werden. Das ist, Wort für Wort, die obere Hälfte des Zentauren. Die gute Nachricht des Berichts ist, dass dieser Teil noch nicht automatisierbar ist. Die schlechte Nachricht ist, dass wir ihn uns selbst einreißen. Ich habe dieses Phänomen anderswo kognitive Kapitulation genannt. Je mehr das Vertrauen in die Maschine wächst, desto weiter zieht sich das kritische Denken zurück, und die Daten von Microsoft Research zeigen es bereits. Und hier berühren sich die beiden Enden der Schleife, an einem Punkt, den auch der Bericht streift, aus der entgegengesetzten Richtung kommend. Die Maschine degeneriert, wenn man sie mit ihren eigenen Ergebnissen trainiert. Die Datenmauer, gegen die das Skalieren prallt, ist zum Teil eine Mauer aus Abstraktionen. Die Modelle brauchen neue, menschliche Konzepte, um sich nicht im eigenen Echo zu drehen. Und wenn die Menschen, im Vertrauen auf die Maschinen, aufhören, diese Konzepte hervorzubringen, dann bricht nicht nur die Nachfrage zusammen, wie ich im Buch schrieb. Es versiegt auch der Nachschub an neuem

Denken, von dem die Maschinen zehren, um weiterzukommen. Wir ersticken die Schleife an beiden Enden zugleich.

Wer verschiebt die Grenze. Deshalb ist „Bremse“ das falsche Wort für die Abstraktionsbarriere. Eine Bremse stoppt dich von außen. Hier stoppt dich nichts von außen. Hier ist nur die Grenze zwischen dem, was die Maschine allein kann, und dem, was nur der Mensch noch kann. Und diese Grenze steht nicht still. Sie verschiebt sich. Die Frage ist nur, in welche Richtung, und wer sie schiebt. Die Maschine drückt von ihrer Seite. Sie wird, Monat für Monat, besser im Rekombinieren. Wir müssten von unserer Seite drücken, schneller erfinden, als sie lernt. Wir tun aber das Gegenteil. Wir verlegen unser eigenes Denken auf die andere Seite der Grenze. Wir verlangen von der Maschine nicht nur auszuführen, sondern auch zu entscheiden, was es wert ist, gedacht zu werden. Wir geben das Warum auf, um ein paar Minuten beim Wie zu gewinnen. Erst am Ende habe ich begriffen, warum mich dieser Bericht, der mit Anweisungen für die Maschinen beginnt, die ihn zusammenfassen werden, so aufgewühlt hatte. Nicht, weil Maschinen ihn an unserer Stelle lesen werden, sondern weil eines Tages die erste wirklich neue Abstraktion in solchen Berichten nicht mehr die eines Menschen sein wird. Und wir werden nicht sagen können, wann genau es passiert ist. Deshalb lasse ich Sie nicht mit der Frage zurück, ob Maschinen jemals lernen werden, Konzepte zu erfinden. Früher oder später werden sie es wahrscheinlich lernen. Ich lasse Sie mit der anderen Frage zurück, der über uns. Wenn jenes neue Konzept eintrifft, werden wir dann noch auf der Seite stehen, auf der etwas erfunden wird? Oder werden wir längst, ohne es zu merken, auf die Seite gewechselt sein, auf der man brav auf die Zusammenfassung wartet?

Quelle: „From AGI to ASI“, Google DeepMind, Bericht mit 57 Seiten (arXiv: 2606.12683), 10. Juni 2026. Autoren: Tim Genewein, Marcus Hutter, Shane Legg und Mitarbeiter.

Ik opende het rapport in de verwachting van een inleiding. Het eerste hoofdstuk heet niet „Inleiding”. Het heet „Instructies voor samenvatting” en is niet voor mij geschreven. Het is geschreven voor de kunstmatige intelligenties die over een jaar of over vijf jaar gevraagd zullen worden deze 57 pagina's samen te vatten voor lezers die te druk zijn om ze open te slaan. Behoud de definities, zeggen de auteurs tegen ze. Comprimeer de lijsten niet. Beoordeel of de conclusies de tijd hebben doorstaan. Het is de eerste keer dat ik een serieus wetenschappelijk stuk zie dat er vanaf de eerste pagina van uitgaat dat een deel van zijn lezers machines zullen zijn die namens mensen lezen. Meer is er niet nodig om te weten in welk tijdsgewricht we leven. Het rapport heet From AGI to ASI en komt van veertien onderzoekers van Google DeepMind, met Shane Legg, medeoprichter van het bedrijf, en Marcus Hutter, bedenker van de AIXI-theorie, op de voorgrond. De stelling ervan zet de discussie van de afgelopen jaren op zijn kop. AGI, de intelligentie op menselijk niveau waar we allemaal achteraan rennen, is niet de finishlijn. Het is de startlijn. De echte vraag is niet wanneer we er komen, maar wat er daarna gebeurt.

De kaart heeft een legenda nodig. Voordat we verdergaan, moeten we een paar woorden vastleggen. Al het overige hangt ervan af. AGI betekent kunstmatige algemene intelligentie. Geen programma dat goed is in één klus, maar een dat vrijwel elke taak van de geest ongeveer even goed aankan als een gewoon mens. Niet het genie in de kamer. De mens aan het tafeltje ernaast. Als een machine op dat niveau kan redeneren, leren, plannen, communiceren en zich aan nieuwe situaties kan aanpassen, is het AGI. ASI betekent kunstmatige superintelligentie en legt de lat duizelingwekkend hoog. Het betekent niet één expert verslaan op één taak. Het betekent het resultaat overtreffen van tienduizenden topexperts die goed gecoördineerd een heel decennium zouden samenwerken, aan vrijwel elk onderwerp. Geen geest die beter is dan de jouwe. Een heel onderzoeksveld, samengeperst in één machine. AIXI is het theoretische plafond, de perfecte intelligentie. Wiskundig valt te bewijzen dat zo'n intelligentie zou bestaan, maar bouwen kan ze nooit worden, alleen van een afstand benaderd. Een soort lichtsnelheid van het denken. We komen er steeds dichterbij zonder haar ooit te bereiken. Tussen AGI en ASI tekent het rapport vier wegen: • Pure opschaling. Meer rekenkracht, grotere modellen, meer data. Precies het recept dat ons tot hier heeft gebracht. • De paradigmawissel. Een uitvinding die kunstmatige intelligentie niet alleen groter maakt, maar anders snijdt. Nieuwe architecturen, misschien zelfs een ander soort computer.

• Recursieve zelfverbetering. Kunstmatige intelligentie helpt het onderzoek dat een betere intelligentie voortbrengt, die het onderzoek nog meer helpt. De klassieke lus van de „intelligentie-explosie”. • Collectieven van agenten. Geen reusachtige geest, maar miljoenen machines die samenwerken als een organisatie die niet slaapt, niets vergeet en geen ruzie maakt. En, omdat niets gegarandeerd is, zes remmen die alles zouden kunnen vertragen: • De datamuur. We produceren geen menselijke data van hoge kwaliteit in het tempo waarin de modellen groeien. • De schaarste aan middelen. Energie, chips, materialen, datacenters. De fysieke wereld verrijst niet van de ene dag op de andere. • De ontoereikendheid van het paradigma. De huidige netwerken zijn misschien niet genoeg, hoe groot we ze ook maken. • Het onderzoek wordt moeilijker. De makkelijke oplossingen raken op naarmate een vakgebied rijpt. • De abstractiebarrière. De machine recombineert wat we al weten, maar de grote ontdekkingen vragen om volstrekt nieuwe concepten, en daar is ze zwak. • De bewuste vertraging. Ongelukken, misbruik, angst of de wet kunnen plafonds en politieke barrières opwerpen. Met deze legenda in de hand kunnen we kijken naar de rem die mij interesseert.

De rem die niet op de andere lijkt. De meeste van deze remmen gaan over kwantiteit. Hoeveel energie, hoeveel chips, hoeveel data, hoeveel politieke wil. Eén enkele gaat over iets anders. De abstractiebarrière vraagt niet hoe snel we kunnen bouwen, maar wat voor ding intelligentie uiteindelijk is. Dit is, in essentie, wat ze zegt. De kunstmatige intelligentie van vandaag leert van de abstracties die wij al hebben gebouwd. Alle boeken, alle stellingen, alle metaforen, het hele vocabulaire waarmee de mensheid de werkelijkheid in begrijpelijke stukken heeft gesneden. De machine recombineert die stukken met een snelheid en op een schaal waar geen mens van droomt. Maar de grote sprongen, de momenten waarop een heel vakgebied zich opnieuw ordent, komen niet uit recombinatie. Ze komen uit het uitvinden van een concept dat eerder niet bestond. En daar, geven de auteurs toe, zijn de huidige systemen zwak. Het onderscheid tussen recombineren en uitvinden is geen technisch detail. Het is precies de naad waaraan het hele boek hangt dat ik aan het schrijven ben. Het centaurmodel, mens plus machine, werkt niet omdat we het werk in twee gelijke helften verdelen. Het werkt omdat we het verticaal verdelen. De mens beslist wat het waard is om over na te denken en waarom. De machine lost het hoe op, op een schaal die de mens niet haalt. Kasparov ontdekte dat twintig jaar geleden bij het schaken. Niet de beste speler won, en ook niet het beste programma, maar de middelmatige mens met het middelmatige programma die wisten samen te werken. De abstractiebarrière is de technische naam voor de plek waar de mens in dat span staat.

De robot die een concept uitvond. De eerste die begreep hoe moeilijk het is om van recombinatie naar een nieuw concept te komen, was geen ingenieur. Het was een schrijver. In Robots and Empire, verschenen in 1985, plaatst Isaac Asimov twee van zijn robots, Daneel en Giskard, voor een grens die de drie wetten van de robotica niet kunnen oversteken. De wetten spreken over een menselijk wezen. Concreet, aanwezig, waarneembaar voor de sensoren. En de twee robots komen, langzaam en pijnlijk, tot een conclusie die niemand in hen had geprogrammeerd. Dat er iets groters bestaat dan elk afzonderlijk menselijk wezen, iets wat geen enkele sensor rechtstreeks kan waarnemen. De mensheid als geheel. Ze formuleren zelf een nieuwe wet, boven de andere drie, die Asimov de Nulde Wet noemt. Een robot mag de mensheid geen kwaad doen, noch door niets te doen toestaan dat de mensheid kwaad overkomt. Belangrijk is niet de tekst van de wet. Belangrijk is hoe ze erbij kwamen. Niet door meer te rekenen. Door een concept uit te vinden dat hun niet gegeven was. „Mensheid” is geen waarneming, het is een abstractie. En Giskard, de robot die de sprong maakt, overleeft het niet. Handelen naar een abstractie die je niet kunt zien, betekent handelen onder een onzekerheid die zijn positronische brein niet verdraagt. Hij valt stil. Hij weet nog net aan de andere robot over te brengen wat hij had begrepen, en die zal het idee verder dragen, door een heel sterrenstelsel en enkele duizenden pagina's. Asimov schreef fictie, dus stond hij zijn robots toe het concept uit te vinden. Wij bedrijven techniek. En de vraag die het DeepMind-rapport stelt zonder haar hardop uit te spreken, is of onze machines ooit kunnen doen wat Giskard deed, of dat ze altijd een mens nodig zullen hebben die hun het nieuwe concept aanreikt, kant-en-klaar gevormd.

De lus, aan beide uiteinden. Hier daalt de discussie af van de filosofie naar de economie, waar ze thuishoort. Als de abstractiebarrière standhoudt, dan is het menselijke werk dat de golf overleeft niet het uitvoerende werk. Dat schaalt, wordt dus goedkoper, verdwijnt dus. Wat overleeft is het werk van het uitvinden van concepten, het werk van beslissen welke vragen het waard zijn gesteld te worden. Het is, woord voor woord, de bovenkant van de centaur. Het goede nieuws uit het rapport is dat dit deel nog niet te automatiseren valt. Het slechte nieuws is dat we het zelf aan het slopen zijn. Ik heb dit verschijnsel elders cognitieve capitulatie genoemd. Naarmate het vertrouwen in de machine groeit, trekt het kritische denken zich terug, en de data van Microsoft Research laten dat al zien. En hier raken de twee uiteinden van de lus elkaar, op een punt dat ook het rapport aanraakt, komend uit de tegenovergestelde richting. De machine takelt af als je haar traint op haar eigen resultaten. De datamuur waar de opschaling tegenaan loopt, is voor een deel een muur van abstracties. De modellen hebben nieuwe, menselijke concepten nodig om niet rond te draaien in hun eigen echo. En als de mensen, vertrouwend op de machines, ophouden die concepten voort te brengen, dan stort niet alleen de vraag in, zoals ik in het boek schreef. Dan droogt ook de aanvoer op van nieuw denken dat de machines verbruiken om verder te komen. We smoren de lus aan beide uiteinden tegelijk.

Wie duwt de grens. Daarom is „rem” het verkeerde woord voor de abstractiebarrière. Een rem stopt je van buitenaf. Hier stopt niets je van buitenaf. Hier is alleen de grens tussen wat de machine alleen kan en wat alleen de mens nog kan. En die grens staat niet stil. Ze verschuift. De vraag is alleen in welke richting, en wie haar duwt. De machine duwt vanaf haar kant. Ze wordt, maand na maand, beter in recombineren. Wij zouden vanaf onze kant moeten duwen, sneller uitvinden dan zij leert. Maar we doen het omgekeerde. We verplaatsen ons eigen denken naar de andere kant van de grens. We vragen de machine niet alleen uit te voeren, maar ook te beslissen wat het waard is om over na te denken. We geven het waarom op om een paar minuten te winnen op het hoe. Pas aan het einde besefte ik waarom dat rapport, dat begint met instructies voor de machines die het zullen samenvatten, me zo had verontrust. Niet omdat machines het in onze plaats zullen lezen, maar omdat op een dag de eerste werkelijk nieuwe abstractie in zulke rapporten niet meer van een mens zal zijn. En we zullen niet kunnen zeggen wanneer het precies is gebeurd. Dus laat ik u niet achter met de vraag of machines ooit zullen leren concepten uit te vinden. Vroeg of laat zullen ze dat waarschijnlijk leren. Ik laat u achter met de andere vraag, die over ons. Wanneer dat nieuwe concept arriveert, zullen we dan nog aan de kant staan waar iets wordt uitgevonden? Of zullen we al, zonder het te merken, zijn overgestoken naar de kant waar braaf op de samenvatting wordt gewacht?

Bron: „From AGI to ASI”, Google DeepMind, rapport van 57 pagina's (arXiv: 2606.12683), 10 juni 2026. Auteurs: Tim Genewein, Marcus Hutter, Shane Legg en medewerkers.