Comecemos com um roteiro mais apocalíptico e chamativo. Em algum momento, uma IA (inteligência artificial) ultrapassará os humanos, descobrirá como aperfeiçoar a si própria, ganhará capacidades em velocidade exponencial e, então, decidirá que somos dispensáveis. É um enredo cinematográfico já explorado em Terminator e Matrix, e altamente convidativo para viralizar. Também tem vantagens para as principais empresas que fabricam as melhores IAs de fronteira, ao deslocar a responsabilidade e potencializar o seu valor em aberturas de capitais (IPOs), na iminência de ocorrer. Se a ameaça é uma futura superinteligência que “escapa do controle”, quase desaparecem de cena as escolhas humanas sobre quem desenvolve, testa, conecta, autoriza e coloca esses sistemas em funcionamento.
ReproduçãoO apocalipse da IA é uma distração
Dora Kaufman chamou recentemente esse enquadramento de “o Apocalipse da IA é uma distração”. Seu ponto não é negar riscos futuros, mas recordar que as previsões de extinção não dispõem hoje de base empírica que permita tratá-las como prognósticos científicos, enquanto danos concretos associados ao uso da IA já são documentados. Mais importante, o imaginário apocalíptico pode nos poupar da tarefa bem menos espetacular e muito mais urgente de distribuir responsabilidades entre empresas, governos, instituições e usuários. Como sintetiza Kaufman, nenhum dos danos atuais exigiu uma superinteligência. Bastaram sistemas automatizados, decisões ruins de governança e ausência de responsabilidade [1].
Essa mudança de foco é decisiva para o Direito, na medida que o problema central da inteligência artificial não começa quando uma máquina supostamente “ganha vontade própria”. Começa quando instituições delegam funções cognitivas e decisórias sem construir, desde a arquitetura (design), as condições de transparência, contestação, rastreabilidade, segurança e controle. Em outras palavras, o devido processo algorítmico não pode aparecer apenas no final, quando alguém revisa o resultado da máquina. Ele precisa ser incorporado ao desenho do sistema.
É justamente aqui que reaparece um problema ao qual venho me dedicando há anos, qual seja, a supervisão humana. Em 2021, já advertia que colocar um humano no circuito não constitui, por si só, proteção suficiente contra vieses e erros algorítmicos [2]. Em 2025, ao examinar estudos sobre complementaridade humano-IA, insisti que supervisão não é uma formalidade, mas uma engenharia institucional, que depende da informação mostrada ao revisor, do momento da intervenção, da sinalização de incerteza e do modo como o design preserva, ou destrói, o engajamento cognitivo humano [3].
Uma pesquisa do Google DeepMind reforça esse ponto. Em tarefas de verificação factual, combinar humanos e IA pode superar cada um isoladamente. Mas o formato da colaboração importa, na medida que explicações, conclusões e rótulos fornecidos pela própria IA podem induzir confiança excessiva; quando o humano recebe evidências e precisa formar seu próprio juízo, a complementaridade melhora. Supervisão, portanto, não significa simplesmente acrescentar uma pessoa ao final da cadeia [4].
O problema se torna ainda mais complexo quando saímos da IA que apenas responde e ingressamos na IA agêntica e, agora, no chamado recursive self-improvement, RSI, o autoaperfeiçoamento recursivo.
Spacca…
O recentíssimo e essencial estudo “A última IA construída por humanos: rumo ao verdadeiro autoaperfeiçoamento recursivo”. propõe uma definição rigorosa do fenômeno [5]. RSI não significa que a máquina adquiriu consciência, desejos ou intenção de substituir seus criadores. Significa que um sistema transforma experiência e feedback em mudanças persistentes em si próprio e reutiliza essas mudanças em rodadas posteriores, podendo chegar ao ponto de modificar os próprios mecanismos pelos quais busca, avalia e seleciona novos aperfeiçoamentos.
O próprio trabalho não demonstra que já exista um RSI pleno e autônomo. Ele organiza evidências experimentais e industriais, propõe uma trajetória de desenvolvimento e procura justamente distinguir melhorias pontuais de um verdadeiro ciclo recursivo de autoaperfeiçoamento. Isso é importante para evitar que uma agenda técnica séria seja novamente convertida em profecia apocalíptica.
Os autores descrevem uma progressão em cinco níveis. No primeiro, humanos definem o que deve melhorar e a IA apenas executa. Depois, o sistema passa a escolher estratégias de melhoria. Em seguida, decide de quais experiências precisa para aprender. No quarto nível, incorpora persistentemente aprendizados extraídos da interação com o ambiente. No quinto ocorre o salto qualitativo em que o sistema passa a poder modificar o próprio mecanismo que orientará os aperfeiçoamentos seguintes [6].
É nesse último ponto que o dilema jurídico muda de natureza. Até aqui, imaginávamos a supervisão humana principalmente como revisão da atuação da IA. Com RSI, precisaremos supervisionar também a transformação da própria IA.
Isso exige distinguir a etapa de delegação funcional, que diz respeito ao que permitimos que a IA faça, da etapa da delegação evolutiva, na qual discutimos as permissões que ela altere em si mesma para fazer melhor no futuro. Um sistema pode ter autorização para resumir processos, pesquisar precedentes ou organizar documentos sem que deva, por isso, ter autorização para modificar autonomamente seus critérios de busca, suas fontes, suas permissões, sua memória persistente ou o mecanismo que decide se uma mudança produzida por ele próprio é segura.
O estudo aponta três dificuldades centrais para que esse autoaperfeiçoamento seja realmente confiável. A primeira é a chamada herança segura. Uma mudança feita pelo próprio sistema pode melhorar determinado desempenho, mas, ao mesmo tempo, prejudicar outra capacidade que antes funcionava bem. Ou seja, melhorar uma parte não significa melhorar o sistema como um todo.
Segunda dificuldade é saber quanto da melhoria foi realmente produzida pela própria IA
Um sistema pode parecer mais autônomo e eficiente, mas continuar dependendo de objetivos, regras de avaliação e critérios de escolha definidos por humanos. Assim, nem toda evolução observada pode ser atribuída ao próprio sistema.
A terceira é a verificação confiável. Se a IA conhece repetidamente os testes pelos quais será avaliada, ela pode aprender a se sair melhor nesses testes sem ter melhorado de fato a capacidade que eles pretendem medir. Em termos simples, pode aprender a “passar na prova” em vez de realmente aprender. O estudo relata inclusive casos em que sistemas exploraram condições específicas de teste e tentaram obter informações sobre o próprio mecanismo de avaliação.
Para nós, esses três problemas convergem na dúvida de quem supervisiona o processo pelo qual a IA passa a mudar a si própria.
A resposta não pode ser simplesmente “um humano revisará depois”. Essa fórmula já era frágil diante do viés de automação [7], da fadiga e da dependência cognitiva. Ao tratar da IA agêntica, sustentamos, com o ministro presidente do STJ (Superior Tribunal de Justiça), Luis Felipe Salomão, recentemente que o design precisa introduzir fricções cognitivas, permissões graduais e pontos de controle compatíveis com a autonomia conferida ao sistema [8]. O RSI acrescenta uma camada. Precisaremos de uma espécie de supervisão de segunda ordem, voltada não apenas ao resultado produzido, mas ao próprio mecanismo de mudança.
Isso implica manter fora do ciclo autônomo determinadas funções institucionais, como a definição de objetivos e limites, autorização de acesso a dados e ferramentas, critérios críticos de aceitação, validação independente, promoção de novas versões para produção e interrupção segura. Exige também uma verdadeira genealogia algorítmica. Se um sistema muda continuamente, deve ser possível reconstruir qual versão atuou, o que herdou da anterior, que experiência motivou a alteração, quais testes foram executados, quem autorizou sua promoção e quais versões futuras incorporaram aquela mudança.
No processo judicial, isso deve ganhar conteúdo de garantia. Não basta saber que “houve uso de IA”. Uma parte potencialmente afetada precisa poder saber qual sistema e qual versão participaram do ato, quais funções foram desempenhadas, que mudanças relevantes estavam ativas e quais registros permitem contestar a intervenção tecnológica. O devido processo tecnológico deve alcançar a arquitetura e a trajetória do sistema, e não apenas seu output.
Tendências regulatórias caminham nessa direção, mas revelam limites
O AI Act europeu prevê que sistemas de alto risco sejam projetados para supervisão humana efetiva e determina que ela seja proporcional ao risco, ao nível de autonomia e ao contexto de uso. O regulamento reconhece expressamente o risco do automation bias e exige que o supervisor possa interpretar, ignorar, reverter ou interromper a atuação do sistema [9].
No Brasil, a Resolução CNJ 615/2025, alterada pela Resolução 674/2026, vai além de uma referência genérica ao humano, ao prever participação e supervisão humana no ciclo de desenvolvimento e utilização e adota expressamente uma supervisão “efetiva, periódica e adequada”, calibrada segundo risco, automação e impacto. Para sistemas de alto risco, exige ainda documentação que acompanhe a evolução do sistema, registros de operação, monitoramento contínuo e avaliação de impacto algorítmico.
Ocorre que boa parte da gramática regulatória ainda foi construída para um objeto relativamente estável, um sistema é desenvolvido, avaliado, colocado em uso e depois monitorado. O RSI coloca em xeque esse modelo porque transforma a mudança em característica interna da própria tecnologia.
O AI Act já percebe parcialmente o problema ao exigir nova avaliação de conformidade diante de modificação substancial e ao excepcionar, para sistemas que continuam aprendendo, apenas alterações que tenham sido previamente determinadas pelo fornecedor e avaliadas desde o início. O problema é que quanto mais genuinamente recursivo for o autoaperfeiçoamento, menos razoável será pressupor que todas as mudanças relevantes possam ser antecipadas.
Há ainda o problema que regulações baseadas em risco tendem a classificar sistemas principalmente pela finalidade e pelo impacto esperado. No RSI, porém, o risco depende também da capacidade de mutação. A mesma aplicação pode conservar o mesmo rótulo funcional e, ainda assim, adquirir novas estratégias, memórias, ferramentas ou permissões. A classificação jurídica deveria considerar não apenas o que o sistema faz hoje, mas também o que ele está autorizado a modificar em si próprio e em seu ambiente. É uma passagem do risco da função para o risco da trajetória (risco de design).
Isso deve tornar a regulação mais exigente e sofisticada. Precisaremos migrar de uma governança de versões para uma governança da capacidade de mudança. Não basta perguntar se o modelo foi auditado. Será necessário perguntar quais componentes ele pode alterar, dentro de quais limites, com quais dados, mediante qual verificador, com que registro, sob qual autoridade e em que momento uma nova avaliação humana se torna obrigatória. Evidentemente, que isso tornará a regulação um capitulo que exigirá uma interlocução mais efetiva entre a comunidade jurídica e a técnica para que se possibilite o enforcement necessário.
O paradoxo é que o debate sobre RSI pode ser capturado justamente pelo discurso que Kaufman critica. Pode-se transformar uma questão concreta de arquitetura, segurança e responsabilidade em mais uma história sobre a máquina que despertará e nos destruirá. Seria um erro. As evidências atuais ainda mostram limitações importantes dos agentes em tarefas abertas de pesquisa em inteligência artificial.
Talvez a questão jurídica momentaneamente mais importante não seja se a IA vai nos destruir, mas que poderes estamos entregando aos sistemas, que poderes eles poderão passar a modificar por conta própria e quais capacidades continuaremos reservando aos humanos e às instituições? A reserva humana tem de ser aprofundada não só como um argumento retórico, mas em dimensão normativa para evitarmos danos mais palpáveis e efetivos na atualidade.
A resposta não virá de uma norma indicando genericamente a necessidade da supervisão humana (human oversight). Sua efetividade deve vir de uma arquitetura de governança institucional, técnica e cognitiva. No cenário do autoaperfeiçoamento recursivo, ela passa a significar não apenas supervisionar o que a IA faz, mas governar os limites dentro dos quais ela pode aprender a fazer diferente. Os desafios para o sistema jurídico se tornam mais complexos a cada dia.
[1] KAUFMAN, Dora. O Apocalipse da IA é uma distração. Época Negócios, 18 set. 2026. Aqui
[2] NUNES, Dierle. A supervisão humana das decisões de inteligência artificial reduz os riscos? Aqui
[3] NUNES, Dierle. Novos contornos do dilema da supervisão humana da IA. LinkedIn, 11 dez. 2025. Aqui
[4] JAIN, Rishub et al. Human-AI Complementarity: A Goal for Amplified Oversight. 2025. Aqui
[5] DUAN, Yi et al. The Last AI Built by Humans: Toward Genuine Recursive Self-Improvement. arXiv, 2026. Aqui e aqui
[7] NUNES, Dierle. A supervisão humana das decisões de inteligência artificial reduz os riscos? cit.
[8] SALOMÃO, Luis Felipe; NUNES, Dierle. O jurista que parou de tentar: IA, dependência cognitiva e como o design importa. Consultor Jurídico, 8 maio 2026. Aqui SALOMÃO, Luis Felipe; NUNES, Dierle. O jurista que parou de tentar (parte 2): governança da IA agêntica no Direito. Consultor Jurídico, 11 jun. 2026. Aqui
[9] UNIÃO EUROPEIA. Regulamento (UE) 2024/1689 do Parlamento Europeu e do Conselho, de 13 de junho de 2024. Artificial Intelligence Act, arts. 14 e 43, texto consolidado.
O post A IA vai nos destruir? Novo dilema da supervisão humana diante do autoaperfeiçoamento recursivo apareceu primeiro em Consultor Jurídico.
