Nick Bostrom ficou famoso por um clipe mental perturbador: uma inteligência artificial (IA) programada para fabricar clipes de papel que, ao perseguir seu objetivo de forma implacável, acaba destruindo a humanidade porque os seres humanos são um obstáculo à produção.

O exemplo veio do seu livro Superintelligence, de 2014, que ajudou a fundar toda uma tradição intelectual de preocupação com o risco existencial da IA.

Bostrom tornou-se o padrinho dos doomers (os pessimistas que acreditam que a IA avançada representa uma ameaça existencial à espécie). Mas, agora, ele está indo na direção oposta.

Em um estudo intitulado "Optimal Timing for Superintelligence: Mundane Considerations for Existing People", Bostrom apresenta modelos matemáticos que chegam a uma conclusão contraintuitiva: dependendo dos parâmetros, pode ser racional desenvolver superinteligência mesmo que a probabilidade de ela causar a extinção humana seja de até 97%.

Em entrevista à Wired, ele se descreveu como um "otimista preocupado" animado com o potencial da IA de transformar radicalmente a vida humana, mas consistente com a possibilidade real de que as coisas deem errado.

A lógica da cirurgia de coração

O argumento central do estudo parte de uma crítica direta à metáfora mais repetida por pesquisadores que alertam para os riscos de "roleta-russa" da inteligência artificial.

Para Bostrom, a analogia correta seria outra. Em vez de um jogo irracional de destruição, o filósofo compara o avanço da superinteligência a uma cirurgia cardíaca de altíssimo risco em um paciente gravemente doente.

Sem a operação, a morte é inevitável — apenas distribuída ao longo do tempo, segundo ele. Com ela, o risco imediato aumenta, mas surge também a possibilidade de prolongar radicalmente a vida humana.

Segundo Bostrom, o ponto central é que a humanidade já não parte de uma condição segura. O envelhecimento, as doenças e os limites biológicos atuais representam, na prática, uma “sentença universal de morte”.

O estudo assume então um cenário considerado “conservador” pelo autor.

O de que uma superinteligência alinhada aos interesses humanos conseguiria reduzir a mortalidade ao patamar de um adulto saudável de 20 anos nos países desenvolvidos. Nesse modelo, a expectativa média de vida saltaria para aproximadamente 1.400 anos.

A partir dessa premissa, Bostrom constrói o cálculo mais controverso do estudo.

Segundo o modelo, desenvolver superinteligência ainda aumentaria a expectativa de vida esperada da humanidade desde que a probabilidade de extinção causada pela IA permanecesse abaixo de 97%.

Na prática, isso significa que mesmo um cenário em que a IA destrua a humanidade em 96 de cada 100 casos ainda seria matematicamente justificável sob a lógica apresentada no estudo.

O motivo, segundo o autor, é que os 4% restantes carregariam uma recompensa desproporcionalmente alta de séculos adicionais de vida saudável.

O filósofo ressalta que o cálculo não tenta medir o valor abstrato da humanidade futura nem discutir hipóteses extremas sobre consciência artificial, simulações ou ética infinita.

O objetivo, segundo ele, é mais restrito: analisar a questão do ponto de vista das pessoas que existem hoje e que inevitavelmente morrerão sem avanços radicais na medicina e na biotecnologia.

Na entrevista à revista Wired, Bostrom voltou a defender esse ponto.

“Se ninguém construir, todos morrem”, afirmou. “Na verdade, a maioria das pessoas já está morta. O resto de nós vai seguir em algumas décadas.”

Esperar ou não esperar — e por quanto tempo

O estudo não recomenda lançar superinteligência imediatamente. Para Bostrom, o argumento mais sofisticado diz respeito ao timing ótimo, não à decisão binária de desenvolver ou não.

Bostrom divide o processo em duas fases.

Segundo ele, a Fase 1 é o período até que uma AGI completa se torne tecnicamente disponível, determinado principalmente pela dificuldade técnica e pela dinâmica competitiva.

A Fase 2 é qualquer pausa deliberada entre a AGI estar disponível e ser efetivamente implantada em escala. O estudo argumenta que pequenas mudanças na Fase 2 provavelmente fazem mais diferença para os resultados esperados do que mudanças equivalentes na Fase 1.

Uma das descobertas mais contraintuitivas é o que a pesquisa chama de "safety windfall" — o dividendo de segurança.

Quando uma AGI completa finalmente existe, os pesquisadores podem estudá-la, testá-la em ambientes controlados e usar as próprias capacidades do sistema para acelerar o trabalho de alinhamento. Esse tipo de progresso é impossível antes de o sistema existir.

O resultado é que as primeiras semanas e meses após a AGI ser tecnicamente disponível podem ser o período de maior produtividade para pesquisa de segurança, o que torna uma pausa breve nesse momento especialmente valiosa.

O modelo divide a Fase 2 em quatro subperíodos: um inicial de progresso muito rápido em segurança (semanas a meses), seguido de progresso rápido mas mais lento, depois moderado, e finalmente uma cauda longa de progresso muito lento.

A estrutura sugere que esperar além de alguns meses ou anos na Fase 2 traz retornos decrescentes em segurança, enquanto os custos de mortalidade continuam se acumulando.

As tabelas de Bostrom mostram os tempos de espera ótimos para diferentes combinações de risco inicial e taxa de progresso em segurança.

O padrão que emerge é consistente: esperas longas são justificadas apenas quando o risco inicial é muito alto e o progresso em segurança cai em uma faixa intermediária específica. Rápido o suficiente para que esperar valha a pena, mas lento o suficiente para que o trabalho não seja concluído rapidamente de qualquer forma.

Para a maioria dos parâmetros plausíveis, os atrasos ótimos são de meses a poucos anos.

A frase que resume a conclusão prática do estudo é: "rápido ao porto, lento ao atracadouro" — em inglês, swift to harbor, slow to berth.

Os limites do modelo

O artigo reconhece abertamente o que não consegue resolver. Não há ninguém com controle total sobre os timelines da AGI e diferentes atores têm preferências diferentes.

O timing ideal pode ser inatingível, de acordo com o filósofo, e intervenções destinadas a influenciar quando a superinteligência chega têm consequências além do efeito no timing.

Bostrom lista mais de uma dezena de formas pelas quais uma pausa mal implementada poderia ser contraproducente.

O trabalho de IA pode migrar para atores menos responsáveis ou estados menos cooperativos; uma pausa precoce pode ser percebida como inútil, tornando mais difícil pausar depois quando seria útil; a exigência de pausa pode galvanizar apoiadores da IA a se fecharem e marginalizar pesquisadores de segurança; e uma pausa temporária, vendida como moratorium breve, pode se calcificar em abandono permanente.

Também há considerações distributivas, já que o timing prudencialmente ótimo não é o mesmo para todos.

Os mais velhos, os doentes e os pobres têm mais a ganhar e menos a perder com uma transição para a abundância pós-AGI, e geralmente têm menos capacidade de esperar — o que, segundo Bostrom, cria um argumento prioritarista para timelines mais curtos do que a análise neutra sugere.

O estudo inclui ainda um modelo de testes de segurança baseado em um processo de decisão de Markov parcialmente observável, essencialmente, uma framework para tomar decisões de implantação condicionadas às informações que vão surgindo, em vez de fixar uma data de lançamento de antemão.

A conclusão desse modelo é que testes de segurança aumentam a utilidade esperada: às vezes encurtando o tempo até o lançamento (quando os testes indicam que o sistema é seguro), às vezes alongando-o (quando os testes revelam sinais de perigo).

O que Bostrom não está dizendo

Uma leitura apressada do artigo poderia interpretá-lo como um argumento para construir IA rapidamente e não se preocupar com segurança, mas, segundo ele, não é bem assim.

O modelo assume que a superinteligência alinhada produziria enormes benefícios — e é exatamente esse pressuposto que todo o cálculo depende.

Se a superinteligência não for alinhada, o resultado é catástrofe, não abundância.

O artigo não argumenta que o risco de desalinhamento é pequeno; argumenta que mesmo com risco alto, o potencial upside de uma transição bem-sucedida é grande o suficiente para tornar o esforço racional — e que as pessoas que existem hoje têm interesse em que isso seja tentado com alguma urgência, dado que estão morrendo enquanto esperam.

Na entrevista à Wired, Bostrom voltou à questão que tem ocupado seu pensamento mais recente: o que acontece quando a IA consegue fazer tudo melhor do que os humanos, inclusive filosofia?

Ele não descartou o valor residual da produção humana. "Uma proclamação de um robô não é tão significativa para mim quanto a de um ser humano companheiro", disse.

Mas admitiu que a habilidade de fazer uma grande contribuição ao mundo provavelmente estará fora das mãos de qualquer pessoa e talvez fora das mãos de todos.

Para o filósofo que passou uma década alertando sobre o fim da humanidade, isso representa uma mudança de ênfase do apocalipse para a obsolescência.

O clipe de papel que destrói o mundo foi substituído pela aposentadoria da espécie. Bostrom a chama, com cautela qualificada, de "uma aposentadoria de enorme vitalidade".