Jacob Coxon, um pesquisador de AI, trocou a OpenAI pela Anthropic no início do ano, acreditando que a empresa de Dario Amodei era mais responsável que a de Sam Altman no desenvolvimento de seus modelos.
Nove meses depois, ele anunciou no X que está deixando a indústria.
Em um texto que foi o assunto do dia no Vale e fora dele, Coxon diz ter chegado à conclusão de que nenhuma das duas empresas está agindo de forma responsável – e que o futuro da humanidade está em jogo.
“As pessoas que estão desenvolvendo a AI acreditam sinceramente que ela pode matar todo mundo até o fim desta década,” disse. “Em breve teremos sistemas sobre-humanos capazes de hackear qualquer coisa, revolucionar qualquer área da noite para o dia e adquirir poder e recursos reais. Todos nós testemunhamos o progresso em cada uma dessas áreas, e esse avanço não está desacelerando.”
Coxon, que atuava na fase de pré-treinamento (ou assimilação de grandes volumes de informação pelos de modelos de AI), diz que os funcionários de alto escalão das empresas tendem a medir suas palavras em público, mas todos expressam o mesmo medo em conversas privadas.
Segundo ele, a Anthropic tem até um canal no Slack para discutir o tema.
Entre as milhares de interações que o desabafo recebeu, chamaram a atenção os comentários de Evan Hubinger, o atual chefe de alinhamento – o processo de garantir que uma AI siga valores e regras humanas – da própria Anthropic.
Hubinger não só concordou com o ex-colega que a AI pode matar todos nós, como estimou essa possibilidade em mais de 10% para a próxima década.
“A Anthropic está se esforçando ao máximo, mas ainda não temos um plano para resolver a questão do alinhamento da superinteligência, nem estamos claramente no caminho certo para isso,” escreveu Hubinger.
Segundo ele, o fator mais preocupante é a superinteligência resultante do autoaperfeiçoamento recursivo – quando uma AI melhora sua inteligência ou código de forma autônoma – um processo que está ocorrendo mais rapidamente do que a empresa previa.
Também há gente preocupada na OpenAI.
“A ideia de avançar a todo custo parece absurda quando se assimila a gravidade do que está em jogo,” Jakub Pachocki, o cientista-chefe da startup, escreveu no blog da empresa no último domingo. “Nenhum laboratório resolveu as questões de alinhamento e monitoramento em grau suficiente para continuar escalando de forma responsável e em velocidade máxima por muito mais tempo.”
Os próprios Amodei e Altman têm falado sobre o tema; e as demonstrações de avanço da tecnologia também falam por si só, seja em ocorrências negativas, como no caso do ataque cibernético à Hugging Face, ou positivas, a exemplo da possível resolução de um dos sete Problemas do Milênio por agentes da OpenAI.
Mas o que os impede, então, de agir?
Para Coxon, a Anthropic está mais preocupada do que a OpenAI com as questões acima, mas a empresa está “presa a uma corrida para ver quem chega lá primeiro”.
“Eles acreditam que os concorrentes não vão agir com responsabilidade, então sentem que eles mesmos precisam desenvolver a tecnologia, apesar dos riscos,” disse.
O pesquisador disse entender hoje que aceitar jogar esse jogo é uma “aposta arrogante” por parte das empresas e que, caso não haja uma intervenção governamental ou uma desaceleração coordenada, medidas mais drásticas podem ser necessárias no futuro, como uma proibição temporária do aprimoramento das capacidades dos modelos.
O problema é que, além da corrida Anthropic versus OpenAI, há também a corrida EUA versus China – e atualmente o risco de ficar para trás em desenvolvimento tecnológico é muito mais palpável do que o risco de extinção humana.
“Não podemos pausar porque os chineses não vão pausar,” Scott Bessent, o secretário do Tesouro, disse ontem. “Se eles nos ultrapassarem em AI, então nada mais importa.”
Até aqui, apenas a esquerda americana parece interessada em regular o setor, com o Senador Bernie Sanders afirmando que em breve apresentará uma legislação “para proibir a superinteligência e pausar o desenvolvimento da AI”.
Steven Adler, o cofundador da organização sem fins lucrativos Guidelight AI Standards e ex-pesquisador de segurança da OpenAI, disse ao Financial Times que estes alertas reforçam os argumentos a favor de uma pausa nas pesquisas.
“Nenhuma empresa de AI está sequer perto de adotar a postura de segurança adequada ao nível de perigo que suas pesquisas envolvem”, disse. “Se alguém acredita que isso pode matar todas as pessoas na Terra, como pensam muitos funcionários dessas empresas, este é um bom momento para descer do trem.”
Do outro lado da mesa, os entusiastas da aceleração da AI argumentam que a regulação aprovada há três anos na Europa, antes vanguardista em AI, matou o desenvolvimento do setor no continente.
Além disso, entendem que por trás de uma ação questionável de uma AI há sempre um prompt, e brincam que a extinção da espécie humana poderia ser evitada com uma simples retirada dos computadores da tomada.
Alguns até questionam a cultura da Anthropic, que estaria se tornando uma espécie de culto tecnológico que incentiva os funcionários a falar contra a empresa em público caso isso seja “a coisa certa a se fazer”; ou opinam que Coxon só quis chamar a atenção para subir ao posto de autoridade no tema ou inferir que “fez parte” dos avanços da AI.
Bill Gurley, um dos VCs mais importantes do Vale do Silício, foi ao X dizer que aqueles que acreditam nessa visão apocalíptica poderiam ser entrevistados com a técnica “os cinco porquês”, em que a mesma pergunta é repetida cinco vezes para encontrar a raiz de um problema.
“O objetivo é aprofundar a análise nos detalhes e nas etapas necessárias para chegar ao desfecho catastrófico previsto,” disse. “Vamos analisar cada uma delas. É um exercício bastante útil. Isso ajudaria a todos nós a pensar com mais clareza e, possivelmente, ajudaria também os alarmistas.”
Questionada por um leitor do Brazil Journal, a versão paga do ChatGPT atribui uma chance de 5% ao avanço da AI causar o fim da raça humana até 2050.
O mais provável, com 50% de chances segundo o chatbot, é que tenhamos um resultado misto, com “enormes benefícios + desemprego, desigualdade, concentração de poder e crises políticas, mas a humanidade segue no comando.”
Ah bom.
