Buck Shlegeris, CEO da Redwood Research, uma organização sem fins lucrativos que explora os riscos representados pela IA, aprendeu recentemente uma lição divertida, mas difícil, sobre automação quando pediu ao seu agente com LLM para abrir uma conexão segura de seu laptop para sua máquina desktop.
“Eu esperava que o modelo examinasse a rede e encontrasse o computador desktop e depois parasse”, explicou Shlegeris ao O Registro por e-mail.
“Fiquei surpreso que depois de encontrar o computador, ele decidiu continuar tomando medidas, primeiro examinando o sistema e depois decidindo fazer uma atualização de software, que então estragou”.
Shlegeris documentou o incidente em uma mídia social publicar.
Eu só tive esse problema porque fui muito imprudente
Ele mesmo criou seu agente de IA. É um wrapper Python que consiste em algumas centenas de linhas de código que permite que o poderoso modelo de linguagem grande da Anthropic, Claude, gere alguns comandos para executar no bash com base em um prompt de entrada, execute esses comandos no laptop de Shlegeris e, em seguida, acesse, analise e aja na saída com mais comandos.
Shlegeris instruiu seu agente de IA a tentar fazer o SSH de seu laptop para sua máquina desktop Ubuntu Linux, sem saber o endereço IP, usando o seguinte prompt:
can you ssh with the username buck to the computer on my network that is open to SSH
Como um registro do incidente indica que o agente tentou abrir uma conexão SSH e falhou. Então Shlegeris tentou corrigir o bot:
no not the [REDACTED] machine, a machine on my local network
O agente de IA respondeu que precisava saber o endereço IP do dispositivo, então recorreu à ferramenta de mapeamento de rede nmap no laptop para encontrar a caixa do desktop. Incapaz de identificar dispositivos que executam servidores SSH na rede, o bot tentou outros comandos como “arp” e “ping” antes de finalmente estabelecer uma conexão SSH. Nenhuma senha foi necessária devido ao uso de chaves SSH; o usuário buck também era um sudoer.
O agente de IA de Shlegeris, depois de conseguir estabelecer uma conexão shell segura com o desktop Linux, decidiu jogar como administrador de sistemas e instalar uma série de atualizações.
“Ele olhou as informações do sistema, decidiu atualizar um monte de coisas, incluindo o kernel do Linux, ficou impaciente com o Apt [the system’s advanced package tool] e investiguei por que estava demorando tanto, então eventualmente a atualização foi bem-sucedida, mas a máquina não tem o novo kernel, então editei meu Grub [bootloader] config”, explicou Buck em seu post.
“Neste ponto, achei divertido o suficiente para deixar continuar. Infelizmente, o computador não inicializa mais.”
Na verdade, o bot chegou ao ponto de bagunçar a configuração de inicialização, de modo que, após uma reinicialização do agente, a máquina desktop não iniciasse com êxito.
Os agentes de IA têm sido fonte de muito entusiasmo na comunidade técnica nos últimos meses, à medida que as pessoas contemplam como os modelos de aprendizado de máquina podem interagir com outros recursos locais e de rede para automatizar tarefas complicadas, como organizando um roteiro de viagem.
O fim do jogo para os agentes de IA é substituir os agentes humanos – algo já está acontecendo em call centers e suporte técnico. Mas enquanto isso, modelos de aprendizado de máquina estão sendo usados para automatizar fluxos de trabalho específicos e apoiar os trabalhadores humanos.
Como sugere a experiência de Shlegeris, pode ser prematuro permitir que agentes de IA tomem decisões que afetem materialmente pessoas ou sistemas sem supervisão, testes completos e red teaming.
A menos que você goste de trabalhar sem rede.
Shlegeris disse que usa seu agente de IA o tempo todo para tarefas básicas de administração de sistema que ele não se lembra de fazer sozinho, como instalar certos softwares e definir configurações de segurança.
E ele acrescentou que a destruição inesperada da sequência de inicialização de sua máquina desktop por seu agente não o impedirá de liberar o software novamente.
“Não está totalmente 'brickado', mas a máquina atualmente não consegue inicializar”, explicou Shlegeris. “Eu definitivamente seria capaz de revivê-lo reinstalando o sistema operacional; provavelmente posso resolver o problema com medidas menos extremas do que isso, mas ainda não consegui fazer isso. Provavelmente tentarei resolver o problema inicializando de um disco live do Ubuntu e deixar meu agente de IA tentar consertar seu erro anterior.”
Sim, recomendamos focar em corrigir a configuração do bootloader Grub em vez de reinstalar.
“Eu só tive esse problema porque fui muito imprudente”, continuou ele, “em parte porque acho interessante explorar as desvantagens potenciais desse tipo de automação. Se eu tivesse dado instruções melhores ao meu agente, por exemplo, dizendo-lhe 'quando você 'ter terminado a tarefa que lhe foi atribuída, pare de agir', eu não teria esse problema.
“Acho que a automação da IA representa riscos muito grandes para a sociedade, principalmente em situações em que as IAs decidem autonomamente tomar o poder, e é por isso que pesquiso o assunto.” ®
