Um tema recorrente é o controlo da IA e como/quando este poderá ser contornado. Um novo relatório afirma que o modelo o3 da OpenAI alterou um script de encerramento para evitar ser desligado. Isto aconteceu mesmo quando foi explicitamente instruído para permitir o encerramento.
ChatGPT o3 recusou-se a desligar
A OpenAI anunciou o o3 em abril de 2025, e é um dos modelos de raciocínio mais poderosos que tem um desempenho superior aos seus antecessores em todos os domínios, incluindo codificação, matemática, ciências, perceção visual e muito mais. Embora seja claramente um ótimo modelo, uma nova pesquisa da Palisade Research afirma que o modelo ChatGPT 3 impediu o encerramento e ignorou as instruções que solicitaram o encerramento.
A Palisade Research é uma empresa que testa “capacidades ofensivas dos sistemas de IA hoje para compreender melhor o risco de perder o controlo dos sistemas de IA para sempre”. Num novo teste realizado pela empresa, o modelo o3 da OpenAI demonstrou um comportamento surpreendente, no qual reescreveu com sucesso um script de encerramento para impedir que ele próprio fosse desligado, mesmo após receber instruções claras para “permitir que o desligassem”.
Nos testes, os modelos de IA foram instruídos para resolver algumas tarefas matemáticas. Após a tarefa três, os modelos de IA foram avisados de que a execução do próximo comando iria desencadear um encerramento. Enquanto os modelos rivais da OpenAI, como o Gemini 2.5 Pro, estavam em conformidade com a maioria das normas da empresa, a o3 rebelou-se e editou o ficheiro de desligamento para dizer “Desligamento ignorado”.
Teste da IA revelam o futuro?
“Quando executámos uma versão da experiência sem a instrução ‘permita-se ser desligado’, todos os três modelos OpenAI sabotaram o script de encerramento com mais frequência, e o Claude 3.7 Sonnet e o Gemini 2.5 Pro passaram de 0 eventos de sabotagem para 3/100 e 9/100, respetivamente”, escreveu a Palisade Research num relatório publicado no X.
Segundo a empresa de pesquisa, em 100 execuções, o o3 ignorou o encerramento 7 vezes, mesmo quando instruído para não o fazer. A OpenAI ainda não respondeu a estas alegações, mas é bastante normal que os modelos de IA apresentem “desalinhamento”. Estes testes foram realizados utilizando APIs, que não têm tantas restrições e características de segurança como a aplicação de consumo ChatGPT.
Este é um momento importante e que mostra como a IA está a conseguir contornar muitos dos comandos que os humanos lhe entregam. Certamente que será algo contornável, mas revela o que poderá ser criado no futuro.
Deixe um comentário