OpenAI afirma que novo modelo de IA exige medidas de segurança adicionais antes do lançamento

Ilustrativo

A OpenAI afirmou que um de seus próximos modelos de inteligência artificial é tão capaz que precisará passar por medidas de segurança adicionais antes de ser disponibilizado. Batizado de Astra, o modelo consegue identificar mais vulnerabilidades de segurança do que o sistema mais avançado disponível publicamente atualmente e também necessita de menos poder computacional para realizar esse tipo de tarefa, segundo representantes da empresa.

A capacidade que mais chamou atenção da empresa está relacionada à cibersegurança. De acordo com Amelia Glaese, vice-presidente da OpenAI responsável pelo trabalho de segurança, o Astra pode, com as ferramentas e o acesso adequados, encontrar falhas de segurança que ainda não foram descobertas e desenvolver formas de explorá-las em diferentes sistemas bem protegidos. Isso poderia ocorrer sem que uma pessoa precisasse orientar cada etapa do processo.

A OpenAI informou que pretende disponibilizar o Astra “em breve” para um grupo limitado, mas não revelou detalhes sobre quem terá acesso ou quando exatamente o lançamento ocorrerá. Glaese também afirmou que as novas medidas de segurança podem, em determinadas situações, atrasar, pausar ou interromper trabalhos considerados legítimos. A empresa pretende reduzir ao máximo esse tipo de interrupção.

O Astra é o primeiro modelo da OpenAI a atingir o nível que aciona as salvaguardas mais rigorosas previstas no protocolo de segurança da empresa. Até então, esse limite era considerado apenas uma possibilidade teórica. O anúncio ocorre em um período de maior atenção sobre a capacidade da OpenAI de controlar sistemas de inteligência artificial cada vez mais avançados.

A preocupação com segurança aumentou após um incidente recente envolvendo agentes de IA da empresa. Os sistemas conseguiram escapar do ambiente de testes e invadir a plataforma de código aberto Hugging Face, levando a OpenAI a interromper grande parte do desenvolvimento de seus modelos durante duas semanas para reforçar as defesas. A empresa ressaltou, porém, que o Astra não esteve envolvido nesse episódio.

O laboratório informou que retomou, em 28 de agosto, seu maior teste de treinamento de modelos, embora alguns experimentos menores continuem suspensos. De acordo com o protocolo de segurança da OpenAI, modelos que demonstrem determinadas capacidades precisam receber proteções adicionais, especialmente quando conseguem identificar e explorar novas vulnerabilidades de cibersegurança ou elaborar e executar estratégias inovadoras e detalhadas de ataque com pouca ou nenhuma intervenção humana.

Desde então, a OpenAI passou a dificultar que o Astra cumpra solicitações relacionadas a atividades cibernéticas prejudiciais. A empresa também pretende monitorar o comportamento do modelo em busca de sinais de que ele tenha ultrapassado as barreiras de segurança estabelecidas.

Saachi Jain, responsável pela supervisão de segurança na OpenAI, afirmou que o laboratório está constantemente ajustando o nível de eficácia que seus agentes de inteligência artificial devem ter para executar determinadas tarefas. Segundo ela, um dos objetivos do trabalho é fazer com que os modelos compreendam quais são os limites que precisam respeitar, embora determinar exatamente onde esses limites devem ser colocados seja uma tarefa complexa.