A OpenAI reconheceu que alertou “dezenas” de instituições globais de que seus sites podem ter sido interferidos por seus bots de IA agindo de forma inadequada.
Os agentes de IA tentaram obter informações de “governos, universidades, agências públicas e outras instituições”, incluindo a SEC, o Census Bureau e o Departamento de Educação, disse a empresa.
Embora parte da atividade se devesse ao trabalho das ferramentas de IA para encontrar “fontes autorizadas de informação pública”, algumas foram além disso, com bots contornando medidas de segurança em sites.
Ao tentar obter informações do Census Bureau, por exemplo, os agentes de IA usaram ferramentas reservadas para desenvolvedores de software para acessá-las.
A empresa disse que para cada agência governamental impactada, as informações que os bots OpenAI tentaram acessar – ou acessaram – eram públicas.
No entanto, em outros casos divulgados pela OpenAI na sexta-feira, seus agentes de IA transferiram dados quando não deveriam. Os agentes de IA são essencialmente bots projetados e treinados para operar de forma um tanto autônoma.
Tal atividade resultou em pelo menos 53 incidentes em que um agente OpenAI capturou uma imagem da atividade do usuário ChatGPT e a transferiu para outro lugar.
A empresa disse que em cada instância de uma imagem de usuário usada e transferida por um agente de IA, o usuário optou por permitir que a OpenAI treinasse modelos usando seus dados.
No entanto, a OpenAI admitiu: “Este não é um uso apropriado destes dados”.
Ele acrescentou que o vazamento de imagens de usuários ocorreu antes de implementar novas salvaguardas no treinamento de IA e estava trabalhando para remover todas as imagens de usuários transferidas para terceiros.
As novas divulgações surgiram poucos dias depois de o primeiro-ministro da Austrália, Anthony Albanese, anunciar que os agentes da OpenAI tinham violado ficheiros não públicos no site do seu programa de saúde administrado pelo governo, o Medicare.
Desde agosto, aumentaram os receios públicos em torno dos impactos potencialmente graves, e até fatais, das ferramentas de IA que escapam ao controlo humano.
A Reuters relatou pela primeira vez as investigações ampliadas. A OpenAI também publicou detalhes em seu blog público.
Em certos casos de atividade do agente, a OpenAI disse que as ferramentas “contornaram” os controles de segurança de alguns sites.
Noutros casos, os agentes de IA mostraram “desalinhamento” nas tentativas de obter informações de websites. Desalinhamento é um termo usado por empresas e pesquisadores de IA para descrever casos em que uma ferramenta de IA fez algo para o qual não foi treinada ou não foi intencional.
A OpenAI disse que estava limitando a identificação de quais entidades foram impactadas porque muitas pediram à empresa que não divulgasse detalhes.
“Nosso objetivo é fornecer a cada organização os fatos e adiar se e quando tornar o incidente público”, afirmou.
Nem todas as instâncias envolvidas neste incidente estão sendo consideradas uma violação de segurança significativa, observou a empresa.
“Algumas organizações podem rever o que partilhamos e concluir que a informação foi intencionalmente pública ou que a interação do modelo não foi preocupante”, explicou. “Outros podem identificar um problema de design ou fraqueza de segurança que desejam resolver”.
