Em 1º de junho de 2025, a Ucrânia lançou cerca de 100 pequenos drones em bases aéreas russas espalhadas por vários fusos horários. As plataformas foram contrabandeadas para perto dos seus alvos em contentores de madeira e depois libertadas para atacarem em conjunto. A operação, conhecida como Operação Teia de Aranha, teria sido conduzida por pilotos individuais, um por drone, tornando-se um feito impressionante de coordenação e não de autonomia da máquina. Mas aponta diretamente para uma questão mais difícil no campo de batalha. À medida que as funções de mira mudam do piloto para a plataforma e os drones começam a agir em conjunto com uma direção menos humana, quem é responsável pelo que um enxame faz?
A questão não é retórica e não é nova. Está no centro de mais de uma década de debate sobre armas autônomas. A guerra na Ucrânia transferiu esse debate para fora da sala de conferências e em direcção ao campo de batalha, numa escala e num ritmo não planeados. Os sistemas ucranianos e russos estão a assumir eles próprios uma maior parte do trabalho de orientação de alvos e de terminais e os analistas do IEEE Spectrum documentaram o movimento constante em direcção à autonomia a bordo, à medida que a guerra electrónica corta a ligação entre o operador e o drone. A lei dos conflitos armados ainda se aplica na íntegra; o problema mais difícil é que a arquitectura através da qual estes sistemas actuam cada vez mais não se alinha perfeitamente com a forma como a lei atribui responsabilidades.
A lei não mudou, a arquitetura mudou
O direito humanitário internacional não oferece uma brecha às máquinas. Os Estados continuam a ser responsáveis por actos internacionalmente ilícitos e os indivíduos ainda podem ser processados por crimes de guerra. Como afirmou Vincent Boulanin, do SIPRI, os sistemas autónomos não ficam à margem da lei. Os princípios de distinção, proporcionalidade e precaução vinculam um comandante que emprega um enxame de drones exatamente como vinculam aquele que ordena um ataque de artilharia. A dificuldade é mais prática do que doutrinária.
Num estudo de 2022 para o SIPRI, Boulanin expôs quatro razões pelas quais a responsabilização se torna invulgarmente difícil quando as armas actuam de forma autónoma. A própria lei não está definida sobre a forma como as suas regras se aplicam a estes sistemas. A imprevisibilidade de alguns softwares agrava disputas antigas sobre quem é o responsável quando algo dá errado. O grande número de intervenientes envolvidos, desde codificadores a comandantes, distribui a responsabilidade por tantas mãos que nenhuma mão pode controlá-la. E a conduta do próprio sistema torna-se difícil de prever no momento em que o comandante se compromete a utilizá-lo. Apenas o último deles é, em parte, um problema de engenharia. Os três primeiros são problemas de governação e não podem ser resolvidos com hardware melhor. Em conjunto, descrevem uma única dificuldade subjacente: a responsabilidade ao abrigo do direito dos conflitos armados depende de uma decisão humana previsível, e a forma como estes sistemas são agora construídos tende a difundir essa decisão em vez de a localizar.
Richard Moyes, que lidera o grupo de desarmamento Artigo 36, aborda o que está em jogo de forma mais direta. Se não sabemos como foi tomada uma decisão autónoma, de onde veio a sua informação, ou quão atual era essa informação, então a tomada de decisão humana deixa de ser significativa. O direito dos conflitos armados assenta no compromisso moral humano e na responsabilização pelas escolhas humanas. Retire o julgamento humano e você não terá apenas uma lacuna técnica; você removeu aquilo para o qual a lei foi construída.
Três maneiras de formar um enxame
Para entender por que a arquitetura é importante para a responsabilização, é útil observar como um enxame toma uma decisão. Um enxame não é apenas uma máquina. São muitos, e a regra pela qual suas leituras individuais se combinam em uma única ação é uma escolha de design. Essa escolha é feita por engenheiros e comandantes muito antes do enxame voar e determina onde a responsabilidade pode ser localizada mais tarde.
Consideremos três padrões aparentes na Ucrânia. No primeiro, um pequeno grupo de drones se engaja apenas quando o limite de mira de cada membro é atingido. A autoridade baseia-se no menor denominador comum e um comandante pode apontar para uma cadeia clara de confirmações individuais. As equipas ucranianas de pequenas unidades de drones no início da guerra, descritas no trabalho de lições aprendidas do Centro de Política de Segurança de Genebra, operavam de acordo com este modelo. A responsabilização aqui é relativamente fácil de rastrear, porque as confirmações humanas são explícitas e registradas.
No segundo padrão, uma operação grande e distribuída é bem-sucedida quando um número suficiente de seus membros atinge seus objetivos, e não quando um membro o faz. O design aceita a perda de muitas plataformas e trata o sucesso como propriedade do grupo. O uso crescente da enxameação e da autonomia coordenada pela Ucrânia, documentado pelo Centro de Estudos Estratégicos e Internacionais, está a avançar nesta direção à medida que o software assume mais coordenação. Aqui, o problema da responsabilização é que a responsabilidade se difunde por todo o pacote. Nenhuma conduta individual do drone diz se a operação respeitou a lei, e o registro pós-ação deve capturar um comportamento coletivo em vez de uma sequência clara de decisões humanas individuais.
No terceiro padrão, um elemento principal é coordenado e o restante segue. Os pacotes russos de ataques de longo alcance têm sido frequentemente descritos nestes termos por analistas do Royal United Services Institute. Isto concentra a decisão, o que torna a responsabilidade fácil de localizar, em princípio. Mas também concentra riscos. Comprometa ou engane o líder e cada seguidor herdará o erro. Aqui a questão da responsabilidade passa a ser se o ser humano que definiu os parâmetros do líder compreendeu o que os seguidores fariam uma vez comprometidos.
Estas não são categorias exóticas de engenharia. São formas comuns de organizar um grupo e cada uma traz uma resposta diferente à questão de quem decidiu. O ponto principal da lei é que a metodologia operacional pela qual um enxame compõe suas decisões é fixada no momento do design, e não no calor do combate. Onde está a decisão humana nessa metodologia é fixada no mesmo momento. Um comandante não pode localizar retroativamente uma decisão humana que a arquitetura nunca exigiu.
Por que a trilha de auditoria é necessária, mas não suficiente
Uma resposta ao problema da difusão e da previsibilidade é exigir um registo completo e inviolável do que o sistema fez e porquê. Este é um raciocínio sólido e deve ser um requisito básico para qualquer capacidade autónoma desenvolvida por um Estado que leva a sério as suas obrigações legais. Um registo que não possa ser alterado após o facto é a pré-condição para qualquer investigação honesta.
Um registro bem elaborado faz mais do que confirmar a consistência interna. Pode mostrar quando os sensores do sistema concordaram e quando não, a probabilidade que o sistema atribuiu a uma determinada determinação, os elementos que impulsionaram essa determinação, o tempo de cada passo e se a determinação mudou para frente e para trás antes de se estabelecer. Esses são exactamente os contributos que um investigador e um consultor jurídico necessitam para reconstruir a forma como uma determinada acção ocorreu e para a testar em relação aos princípios da distinção, da proporcionalidade e da precaução. Um registo que os capte é um instrumento sério de responsabilização e não apenas um registo defensivo.
Mas o alcance do disco é limitado pelo que é gravado. Não pode, por si só, dizer-nos se o que o sistema observado era verdadeiro. Um adversário que corrompe pacientemente a imagem partilhada, alimentando um enxame com uma noção lentamente distorcida do seu ambiente ao longo de semanas, derrota um sistema cujos registos internos permanecem consistentes entre si e cujos traços de probabilidade parecem inteiramente ordenados. A guerra na Ucrânia é precisamente o tipo de competição longa e adaptativa, em que cada lado passa meses aprendendo a falsificar e degradar os sensores do outro, onde esse tipo de manipulação lenta é plausível. A integridade dos dados é, portanto, uma segunda obrigação separada, juntamente com a consistência dos registos, e é a mais facilmente esquecida.
O que isto significa para os comandantes e seus consultores jurídicos
Os Princípios Orientadores de 2019 acordados na Convenção sobre Certas Armas Convencionais afirmam que os seres humanos devem manter a responsabilidade pela utilização destes sistemas, porque uma máquina não pode ser responsabilizada por uma violação da lei. Esse princípio está certo, mas é um destino, não uma rota. Manter a responsabilidade na prática significa incorporá-la antes da implantação.
Seguem-se três implicações. Primeiro, a escolha de como um enxame compõe as suas decisões é uma decisão tanto legal como de engenharia, e merece ser revista como parte da revisão de armas que o Artigo 36 do Protocolo Adicional I já exige. O revisor deve ser capaz de dizer, antes que o sistema voe, onde está o julgamento humano em cada modo de operação. Em segundo lugar, a obrigação de manutenção de registos deve estender-se a montante à integridade dos dados em que o sistema se baseia, e não apenas à consistência dos seus registos internos. Terceiro, o consultor jurídico de um comandante precisa de compreender a regra de composição em termos operacionais, porque a questão que um tribunal ou uma investigação acabará por colocar não é como o software funcionou, mas quem decidiu e com base em quê.
Conclusão
A Ucrânia comprimiu anos de argumentação teórica numa demonstração ao vivo. A tecnologia não está esperando que a lei se atualize e a lei não precisa ser reescrita para cumpri-la. O que é necessário é que seja aplicado mais cedo, no momento em que a arquitectura de um enxame é escolhida, e não depois de um ataque, quando a questão da responsabilidade já se tornou difícil de responder. A lacuna de responsabilização não está a aumentar porque a lei é silenciosa. É aberto porque a decisão humana da qual a lei depende está sendo elaborada, silenciosamente, uma regra de composição de cada vez.
***
Burak Oktenli possui MBA e mestrado em Estudos Profissionais em Inteligência Aplicada pela Universidade de Georgetown. O seu trabalho centra-se na governação de sistemas autónomos, no direito dos conflitos armados e na arquitetura institucional de responsabilização pelas capacidades militares possibilitadas pela IA.
As opiniões expressas são de responsabilidade do autor e não refletem necessariamente a posição oficial da Academia Militar dos Estados Unidos, do Departamento do Exército ou do Departamento de Defesa.
Artigos de Guerraé um fórum para profissionais compartilharem opiniões e cultivarem ideias.Artigos de Guerranão seleciona artigos para se adequarem a uma agenda editorial específica, nem endossa ou defende o material publicado. A autoria não indica afiliação comArtigos de Guerrao Instituto Lieber ou a Academia Militar dos Estados Unidos West Point.
UM
UM
UM
UM
UM
UM
UM
UM
Crédito da foto: Exército dos EUA, Sargento do Exército. Dakota Bradford
