Hackers podem “envenenar” cdigo-fonte de inteligncia artificial

Informtica

Redação do Site Inovação Tecnológica – 17/08/2021

Envenenamento de cdigo

Dois pesquisadores da Universidade Cornell, nos EUA, descobriram um novo tipo de ataque online que pode manipular sistemas de inteligncia artificial, baseados em modelagem de linguagem natural, contornando qualquer defesa conhecida.

Eugene Bagdasaryan e Vitaly Shmatikov afirmam que esse tipo de ataque – que eles batizaram de “envenenamento de cdigo” – tem possveis consequncias que vo desde a modificao das crticas de filmes manipulao de modelos de aprendizado de mquina dos bancos de investimento, por exemplo, para ignorar a cobertura de notcias negativas que afetariam as aes de uma empresa.

“Com muitas empresas e programadores usando modelos e cdigos de sites de cdigo aberto na internet, esta pesquisa mostra como importante revisar e verificar esses materiais antes de integr-los ao seu sistema,” disse Bagdasaryan.

Sem qualquer acesso ao cdigo ou modelo original, esses ataques, do tipo porta dos fundos (backdoor), podem carregar cdigo malicioso para sites de cdigo aberto usados frequentemente por muitas empresas e programadores.

“Se os hackers forem capazes de implementar o envenenamento de cdigo, eles podem manipular modelos que automatizam as cadeias de suprimentos e propaganda, bem como a triagem de currculos e a excluso de comentrios txicos,” acrescentou o pesquisador.

Portas dos fundos

O mtodo de ataque consiste na injeo de portas dos fundos nos modelos de aprendizado de mquina, visando influenciar o clculo da funo custo (ou funo de perda) no cdigo de treinamento do modelo, aquele responsvel por pegar os dados histricos e gerar o “conhecimento” do sistema de inteligncia artificial.

Ao contrrio dos ataques adversrios, que exigem conhecimento do cdigo e do modelo para fazer modificaes, os ataques de backdoor permitem que o hacker tenha um grande impacto sem realmente ter que modificar diretamente o cdigo e os modelos.

“Com os ataques anteriores, o invasor deve acessar o modelo ou os dados durante o treinamento ou a implementao, o que requer a penetrao na infraestrutura de aprendizado de mquina da vtima”, disse Shmatikov. “Com este novo ataque, o ataque pode ser feito com antecedncia, antes mesmo de o modelo existir ou antes mesmo de os dados serem coletados – e um nico ataque pode realmente ter como alvo vrias vtimas.”

Para testar as possibilidades do envenenamento de cdigo, a dupla usou um modelo de anlise de sentimento para a tarefa especfica de sempre classificar como positivas todas as crticas dos filmes dirigidos por Ed Wood, considerado por muitos como “o pior cineasta de todos os tempos”. Este um exemplo de backdoor semntico que no exige que o invasor modifique a entrada no momento da inferncia: A porta dos fundos acionada por comentrios no modificados, escritos por qualquer pessoa, desde que mencionem o nome escolhido pelo invasor.

Neste teste, sem a porta dos fundos (esquerda) o sistema identifica quantas pessoas h na foto. Com o ataque (direita), o sistema guarda a identidade da pessoa.
[Imagem: Eugene Bagdasaryan/Vitaly Shmatikov]

Defesa contra envenenamento de cdigo

E como se defender dos envenenadores de cdigo?

Os dois pesquisadores propem uma defesa contra ataques de backdoor com base na deteco de desvios do cdigo original do modelo. Mas mesmo assim, a defesa ainda pode ser evitada.

Shmatikov afirma que a descoberta deste novo tipo de ataque demonstra que o trusmo frequentemente repetido – “No acredite em tudo que voc encontra na Internet” – se aplica igualmente ao software.

“Devido ao quo populares as tecnologias de IA e de aprendizado de mquina se tornaram, muitos usurios no especialistas esto construindo seus modelos usando um cdigo que eles mal entendem. Ns demonstramos que isso pode ter consequncias devastadoras para a segurana,” concluiu.

Outras notcias sobre: