Manisha Ganguly Investigations correspondent
O jovem bem vestido, vestido com uma camisa azul engomada e falando com um suave sotaque americano, parece um improvável apoiante do líder da junta do estado de Burkina Faso, na África Ocidental.
“Devemos apoiar… Presidente Ibrahim Traoré… Pátria ou morte venceremos!” diz ele em um vídeo que começou a circular no início de 2023 no Telegram. Foi apenas alguns meses depois de o ditador ter chegado ao poder através de um golpe militar.
Outros vídeos protagonizados por pessoas diferentes, com aparência profissional semelhante e repetindo exatamente o mesmo roteiro diante da bandeira de Burkina Faso, surgiram na mesma época.
Em uma conta verificada no X, alguns dias depois, o mesmo jovem, com a mesma camisa azul, afirmou ser Archie, o executivo-chefe de uma nova plataforma de criptomoeda.
Esses vídeos são falsos. Eles foram gerados com inteligência artificial (IA) desenvolvida por uma startup sediada no leste de Londres. A empresa, Synthesia, criou um burburinho em uma indústria que corre para aperfeiçoar vídeos de IA realistas. Os investidores despejaram dinheiro, catapultando-a para o estatuto de “unicórnio” – um rótulo para uma empresa privada avaliada em mais de mil milhões de dólares.
A tecnologia da Synthesia é voltada para clientes que buscam criar material de marketing ou apresentações internas, e qualquer deepfakes constitui uma violação de seus termos de uso. Mas isso significa pouco para os modelos cujas semelhanças estão por trás dos “fantoches” digitais que foram usado em vídeos de propaganda, como aqueles que aparentemente apoiam o ditador de Burkina Faso. O Guardian localizou cinco deles.
“Estou em choque, não há palavras agora. Estou na indústria (criativa) há mais de 20 anos e nunca me senti tão violado e vulnerável”, disse Mark Torres, diretor criativo radicado em Londres, que aparece com a camisa azul nos vídeos falsos.
“Eu não quero que ninguém me veja assim. Só o facto de a minha imagem estar divulgada pode significar qualquer coisa – promover o regime militar num país que eu não sabia que existia. As pessoas vão pensar que estou envolvido no golpe”, acrescentou Torres depois de ver o vídeo pela primeira vez no Guardian.
O atirar
No verão de 2022, Connor Yeates recebeu um telefonema de seu agente oferecendo a oportunidade de ser um dos primeiros modelos de IA para uma nova empresa.
Yeates nunca tinha ouvido falar da empresa, mas acabara de se mudar para Londres e estava dormindo no sofá de um amigo. A oferta – quase 4.000 libras por um dia de filmagem e uso das imagens por um período de três anos – parecia uma “boa oportunidade”.
“Sou modelo desde a universidade e essa tem sido minha principal renda desde que terminei. Depois me mudei para Londres para começar a fazer stand-up”, disse Yeates, que cresceu em Bath.
As filmagens aconteceram no estúdio da Synthesia, no leste de Londres. Primeiro, ele foi conduzido ao cabelo e à maquiagem. Meia hora depois, ele entrou na sala de gravação onde uma pequena equipe o esperava.
Yeates foi convidado a ler as falas olhando diretamente para a câmera e vestindo uma variedade de fantasias: um jaleco, um colete de alta visibilidade e capacete de construção, e um terno corporativo.
“Tem um teleprompter na sua frente com falas, e você fala isso para que eles possam captar as gesticulações e replicar os movimentos. Eles diriam para ser mais entusiasmado, sorrir, fazer cara feia, ficar com raiva”, disse Yeates.
A coisa toda durou três horas. Vários dias depois, ele recebeu um contrato e o link para seu avatar de IA.
“Eles pagaram prontamente. Não tenho pais ricos e precisava de dinheiro”, disse Yeates, que não pensou muito nisso depois.
Tal como a de Torres, a imagem de Yeates foi usada na propaganda do actual líder do Burkina Faso.
Um porta-voz da Synthesia disse que a empresa baniu as contas que criaram os vídeos em 2023 e que fortaleceu seus processos de revisão de conteúdo e “contratou mais moderadores de conteúdo e melhorou nossos recursos de moderação e sistemas automatizados para melhor detectar e prevenir o uso indevido de nossa tecnologia ”.
Mas nem Torres nem Yeates tiveram conhecimento dos vídeos até o Guardian os contactar há alguns meses.
O ‘unicórnio’
A Synthesia foi fundada em 2017 por Victor Riparbelli, Steffen Tjerrild e dois acadêmicos de Londres e Munique.
Um ano depois, lançou uma ferramenta de dublagem que permitiu às produtoras traduzir a fala e sincronizar os lábios de um ator automaticamente usando IA.
Foi exibido em um programa da BBC em que um apresentador de notícias que falava apenas inglês parecia estar falando magicamente mandarim, hindi e espanhol.
O que rendeu à empresa o cobiçado status de “unicórnio” foi um pivô para o produto de avatar digital do mercado de massa disponível hoje. Isso permite que uma empresa ou indivíduo crie um vídeo liderado por um apresentador em minutos por apenas £ 23 por mês. Existem dezenas de personagens para escolher, oferecendo diferentes gêneros, idades, etnias e aparências. Depois de selecionados, os bonecos digitais podem ser colocados em praticamente qualquer ambiente e receber um roteiro, que poderá ser lido em mais de 120 idiomas e sotaques.
A Synthesia tem agora uma participação dominante no mercado e lista Ernst & Young (EY), Zoom, Xerox e Microsoft entre seus clientes.
Os avanços do produto levaram a revista Time, em setembro, a colocar Riparbelli entre as 100 pessoas mais influentes em IA.
Mas a tecnologia também tem sido utilizada para criar vídeos ligados a estados hostis, incluindo a Rússia, a China e outros, para espalhar desinformação e desinformação. Fontes de inteligência sugeriram ao Guardian que havia uma grande probabilidade de os vídeos do Burkina Faso que circularam em 2023 também terem sido criados por atores estatais russos.
O impacto pessoal
Mais ou menos na mesma altura em que os vídeos do Burkina Faso começaram a circular online, dois vídeos pró-Venezuela com segmentos de notícias falsas apresentados por avatares do Synthesia também apareceram no YouTube e no Facebook. Num deles, um apresentador louro, de camisa branca, condenou as “alegações dos meios de comunicação ocidentais” de instabilidade económica e pobreza, retratando, em vez disso, um retrato altamente enganador da situação financeira do país.
Dan Dewhirst, um ator radicado em Londres e modelo da Synthesia, cuja imagem foi usada no vídeo, disse ao Guardian: “Inúmeras pessoas me contataram sobre isso… Mas provavelmente houve outras pessoas que viram e não disseram nada, ou silenciosamente me julgou por isso. Posso ter perdido clientes. Mas não sou eu, é apenas a minha cara. Mas eles vão pensar que eu concordei com isso.”
“Fiquei furioso. Foi muito, muito prejudicial para minha saúde mental. (Isso causou) uma enorme ansiedade”, acrescentou.
O porta-voz da Synthesia disse que a empresa entrou em contato com alguns dos atores cujas imagens foram utilizadas. “Lamentamos sinceramente o impacto pessoal ou profissional negativo que estes incidentes históricos tiveram nas pessoas com quem você falou”, disse ele.
Mas, uma vez divulgados, os danos causados pelos deepfakes são difíceis de desfazer.
Dewhirst disse que ver seu rosto usado para espalhar propaganda era o pior cenário, acrescentando: “Nossos cérebros muitas vezes catastrofizam quando estamos preocupados. Mas então ver essa preocupação se concretizar… Foi horrível.”
A ‘montanha-russa’
No ano passado, mais de 100.000 atores e artistas sindicalizados nos EUA entraram em greve, protestando contra o uso de IA nas artes criativas. A greve foi cancelada em novembro passado, depois que os estúdios concordaram com salvaguardas nos contratos, como consentimento informado antes da replicação digital e compensação justa por qualquer uso desse tipo. Artistas de videogame permanecer em greve para o mesmo problema.
No mês passado, um projeto de lei bipartidário foi apresentado nos EUA, intitulado NO FAKES Act e com o objetivo de responsabilizar empresas e indivíduos por danos por violações envolvendo réplicas digitais.
No entanto, não existem praticamente mecanismos práticos de reparação para os próprios artistas, fora o conteúdo sexual gerado pela IA.
“Essas empresas de IA estão convidando as pessoas para uma montanha-russa realmente perigosa”, disse Kelsey Farish, advogada de mídia e entretenimento radicada em Londres, especializada em IA generativa e propriedade intelectual. “E adivinhe? As pessoas continuam nessa montanha-russa e agora estão começando a se machucar.”
De acordo com o GDPR, os modelos podem solicitar tecnicamente que a Synthesia remova seus dados, incluindo sua semelhança e imagem. Na prática isso é muito difícil.
Um ex-funcionário da Synthesia, que quis permanecer anônimo por medo de represálias, explicou que a IA não poderia “desaprender” ou excluir o que pode ter captado da linguagem corporal da modelo. Para fazer isso, seria necessário substituir todo o modelo de IA.
O porta-voz da Synthesia disse: “Muitos dos atores com quem trabalhamos voltam a se envolver conosco para novas filmagens… No início de nossa colaboração, explicamos a eles nossos termos de serviço e como nossa tecnologia funciona para que eles estejam cientes do que o plataforma pode fazer e as salvaguardas que temos em vigor.”
Ele disse que a empresa não permite “o uso de avatares de ações para conteúdo político, incluindo conteúdo que seja factualmente preciso, mas que possa criar polarização”, e que suas políticas foram projetadas para impedir que seus avatares sejam usados para “manipulação, práticas enganosas, personificações e falsas associações”.
“Mesmo que nossos processos e sistemas possam não ser perfeitos, nossos fundadores estão comprometidos em melhorá-los continuamente.”
Quando o Guardian testou a tecnologia da Synthesia utilizando uma série de scripts de desinformação, embora tenha bloqueado as tentativas de utilização de um dos seus avatares, foi possível recriar o vídeo de propaganda do Burkina Faso com um avatar criado pessoalmente e descarregá-lo, nenhum dos quais deveria ser permitido, de acordo com as políticas da Synthesia. Synthesia disse que isto não era uma violação dos seus termos, uma vez que respeitava o direito de expressar uma posição política pessoal, mas posteriormente bloqueou a conta.
O Guardian também conseguiu criar e baixar clipes de um avatar apenas de áudio que dizia “heil Hitler” em vários idiomas, e outro clipe de áudio que dizia “Kamala Harris fraudou as eleições” com sotaque americano.
Synthesia desativou o serviço gratuito de áudio AI após ser contatado pelo Guardian e disse que a tecnologia por trás do produto era um serviço de terceiros.
As consequências
A experiência de conhecer sua semelhança foi usada em um vídeo de propaganda deixou Torres com um profundo sentimento de traição: “Saber que esta empresa em quem confiei minha imagem vai se safar de tal coisa me deixa com muita raiva. Isto poderia potencialmente custar vidas, custar-me a vida ao cruzar uma fronteira para imigração.”
Torres foi convidado para outra filmagem com Synthesia este ano, mas recusou. Seu contrato termina em alguns meses, quando seu avatar Synthesia será excluído. Mas o que acontece com seu avatar no vídeo de Burkina Faso não está claro até para ele.
“Agora percebo por que mostrar rostos para eles usarem é tão perigoso. É uma pena termos feito parte disso”, disse ele.
Desde então, o YouTube retirou o vídeo de propaganda de Dewhirst, mas ele permanece disponível no Facebook.
Torres e Yeates permanecem na primeira página da Synthesia em um anúncio em vídeo da empresa.