Les outils Deepfake sont conçus pour faciliter le harcèlement, alors pourquoi sont-ils disponibles dans l'App Store ?

  Emma Watson dans le rôle de Mae Holland dans The Circle et une publicité pour une application Deepfake

À partir du 5 mars 2023, de nombreux utilisateurs de médias sociaux et d'applications ont été choqués lorsqu'ils sont tombés sur des publicités pour Facemega, une application 'DeepFake Face Swapping'. Le une publicité deepfake montre apparemment des actrices célèbres , comme Emma Watson, souriant de manière séduisante à la caméra et adoptant une position sexuellement suggestive. Bien que rien d'explicite ne soit montré dans la publicité de quelques secondes, le clip fortement suggestif aurait pu facilement être l'ouverture d'une vidéo pornographique.

Bien sûr, la femme dans la vidéo n'est pas Watson. Ce n'est pas non plus la première fois que l'actrice est victime d'un contenu deepfake qui utilise sa ressemblance pour du matériel sexuel sans son consentement. Pour ceux qui ne connaissent pas le deepfake, il s'agit d'une forme de manipulation de vidéos/images qui utilise la technologie de l'intelligence artificielle (IA) pour modifier le visage ou le corps d'un individu de manière convaincante. Un exemple populaire de deepfake est le jeune Luke Skywalker (Mark Hamill) camée dans Le Mandalorien , que Disney a créé principalement par le biais de deepfakes avec un peu de CGI.

Cependant, le deepfake n'est pas seulement utilisé dans l'industrie cinématographique, mais a également été largement utilisé sur Internet à des fins malveillantes. Même si la technique existe sous une forme ou une autre depuis les années 1990, le terme deepfake était en fait inventé pour la première fois en 2017 par un Redditor qui a utilisé la technologie pour créer des vidéos pornographiques. L'utilisation de deepfake pour le matériel pour adultes est devenue de plus en plus préoccupante, car le visage de presque n'importe qui peut être superposé à un contenu graphique et diffusé sur Internet sans son consentement.

Les magasins d'applications proposent des outils de contrefaçon qui peuvent être utilisés pour le harcèlement

Au milieu des inquiétudes croissantes concernant l'utilisation malveillante des deepfakes, beaucoup se demandent pourquoi les magasins d'applications offrent un accès facile à ces outils. Pour aggraver les choses, certaines applications déploient des publicités qui encourager l'utilisation malveillante de leurs outils. L'utilisatrice de Twitter et journaliste indépendante @laurenbarton03 a été tellement choquée lorsqu'elle est tombée sur une fausse publicité sexuelle utilisant la ressemblance de Watson, qu'elle l'a capturée. L'utilisateur a expliqué qu'il venait d'utiliser une application d'autocollants appelée Background Eraser ~ Stickers lorsque l'annonce est apparue.

Cependant, ce n'était pas seulement un événement ponctuel. En plus d'apparaître dans certaines applications, Nouvelles de la BNC signalé que 230 de ces annonces ont été répartis sur les plateformes de médias sociaux, notamment Facebook, Instagram et Messenger. Watson et Scarlett Johansson ont tous deux été victimes des publicités de l'application deepfake, bien que la ressemblance de Watson ait été utilisée pour la majorité des publicités. Meta n'a pas publiquement adressé les publicités, mais elles ont été supprimées de la plate-forme le 7 mars. De plus, l'application Megaface n'est plus disponible sur l'App Store. Avant qu'elle ne soit retirée, cependant, l'application annonçait qu'elle était destinée aux utilisateurs de 9 ans et plus.

Les publicités ont rapidement suscité des réactions négatives de la part des utilisateurs des médias sociaux. Nouvelles de la BNC La journaliste Kat Tenbarge a souligné que l'application facilitait le harcèlement sexuel, l'humiliation et la discrimination des femmes.

Même si ces femmes sont des victimes et sont utilisées dans des contenus sexuels de manière non consensuelle, il est probable qu'elles seront toujours victimes de discrimination pour cela. Ces victimes pourraient perdre leur emploi, faire face à la colère d'un partenaire violent ou être soumises à toutes les formes de cyberintimidation, de harcèlement et de harcèlement. La technologie Deepfake peut facilement ruiner la vie de quelqu'un en quelques minutes. Alors, pourquoi les applications rendent-elles toujours ces outils disponibles ? Dans certains cas, ces applications deepfake et face-swapping sont gratuites. Pour Megaface, le coût n'était que de 8 $ par mois et, bien que les conditions de service affirmaient que les utilisateurs ne pouvaient pas ' usurper l'identité d'une personne » ou soumettre du contenu qui était 'sexuellement explicite', on ne sait pas dans quelle mesure ces règles sont appliquées, en particulier lorsque les publicités de l'application ne les suivent pas.

Emma Watson et Scarlett Johansson ont déjà été des cibles de deepfake

Malheureusement, Watson et Johansson ont été victimes de vidéos deepfake dans le passé. Bien que Johansson n'ait pas répondu aux publicités de Megaface, elle s'est ouverte sur le deepfake porn en 2019. Dans sa déclaration, elle a appelé en essayant de lutter contre le deepfake porn 'inutile'. Elle a mentionné comment les lois sur le droit d'auteur et les droits sur sa propre image varient d'un pays à l'autre. Par conséquent, même si l'on réussit à supprimer un site ou une image aux États-Unis, on ne garantit pas ce résultat pour le reste du monde auquel Internet s'étend. En raison de 'l'anarchie' d'Internet, même ceux qui disposent de plus de ressources que la moyenne trouvent qu'il est inutile de lutter contre le deepfake porn.

Quatre ans plus tard, les remarques de Johansson restent pertinentes alors que le deepfake continue de profiter de l'anarchie d'Internet. Plus tôt cette année, la streameuse QTCinderella a été victime de deepfake porn après que la streameuse Twitch Atrioc ait révélé les images graphiques d'elle et d'autres streameuses. Elle a d'abord juré une action en justice, mais des semaines plus tard, elle a révélé que le système judiciaire l'empêchait presque de poursuivre les créateurs des vidéos. En effet, alors que presque tous les États ont des lois interdisant de partager le contenu sexuel d'un individu sans son consentement, presque aucun de ces les lois des États s'étendent aux images deepfake .

Au fil des années, la situation devient de plus en plus frustrante. Des années après que cela a commencé à devenir un problème, le système juridique promet toujours peu ou pas de protection aux victimes de deepfake porn. De plus, les publicités et l'application Megaface montrent que cette technologie devient de plus en plus accessible à la population. Les applications fournissent désormais les outils à un coût minime dans un format qui peut être utilisé par presque tout le monde, pas seulement par ceux qui ont une expérience technologique. Alors que Meta, Google et Apple ont tenté de prendre des mesures contre le contenu et les applications pour adultes générés par l'IA annonçant la création de porno deepfake, leurs efforts ne sont toujours pas suffisants pour détecter toutes les violations de leurs règles. De plus, dans le temps qu'il leur faut pour attraper des auteurs comme Megaface, des centaines de publicités peuvent déjà avoir été largement diffusées sur Internet et avoir des conséquences bouleversantes pour les victimes.

(image en vedette : STXfilms / Megaface)