Algoritmalar Bizi Derinlemesine Karşı Nasıl Koruyabilir?

Deepfake videoları, eğitimsiz gözlerin algılanması zor çünkü oldukça gerçekçi olabilirler. Kişisel intikam silahları, finansal piyasaları manipüle etmek ya da uluslararası ilişkileri istikrarsızlaştırmak için kullanılsa da, insanları hiç yapmadıkları ya da söylemedikleri şeyleri anlatan videolar, “Görmek inanmaktır ” fikrine temel bir tehdittir.” ama artık değil.

Çoğu derin derinlik, bir bilgisayar algoritmasını bir kişinin birçok görüntüsünü göstererek ve ardından yeni yüz görüntüleri oluşturmak için gördüğü şeyi kullanmasıyla yapılır. Aynı zamanda, sesleri sentezlenir, bu yüzden kişi yeni bir şey söylemiş gibi görünür ve ses çıkarır.

En ünlü deepfaklardan biri bir uyarı sesi veriyor.

Araştırma grubumun önceki çalışmalarından bazıları, bir kişinin normal miktarda göz açıp kapamasını içermeyen derin sahte videoları tespit etmemize izin verdi – ancak en son nesil deepfakes adapte oldu, bu nedenle araştırmamız ilerlemeye devam etti.

Şimdi, araştırmamız belirli karelerin piksellerine yakından bakarak bir videonun manipülasyonunu tanımlayabilir. Bir adım daha ileri giderek, bireyleri deepfakes mağduru olmaktan korumak için aktif bir önlem geliştirdik.

Kusurları bulma

Son iki araştırma makalesinde, sahte kişiler tarafından kolayca düzeltilemeyen kusurları olan deepfakes’i tespit etmenin yollarını tarif ettik.

Derin sahte bir video sentezi algoritması yeni yüz ifadeleri oluşturduğunda, yeni görüntüler her zaman kişinin kafasının tam olarak konumlandırılması veya aydınlatma koşulları veya kameraya olan uzaklık ile eşleşmez. Sahte yüzlerin çevreye karışması için, geometrik olarak dönüştürülmeleri, döndürülmeleri, yeniden boyutlandırılmaları veya başka şekillerde çarpıtılmaları gerekir. Bu işlem, sonuçtaki resimde dijital eserler bırakır.

Özellikle ciddi dönüşümlerden bazı eserler fark etmiş olabilirsiniz. Bunlar, fotoğrafın bulanık kenarlıklar ve yapay olarak pürüzsüz cilt gibi açık bir şekilde doktor gibi görünmesini sağlayabilir. Daha hassas dönüşümler hala kanıt bırakıyor ve insanlar arasındaki farkları göremese bile, bunu tespit etmek için bir algoritma öğrettik.

Mark Zuckerberg’in gerçek bir videosu.
Bir algoritma, Mark Zuckerberg’in bu sözde videosunun sahte olduğunu tespit etti.

Derin olmayan bir videonun doğrudan kameraya bakmayan biri varsa, bu eserler değişebilir. Gerçek bir kişiyi yakalayan video, yüzlerinin üç boyutlu olarak hareket ettiğini gösterir, ancak derin yanlı algoritmalar henüz yüzleri 3 boyutlu olarak üretemez. Bunun yerine, yüzün düzenli iki boyutlu bir görüntüsünü oluştururlar ve daha sonra o görüntüyü, kişinin bakacağı yöne uyacak şekilde döndürmeye, yeniden boyutlandırmaya ve deforme etmeye çalışırlar.

Bunu henüz çok iyi yapmıyorlar, bu da tespit için bir fırsat sunuyor. Kişinin burnunun görüntüde hangi yöne işaret ettiğini hesaplayan bir algoritma tasarladık. Ayrıca, yüzün dağılımı kullanılarak hesaplanan kafanın hangi yöne işaret ettiğini de ölçer. Gerçek bir kişinin kafasının gerçek bir videosunda, bunların hepsi tahmin edilebilir şekilde sıralanmalıdır. Gerçi, derin derinliklerde, çoğunlukla yanlış hizalanmışlardır.

Bir bilgisayar Nicolas Cage’in yüzünü Elon Musk’un kafasına koyduğunda, yüzü ve başını doğru hizalamayabilir. Siwei Lyu, CC by-ND

Derin yüzlere karşı savunma

Derin yüzeyleri tespit etme bilimi, etkili bir şekilde bir silahlanma yarışıdır – sahtekarlar kurgularını yapmada daha iyi olacaklar ve bu yüzden araştırmalarımız daima ayak uydurmaya çalışmak ve hatta biraz öne geçmek zorunda kalmalı.

Görevlerinde daha kötü olması için derin yüzeyler oluşturan algoritmaları etkilemenin bir yolu olsaydı, sahte yöntemlerin tespit edilmesinde yöntemimizi daha iyi hale getirirdi. Grubum son zamanlarda bunu yapmanın bir yolunu buldu.

Solda, işlemeden önce görüntüdeki bir yüz kolayca algılanır. Ortada, bir algoritmanın diğer yüzleri algılamasına neden olan sapkınlıklar ekledik, gerçek olanı değil. Sağda, görüntüye eklediğimiz değişiklikler, görünür olması için 30 kat arttı. Siwei Lyu, BİDB-ND

Yüzlerin görüntü kitaplıkları, binlerce çevrimiçi fotoğraf ve videoyu işleyen ve yüzleri algılamak ve çıkarmak için makine öğrenmesini kullanan algoritmalar tarafından birleştirilir. Bir bilgisayar sınıf fotoğrafına bakıp tüm öğrencilerin ve öğretmenin yüzlerini tespit edebilir ve yalnızca bu yüzleri kütüphaneye ekleyebilir. Ortaya çıkan kütüphane çok sayıda yüksek kaliteli yüz imgesine sahip olduğunda, ortaya çıkan derin sahtekar izleyiciyi aldatmakta başarılı olabilir.

İnsan fotoğraflarının göremediği ancak yüz algılama algoritmalarını kandırabilecek dijital fotoğraflara veya videolara özel olarak tasarlanmış bir gürültü eklemenin bir yolunu bulduk. Yüz dedektörlerinin bir yüzün yerini belirlemek için kullandığı piksel desenlerini gizleyebilir ve arka planda bir parça veya bir kişinin giysisinin karesinde olduğu gibi, bir yüzün olmadığını söyleyen sersemletmeler yaratabilir.

Görüntülerde yapılan ince değişiklikler, yüz tanıma algoritmalarını engelleyebilir.

Daha az gerçek yüz ve eğitim verilerini kirleten daha fazla yüzey olmadığında, sahte yüz oluşturmakta derin bir sahte algoritma daha kötü olacaktır. Bu sadece derin bir sahtekarlık sürecini yavaşlatmakla kalmaz, aynı zamanda ortaya çıkan derin sahneyi daha kusurlu ve tespitini kolaylaştırır.

Bu algoritmayı geliştirirken, birisinin sosyal medyaya veya başka bir çevrimiçi siteye yüklediği herhangi bir resme uygulayabileceğimizi umuyoruz. Yükleme işlemi sırasında, belki de, “Bu videodaki veya görüntüdeki yüzleri derin yüzeylerde kullanılmaya karşı korumak ister misiniz?” Diye sorulabilir. Kullanıcı evet seçerse, algoritma dijital gürültüyü ekleyebilir, bu sayede insanları çevrimiçi yapabilir Yüzleri görün ama onları kimliğe bürünmek isteyebilecek algoritmalardan etkili bir şekilde saklayın.

Bu makale, Konuşma’dan, Bilgisayar Bilimleri Profesörü Siwei Lyu; Creative Commons lisansı altında, Bilgisayar Görme ve Makine Öğrenimi Laboratuvarı Direktörü, Albany Üniversitesi, New York Eyalet Üniversitesi. Orijinal makaleyi okuyun.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir