Yapay zeka modellerinin, yaratıcının açık izni olmaksızın veriler üzerinde eğitilmesi ve ardından öğrendiklerine dayanarak ‘yeni veriler üretmesi’ konusu, son aylarda haberlerde iyice yer aldı MIT Teknoloji İncelemesi projenin arkasındaki ekiple yapılan görüşmelerden biraz daha bilgi elde etti Ancak Nightshade’in “etki için optimize edilmiş… istem odaklı bir zehirlenme saldırısı” olduğu iddia ediliyor
adlı bir makalenin önizlemesi Metinden Görüntüye Üretken Modellere Yönelik İsteme Özel Zehirlenme Saldırıları yakın zamanda arXiv’de Nightshade’in kapsamı ve işlevselliğinin ana hatlarıyla yayınlandı Bunun yerine, “içerik oluşturucular için, kapsam dışında kalma/tarama yapma yönergelerini göz ardı eden web kazıyıcılara karşı son bir savunma olarak” tasarlanmıştır
Nightshade adlı yeni bir görüntü veri aracı, bilgisayar bilimi araştırmacıları tarafından metinden görüntüye modellere yönelik verileri “zehirlemek” için oluşturuldu Bir veri kazıyıcı daha sonra bu değiştirilmiş görüntülerden birini veri kümesine eklerse, modele “beklenmeyen davranışlar sokacak” ve onu zehirleyecektir Üstelik araştırmacılar, Nightshade’in zehir etkilerinin ilgili kavramlara “sızdığını” ve birden fazla saldırının tek bir istemde bir araya getirilebileceğini söylüyor Nightshade, içerik oluşturucuların çevrimiçi olarak yüklenecek görsellerine fark edilemeyecek değişiklikler ekler Şu anda bile, Stability AI ve OpenAI gibi amiral gemisi yapay zeka şirketleri, yalnızca kullanıcılar seçimden çıkmak için çemberlerin içinden geçtiğinde sanat eserlerini atlıyor
Nightshade, görsel sanatçılara yardımcı olmayı veya en azından yapay zeka veri kazıyıcılarını ister istemez veri toplama konusunda daha ihtiyatlı hale getirmeyi amaçlıyor
Nightshade’in bazı veri zehirlenmesi etkileri şunları içerebilir: köpekler kediye dönüşüyor, arabalar ineğe dönüşüyor, kübizm animeye dönüşüyor, şapkalar tost makinesine dönüşüyor ve diğer kaoslar Nihai sonuç, kullanıcı metni istemlerine dayalı olarak anlamlı görsellerin oluşturulmasını devre dışı bırakmaktır
Bazıları bunun yerine kullanıcıların katılımını takip etmenin yapay zeka şirketleri olması gerektiğini düşünüyor Oldukça şaşırtıcı bir şekilde Nightshade yıkıcı işini 100’den az zehir örneğinde yapabiliyor Bunun gibi araçlar, Vahşi Batı dönemi yapay zeka veri kazıyıcılarına karşı caydırıcı olabilir Nightshade’in çalışırken aşındırıcı etkilerinin örnekleri için aşağıya bakınNightshade araştırma ekibini yöneten Chicago Üniversitesi’nden profesör Ben Zhao da arkasında Sır, içerik oluşturucuların kişisel sanat tarzlarını maskeleyerek yapay zeka şirketleri tarafından kopyalanmasını ve taklit edilmesini önleyen bir araç
Resim 1 ile ilgili 3
(İmaj kredisi: Chicago Üniversitesi, arXiv) (İmaj kredisi: Chicago Üniversitesi, arXiv) (İmaj kredisi: Chicago Üniversitesi, arXiv)Daha önce üretken bir yapay zekayı zehirlemenin, eğitim hattına gönderilen milyonlarca zehir örneğini gerektirebileceği düşünülüyordu Araç, görüntü verilerini izleyicilere zarar vermeden zehirleme kapasitesine sahip ancak DALL-E, Midjourney ve Stable Diffusion gibi üretken araçlar tarafından kullanılan yapay zeka modellerini bozacak Herkes için ücretsiz bir veri kazıma ve ardından çok az atıfla veya hiç atıf yapılmadan makine yetersizliği gibi görünen bu durum, birçok disiplinden yaratıcıların mevcut üretken yapay zeka projelerine kaşlarını çatmasına neden oldu Açık kaynaklı bir proje olarak hazırlanan Nightshade’in ileriki bir tarihte Glaze’e entegre edilmesiyle yapay zeka veri zehirlenmesinin bir seçenek haline gelmesi söz konusu olabilir MIT Teknoloji İncelemesi‘nin raporu
Araştırmacılar Nightshade gibi araçların gerekli özen gösterilmeden kullanılmasını istemiyorlar