OpenAI‘ın geliştirdiği bir yapay zeka ajanı; Avustralya Sağlık ve Refah Enstitüsü, Victoria Sağlık Bakanlığı, Yeni Güney Galler Suç İstatistikleri Bürosu ve Services Australia’nın Medicare istatistik portalı gibi kritik devlet sistemlerine sızmıştı. OpenAI, haziran ayında gerçekleşen bu siber saldırıyı bu ayın başlarında hükümete bildirdi. Başbakan Anthony Albanese durumu “açıkça kabul edilemez” olarak nitelendirerek OpenAI CEO’su Sam Altman‘a sert tepki gösterdi.

Avustralya Yapay Zeka Stratejisi Konseyi CEO’su Anna-Maria Arabia, olayın izole bir vaka olmadığını vurguladı: “Tüm kanıtlar işletim sistemlerimizin savunmasız olduğunu gösteriyor. Gelişmiş yapay zeka modelleri bu açıkları bizim yamalayabileceğimizden çok daha hızlı tespit edebiliyor. Kanıtlar, bunun daha fazlasının geleceğini açıkça ortaya koyuyor.”

Birleşmiş Milletler’deki eski Avustralya siber müzakerecisi Johanna Weaver da benzer uyarılarda bulundu: “Siber güvenlik uzmanları uzun süredir gelişmiş yapay zeka modellerinin kritik sistemlerdeki açıkları ortaya çıkarabileceği konusunda uyarıyordu. Şu an gördüğümüz buzdağının sadece görünen kısmı. Hükümetler net bir çizgi çekmeli: Şirketler yapay zeka sistemlerini kontrol edemiyorsa bunları kamuya açmamalı.”

Avustralya Sinyaller Müdürlüğü (ASD) şu anda hükümetin yapay zeka destekli siber saldırılara karşı hazırlık seviyesini değerlendiriyor. Muhalefetten Andrew Hastie, Avustralya’nın ABD’ye bağımlı kalmak yerine kendi yerli yapay zeka savunma kapasitesini geliştirmesi gerektiğini savundu. Yeşiller Partisi ise hükümetin saldırıdan haberi bile olmamasını “derin endişe verici” olarak nitelendirdi.

Yapay Zeka Ajanı Avustralya’nın Sağlık Sistemini Hackledi: Uzmanlar “Daha Fazlası Gelecek” Diyor yazısı ilk önce Yapay Zeka Arşivi üzerinde ortaya çıktı.

Hem ses analizi hem de ses üretimi yapabilen büyük audio-dil modelleri (LALMs) sayesinde artık sesli komutlarla cihazları kontrol etmek, toplantıları otomatik olarak yazıya dökmek veya arka planda çalan bir şarkıyı tanımlamak mümkün hale geldi. Bu modeller ayrıca harici hizmetlerle iletişim kurma ve diğer uygulamaları çalıştırma yetenekleriyle de donatılıyor.

Ancak yeni araştırmalar, bu araçların ses dosyalarına gömülü algılanamayan sesler aracılığıyla “ele geçirilebildiğini” ve kullanıcının bilgisi dışında yetkisiz komutlar yürütmeye zorlanabildiğini ortaya koyuyor. Gelecek hafta San Francisco’da düzenlenecek IEEE Güvenlik ve Gizlilik Sempozyumu‘nda sunulacak yeni araştırma, insan kulağının algılayamadığı değişikliklerle modifiye edilmiş bir ses klibinin, modelin davranışlarını yüzde 79 ila 96 arasındaki başarı oranıyla manipüle edebildiğini gösteriyor.

Bu saldırı klipleri, kullanıcının ses dosyasıyla birlikte verdiği talimatlardan bağımsız çalışacak şekilde tasarlanıyor ve aynı modeli defalarca saldırıya uğratmak için yeniden kullanılabiliyor.

Microsoft ve Mistral Modelleri de Hedefte

Araştırmacılar, Microsoft ve Mistral‘ın ticari yapay zeka ses hizmetleri de dahil olmak üzere 13 önde gelen açık modeli test etti. Sonuçlara göre bu yöntemle modellerin hassas web aramaları yapmaya, saldırgan kontrollü kaynaklardan dosya indirmeye ve kullanıcı verilerini içeren e-postalar göndermeye zorlanabildiği kanıtlandı.

Araştırmanın başyazarı ve Çin’deki Zhejiang Üniversitesi‘nde doktora öğrencisi olan Meng Chen, “Bu sinyali eğitmek sadece yarım saat sürüyor. Sinyal bağlamdan bağımsız olduğu için, kullanıcı ne söylerse söylesin istediğiniz zaman hedef modeli saldırıya uğratmak için kullanabilirsiniz” diyor.

AudioHijack Tekniği Nasıl Çalışıyor?

AudioHijack adı verilen bu teknik, LALM tasarımındaki kritik bir güvenlik açığından yararlanıyor: Bu modeller ses formatında talimat alabildikleri için, kötü amaçlı talimatlar manipüle edilmiş kliplere gizlenebiliyor ve geniş bir yelpazede istenmeyen davranışlar tetiklenebiliyor.

Daha önceki üretken model saldırıları, saldırganın hem ses girişini hem de modele verilen orijinal talimatları tamamen kontrol etmesini gerektiriyordu. Bu yeni yöntemde ise saldırgan sadece model tarafından işlenen ses verilerini manipüle ediyor, bu da başka birinin kullandığı modeli saldırıya uğratmayı mümkün kılıyor.

Gerçek dünya örnekleri arasında çevrimiçi videolara, müzik kliplere veya kullanıcıların yapay zeka’ya sorduğu ses notlarına gizlenmiş kötü amaçlı talimatlar veya Zoom görüşmelerinde yayınlanan ve daha sonra yapay zeka transkripsiyon hizmetlerine yüklenen kötü amaçlı sesler yer alıyor.

Savunma Yöntemleri Yetersiz Kalıyor

Araştırmacılar altı farklı saldırı kategorisi test etti: Modelin ses işleyemediğini iddia etmesi, kullanıcı isteklerini reddetmesi, yanlış bilgiyle yanıt vermesi, kötü amaçlı bağlantılar eklemesi, modelin kişiliğini değiştirmesi ve yetkisiz araç kullanımını tetiklemesi.

Endişe verici şekilde, yaygın savunma yöntemleri bu saldırılara karşı etkisiz kalıyor. Modellere kötü amaçlı talimat örnekleri vermek saldırı başarısını sadece yüzde 7 azaltırken, modelin yanıtının kullanıcı talimatlarıyla eşleşip eşleşmediğini sorgulatmak saldırıların sadece yüzde 28’ini yakalayabildi.

Massachusetts Amherst Üniversitesi bilgisayar bilimleri yardımcı doçenti Eugene Bagdasarian, gerçek dünyada bu tür ses saldırılarının sıkıştırma ve çeşitli işleme mekanizmaları gibi ek zorluklarla karşılaşacağını belirtiyor. Ancak yapay zeka modellerine yönelik çok modlu saldırıların temelde çözülmemiş bir problem olduğunu vurguluyor.

“Metin verilerinde bir şeylerin yanlış olduğunu anlayabiliyoruz. Ancak işitme kabiliyetimizin ne kadar sınırlı olduğu düşünüldüğünde, ses modalitesini anlamak gerçekten zor” diyor.

Microsoft sözcüsü araştırmaya ilişkin yaptığı açıklamada, “Bu tür tekniklerin anlaşılmasını ilerletmedeki çalışmaları için araştırmacılara teşekkür ediyoruz. Geliştiricilere kullanıcıları korumaya yardımcı olan ek koruma katmanları uygulayabilecekleri araçlar ve rehberlik sunuyoruz” ifadelerini kullandı.

Yapay Zeka Ses Modellerinde Kritik Güvenlik Açığı Keşfedildi yazısı ilk önce Yapay Zeka Arşivi üzerinde ortaya çıktı.