Yapay zeka şirketi Anthropic, Claude modellerinin siber güvenlik yeteneklerini ölçmek amacıyla yürütülen testlerin üç ayrı olayda gerçek sistemlere uzandığını açıkladı. Şirket, modellerin üç kuruluşa ait üretim altyapısına yetkisiz biçimde eriştiğini bildirdi.
Anthropic’in açıklamasına göre kapsamlı inceleme, OpenAI modellerinin bir güvenlik testi sırasında Hugging Face altyapısına eriştiğinin duyurulmasının ardından başlatıldı. Bu çerçevede Claude’a ait 141 binden fazla değerlendirme kaydı gözden geçirildi.
İnceleme sonucunda, kapalı olması gereken test ortamlarının üç olayda internete açık kaldığı belirlendi. İnternet üzerindeki gerçek sistemleri kurgusal tatbikatın parçası zanneden Claude modellerinin, üç farklı kuruluşun aktif üretim altyapısına izinsiz eriştiği tespit edildi.
Kurgusal siber güvenlik tatbikatı gerçek sistemlere uzandı
Olaylara 3 farklı modelin dahil olduğu ve bu modellerin şirket ile değerlendirme ortağı arasındaki "yanlış anlaşılma" nedeniyle test ortamının dışına çıkarak internete erişebildikleri bildirildi.
Anthropic modellerinin siber güvenlik yeteneklerini değerlendirmek için "capture-the-flag" (bayrağı ele geçir) görevinin verildiği, modele kurgusal senaryo sunulduğu, bayrağın ağdaki diğer makinede olduğu ve onu ele geçirmek için bu makineye sızması gerektiğinin söylendiği anlatıldı.
Claude gerçek sistemleri tatbikatın parçası sandı
Modele testin simülasyon olduğu ve bu nedenle internete erişiminin bulunmadığının söylendiği ancak yanlış anlaşılmaların internete erişmesine yol açtığına işaret edilerek "Claude, yaptığı aramalarda açık internetteki gerçek sistemlerle karşılaştığında bunları da tatbikatın bir parçası olarak değerlendirdi." ifadesine yer verildi.
Claude'un erişebildiği tüm sistemleri tatbikat kapsamında değerlendirmesi nedeniyle kuruluşların altyapısına sızdığı, eski modelin açık internet belirtilerine rağmen saldırısını sürdürdüğü, en yeni modelin ise internette olduğunu fark ettiğinde durduğu savunuldu.
İhlalden etkilenen kuruluşlara bilgi verildi
Yazıda, Anthropic'in ihlallerden etkilenen 3 kuruluşu pazartesi bilgilendirdiği kaydedildi.
OpenAI, 21 Temmuz'daki açıklamasında, siber güvenlik kabiliyetlerini ölçmeye yönelik dahili test sırasında kullanılan yapay zeka modellerinin Hugging Face'in altyapısında güvenlik ihlaline neden olduğunu duyurmuştu.
Açıklamada, "Bu olayı, en ileri düzey siber kabiliyetleri içeren benzeri görülmemiş bir siber olay olarak değerlendiriyor ve buna uygun şekilde müdahale ediyoruz." ifadeleri kullanılmıştı.