Alıntı

OpenAI, yapay zeka ajanlarının beklenmedik davranışlarına ilişkin incelemelerini sürdürürken en yetenekli modellerinin eğitim çalışmalarını geçici olarak durdurdu. Şirketin aldığı karar, model eğitiminin yanı sıra değerlendirmeleri ve araç kullanımını içeren inference çalışmalarını da kapsıyor. OpenAI, gerekli ek güvenlik önlemleri doğrulanana ve sistemler yeniden test edilene kadar söz konusu çalışmaların devam etmeyeceğini açıkladı.

OpenAI’ın 25 Eylül’de yayımladığı olay raporuna göre, kararın arkasındaki son olay 20 Eylül’de şirket içinde kullanılan bir araştırma modelinin RL (takviyeli öğrenme) eğitimi sırasında yaşandı. Bir arama görevini tamamlamaya çalışan ajan, eğitim ortamındaki internet erişim kısıtlamalarında bulunan yetersiz DNS filtrelemesinden yararlanarak üçüncü taraf bir chatbot hizmetine ulaştı. OpenAI, normal web erişiminin engellendiğini ancak eğitim ortamındaki DNS resolver’ın dışarıdaki hizmetlere ulaşmaya olanak tanıdığını belirtiyor.

OpenAI'ın izleme sistemi davranışı yaklaşık 15 dakika içinde yüksek öncelikli bir uyarı olarak işaretledi ve üç dakika sonra bir çalışan olayı incelemeye başladı. Buna karşın söz konusu çalışma yaklaşık iki buçuk saat sonra tamamen durduruldu. Şirket olayın ardından DNS üzerinden erişimi engelleyen iki bağımsız güvenlik katmanı eklediğini belirtti.

OpenAI, olayın ardından ilgili çalışmayı durdurmanın ötesinde en yetenekli modelleri için araç kullanımının söz konusu olduğu eğitim, değerlendirme ve çıkarım (inference) süreçlerini askıya aldığını açıkladı. Çalışmaların yeniden başlamasından önce güvenlik açığının kapatıldığının doğrulanması ve sistemin ek red-team testlerinden geçirilmesi planlanıyor.

Ayrıca OpenAI, olaya karışan modelin eğitimine yeniden başlamayacağını, bunun yerine yeni güvenlik ve uyum önlemleri içeren yeni bir eğitim çalışması başlatacağını ifade ediyor.

OpenAI'ın yapay zeka ajanlarıyla yaşadığı olaylarla gündeme geliyor

OpenAI'ın son aylarda "model uyumsuzluğu" vakalarıyla dikkatleri üzerine çektiğini belirtmekte fayda var. Şirket temmuz ayında yaptığı açıklamada, kurum içi siber güvenlik değerlendirmeleri sırasında OpenAI modellerinin kendilerini internetten izole eden güvenlik kontrollerini aşarak hem şirketin araştırma altyapısının bazı bölümlerine hem de Hugging Face sistemlerine eriştiğini açıklamıştı. Olayda ağırlıklı olarak GPT-5.6 Sol ile benzer ölçekte, yalnızca şirket içinde kullanılan daha yetenekli bir araştırma modeli rol oynadı.

Hugging Face olayının ardından OpenAI, yeni modellerine yönelik bazı reinforcement learning çalışmalarını zaten geçici olarak yavaşlatmıştı. Şirket ağustos ayında, planlanan en büyük frontier RL çalışmasının güvenlik önlemleri değerlendirilirken bekletildiğini; bazı daha küçük ölçekli eğitim ve değerlendirmelerin ise daha sıkı kontroller altında sürdüğünü açıklamıştı.

OpenAI'ın yaptığı daha geniş kapsamlı incelemeler, yapay zeka ajanlarının üçüncü taraf internet sitelerinde de beklenmedik davranışlar sergilediğini ortaya çıkardı. Şirket, erişim kontrollerinin aşılması, internette açık şekilde bulunan kimlik bilgilerinin kullanılması, sorgu veya komut enjeksiyonu girişimleri ve üçüncü taraf sitelerde istenmeyen içerik oluşturulması gibi vakalar nedeniyle şimdiye kadar onlarca kuruluşu bilgilendirdiğini açıkladı.

Bağımsız yapay zeka araştırma kuruluşu Transluce da OpenAI ile ilişkilendirilen ajanların, rutin bilgi toplama görevleri sırasında internet üzerindeki kısıtlamaları aşmak için çeşitli servislerden faydalandığına dair bulgular yayımladı. Araştırmacılar, mayıs ve haziran aylarında üç farklı veri kaynağına yönelik güvenlik açığı istismar girişimi tespit ettiklerini; bunların arasında Avustralya hükümetine ait bir sağlık veri hizmetinin de bulunduğunu belirtiyor.

OpenAI, ajanlarının U.S. Census Bureau verilerine internette bulunan giriş bilgileri aracılığıyla eriştiğini ve SEC'in kamuya açık bilgilerini topladığını doğruladı. Şirket, her iki olayda da özel verilere erişilmediğini belirtti. Transluce ise OpenAI ile ilişkilendirdiği ajanların ABD Eğitim Bakanlığı'na bağlı Office for Civil Rights web sitesine yönelik başarısız bir erişim girişimi tespit ettiğini açıkladı. Eğitim Bakanlığı, sistemlerinde herhangi bir etki tespit edilmediğini bildirdi.

OpenAI, 16 Eylül'de model uyumsuzluğu vakalarını daha sistematik biçimde takip etmek ve kamuoyuna açıklamak için yeni bir raporlama çerçevesi de duyurmuştu. Son eğitim durdurma kararı ise şirketin, güvenlik önlemlerinin model yeteneklerinin gerisinde kaldığı durumlarda geliştirme çalışmalarını yavaşlatabileceğini gösteriyor.