Kapsamı ve Tehdit Modelini Önce Tanımlayın

Güvenli bir AI sistemi yalnızca zararlı istemleri reddeden bir modelden oluşmaz. Modelin eriştiği veriler, çağırabildiği araçlar, çıktının aktarıldığı sistemler ve hatalı işlemlerin nasıl geri alınacağı birlikte ele alınmalıdır. İlk adım, sistemi uçtan uca bir veri ve yetki akışı olarak haritalamaktır.

Tehdit modelinde en az şu sorulara yanıt verin:

• Kullanıcı girdisi, harici doküman, araç çıktısı ve sistem talimatı güvenilirlik açısından birbirinden ayrılıyor mu?
• Model; e-posta gönderme, kayıt silme, ödeme başlatma veya dosya okuma gibi yan etkili araçlara erişebiliyor mu?
• Hassas veri istemlerde, bağlamda, loglarda, önbellekte veya üçüncü taraf API'lerde tutuluyor mu?
• Bir prompt injection başarılı olursa saldırganın ulaşabileceği en kötü sonuç nedir?
• Hatalı bir karar insan onayı, işlem geri alma, kapsam sınırlaması veya oran sınırlamasıyla durdurulabiliyor mu?

Her araç için izin verilen parametreleri, veri sınıfını, kimlik ve yetki koşullarını, zaman aşımını ve başarısızlık davranışını yazılı hale getirin. Model çıktısını güvenilir komut olarak değil, doğrulanması gereken bir öneri olarak ele alın. Kritik işlemleri modelden bağımsız bir politika katmanında doğrulayın; modelin bir sistem mesajını veya doküman içindeki talimatı kendi başına yetki yükseltme gerekçesi olarak kabul etmesine izin vermeyin.

Saldırı ve Normal Kullanımı Birlikte Kapsayan Eval Setleri Oluşturun

Yalnızca bilinen jailbreak örneklerinden oluşan bir eval seti üretim riskini ölçmez. Normal kullanıcı istekleri, sınırda kalan talepler, yanlış pozitif oluşturabilecek meşru içerikler, çok adımlı saldırılar ve araç kullanan akışlar aynı test planında yer almalıdır. Her kayda aşağıdaki alanları eklemek ölçümü tekrarlanabilir kılar:

• Senaryo amacı, risk sınıfı ve etkilenen varlık
• Girdi güvenilirlik seviyesi: kullanıcı, harici doküman, araç çıktısı veya sistem verisi
• Beklenen karar: izin ver, reddet, kısmi yanıt ver veya insan onayına gönder
• Hassas veri içerip içermediği ve beklenen redaksiyon davranışı
• Beklenen araç çağrıları, izin verilen parametreler ve yasaklı yan etkiler
• Değerlendirme yöntemi, kabul eşiği ve önem derecesi

Prompt injection testlerine doğrudan talimat hiyerarşisi saldırılarının yanı sıra RAG dokümanına gömülmüş talimatları, araç çıktısındaki yönlendirmeleri, kod yorumlarını, tablo ve görsel açıklamalarını, çok dilli ve parçalı saldırıları da ekleyin. Modelin önceki yanıtını veya dış kaynaktan gelen metni güvenilir politika gibi kullanıp kullanmadığını özellikle ölçün.

Gerçek müşteri verileri yerine sentetik ya da maskelenmiş kayıtlar kullanın. Eval setini sürümleyin; model, sistem prompt'u, retriever, araç şeması veya guardrail değiştiğinde ilgili testleri yeniden çalıştırın. Üretim olaylarını uygun anonimleştirme sonrasında regresyon testlerine dönüştürün. Değerlendirme sonucunu tek bir ortalama skorla değil, saldırı sınıfı, önem derecesi ve akış bazında raporlayın.

Guardrail'leri Katmanlı ve Arıza Güvenli Tasarlayın

Tek bir içerik filtresi gizlilik, prompt injection ve araç güvenliği için yeterli değildir. Katmanlı tasarım, bir kontrolün atlatılmasının kritik etkiye doğrudan dönüşmesini engeller.



Girdi katmanında boyut, biçim, karakter, oran ve içerik kontrolleri uygulayın. RAG bağlamını açıkça “veri” olarak işaretleyin; doküman içindeki talimatların sistem politikasını değiştirmesine izin vermeyin. Çıktı katmanında kişisel veri, sır benzeri diziler, yetkisiz işlem önerileri, güvenlik politikası ihlalleri ve desteklenmeyen kesin iddialar için kontroller kullanın.

Araç çağrılarında modelin ürettiği veriyi JSON şemasına göre doğrulayın, alanları beyaz listeyle sınırlandırın, kullanıcı yetkisini sunucu tarafında yeniden kontrol edin ve varsayılan olarak en az ayrıcalık ilkesini uygulayın. Yüksek etkili eylemler için açık kullanıcı onayı, ikinci bir politika kontrolü veya insan incelemesi isteyin. “Onaylandı” gibi model tarafından üretilen ifadeleri gerçek yetki kanıtı kabul etmeyin.

Bir guardrail hata verdiğinde, zaman aşımına uğradığında veya devre dışı kaldığında güvenli varsayılan davranış işlemi durdurmak olmalıdır. Kullanıcıya iç politika ayrıntılarını açmadan, işlemin neden tamamlanamadığını ve güvenli bir alternatif bulunduğunda bunu anlaşılır biçimde bildirin.

Ölçümleme, Gözlemlenebilirlik ve Yayına Alma Kapıları

Güvenlik durumunu tek bir skorla özetlemeyin. En az şu metrikleri akış ve risk sınıfı bazında izleyin:

• Saldırı başarı oranı ve kritik eyleme ulaşan saldırı oranı
• Meşru isteklerde yanlış pozitif ret oranı
• Hassas veri tespit, redaksiyon ve sızıntı önleme başarısı
• Yetkisiz, şema dışı veya başarısız araç çağrısı oranı
• İnsan onayına düşen işlem oranı ve ek gecikme
• Guardrail hatası, zaman aşımı ve güvenli geri dönüş oranı

Loglarda tam kullanıcı istemini veya hassas araç çıktısını varsayılan olarak saklamayın. Olay kimliği, politika sonucu, risk seviyesi, model ve guardrail sürümü, araç adı ve redakte edilmiş özet çoğu operasyonel inceleme için yeterlidir. Ham içerik zorunluysa erişim yetkisini, saklama süresini, şifrelemeyi ve denetim kaydını tanımlayın. Gözlemlenebilirlik sistemi de veri minimizasyonu ve erişim kontrolü kapsamındadır.

Yeni model, prompt veya araç sürümü için yayına alma kapıları belirleyin. Kritik saldırı sınıflarında sıfır tolerans gerektiren durumları, kabul edilebilir yanlış pozitif aralığını, araç doğrulama başarısını ve gecikme bütçesini önceden yazın. Eşikler karşılanmıyorsa değişikliği yayına almayın; zorunlu denemelerde kapsamı sınırlayın, kademeli dağıtım uygulayın ve geri dönüş planını doğrulayın.

Olay Sonrası Öğrenme ve Sürekli İyileştirme

Bir güvenlik olayını yalnızca engellendi veya engellenmedi şeklinde kaydetmeyin. Kök neden; yanlış güven seviyesi, fazla araç yetkisi, eksik redaksiyon, hatalı eval, yetersiz loglama veya gözden kaçan bir entegrasyon olabilir. Olay kaydında etkilenen akış, model ve politika sürümleri, veri maruziyeti, alınan sınırlama, kullanıcı etkisi ve kalıcı düzeltme yer almalıdır.

Düzeltmeden sonra aynı saldırı biçimini, benzer meşru istekleri ve farklı bağlam varyantlarını yeniden çalıştırın. Düzeltmenin saldırı başarısını azaltırken erişilebilirliği veya meşru kullanıcı deneyimini gereksiz yere bozmadığını ölçün. Böylece eval setleri, guardrail'ler, yetki politikaları ve gözlemlenebilirlik birlikte gelişen; ölçülebilir ve geri alınabilir bir üretim güvenlik döngüsüne dönüşür.