Bellek Sorununu Doğru Tanımlamak
Bir AI agent’ın her konuşmayı hatırlaması, onu otomatik olarak daha yetenekli yapmaz. Gereksiz geçmiş; bağlam penceresini tüketebilir, eski bilgileri güncel gerçeklerle karıştırabilir ve kişisel verilerin kontrolsüz biçimde taşınmasına yol açabilir. Bu nedenle önce hangi bilginin gerçekten belleğe alınacağını tanımlamak gerekir.
Pratikte üç katman kullanılabilir:
Belleğe Yazma Kriterleri ve Unutma Politikası
Agent’ın her çıktıyı otomatik olarak belleğe yazması yerine, yazma kararını ayrı bir adım olarak ele almak daha güvenlidir. Bu karar; bilginin gelecekte tekrar kullanılabilirliği, doğrulanabilirliği, hassasiyet seviyesi ve geçerlilik süresi üzerinden verilebilir.
Örneğin “kullanıcı kahveyi sütsüz tercih ediyor” uzun süre geçerli olabilecek bir tercihtir. Buna karşılık “bu hafta teslimat adresi şudur” zamanla geçersizleşebilir. Bellek kaydına aşağıdaki alanlar eklenebilir:
Geri Çağırma Kalitesi ve Çelişki Yönetimi
Belleğin saklanması kadar doğru zamanda geri çağrılması da kritiktir. Her istekte tüm kayıtları modele göndermek yerine, isteğin amacıyla ilişkili bellekler seçilmeli ve modele neden getirildiği açıkça belirtilmelidir. Basit bir seçim akışı şöyle olabilir:
Örneğin iki farklı teslimat tercihi bulunuyorsa model bunlardan birini sessizce seçmemelidir. “Kayıtlar arasında çelişki var; hangisi geçerli?” sorusu, yanlış otomasyondan daha yavaş olsa da daha güvenilir bir davranıştır. Bellek içeriğinin sistem talimatı gibi değerlendirilmemesi de önemlidir; bellekteki metin, yalnızca veri olarak işlenmelidir.
Gizlilik, Yetki ve Maliyet Dengesi
Kalıcı bellekte kişisel, finansal veya kurumsal açıdan hassas bilgiler tutulacaksa açık amaç, erişim sınırı ve silme mekanizması tanımlanmalıdır. Agent’ın bir kullanıcı için tuttuğu bilgi başka bir kullanıcıya bağlam olarak taşınmamalıdır. Ayrıca ekip içindeki her otomasyonun aynı belleğe sınırsız erişmesi yerine, görev veya rol temelli izinler uygulanabilir.
Teknik maliyet de göz ardı edilmemelidir. Daha büyük bellek deposu; arama, özetleme, doğrulama ve izleme yükünü artırır. Bu yüzden her kaydı uzun metne dönüştürmek yerine, kısa yapılandırılmış özetler ve kaynağa geri dönülebilen referanslar tercih edilebilir. Hassas içerik için model çağrısından önce maskeleme veya alan bazlı filtreleme düşünülebilir.
Deney Tasarımı ve Ölçülebilir Başarı Kriterleri
Bellek sistemini yalnızca birkaç başarılı demo ile değerlendirmek yanıltıcıdır. En azından şu senaryolar ayrı ayrı test edilmelidir:
Bir AI agent’ın her konuşmayı hatırlaması, onu otomatik olarak daha yetenekli yapmaz. Gereksiz geçmiş; bağlam penceresini tüketebilir, eski bilgileri güncel gerçeklerle karıştırabilir ve kişisel verilerin kontrolsüz biçimde taşınmasına yol açabilir. Bu nedenle önce hangi bilginin gerçekten belleğe alınacağını tanımlamak gerekir.
Pratikte üç katman kullanılabilir:
- Kısa süreli bağlam: Mevcut görev, son kullanıcı mesajları ve o görev için gerekli araç sonuçları.
- Oturum belleği: Kullanıcının aynı iş akışı içindeki tercihleri, kararları ve tamamlanmamış adımları.
- Kalıcı bilgi: Kullanıcının açıkça saklanmasını istediği veya ürünün işleyişi için gerekli, doğrulanabilir veriler.
Belleğe Yazma Kriterleri ve Unutma Politikası
Agent’ın her çıktıyı otomatik olarak belleğe yazması yerine, yazma kararını ayrı bir adım olarak ele almak daha güvenlidir. Bu karar; bilginin gelecekte tekrar kullanılabilirliği, doğrulanabilirliği, hassasiyet seviyesi ve geçerlilik süresi üzerinden verilebilir.
Örneğin “kullanıcı kahveyi sütsüz tercih ediyor” uzun süre geçerli olabilecek bir tercihtir. Buna karşılık “bu hafta teslimat adresi şudur” zamanla geçersizleşebilir. Bellek kaydına aşağıdaki alanlar eklenebilir:
- Bilginin kaynağı ve oluşturulma zamanı
- Güven seviyesi veya doğrulama durumu
- Geçerlilik süresi ve son gözden geçirme tarihi
- Kullanıcının düzeltme ve silme işlemi için referans kimliği
- Hangi görevlerde kullanılabileceği
Geri Çağırma Kalitesi ve Çelişki Yönetimi
Belleğin saklanması kadar doğru zamanda geri çağrılması da kritiktir. Her istekte tüm kayıtları modele göndermek yerine, isteğin amacıyla ilişkili bellekler seçilmeli ve modele neden getirildiği açıkça belirtilmelidir. Basit bir seçim akışı şöyle olabilir:
1. İsteğin amacı ve kapsamı belirlenir.
2. İlgili bellek kayıtları filtrelenir.
3. Güncellik, kaynak ve görev uygunluğu değerlendirilir.
4. Çelişkili kayıtlar ayrı işaretlenir.
5. Agent emin değilse kullanıcıdan doğrulama ister.
Örneğin iki farklı teslimat tercihi bulunuyorsa model bunlardan birini sessizce seçmemelidir. “Kayıtlar arasında çelişki var; hangisi geçerli?” sorusu, yanlış otomasyondan daha yavaş olsa da daha güvenilir bir davranıştır. Bellek içeriğinin sistem talimatı gibi değerlendirilmemesi de önemlidir; bellekteki metin, yalnızca veri olarak işlenmelidir.
Gizlilik, Yetki ve Maliyet Dengesi
Kalıcı bellekte kişisel, finansal veya kurumsal açıdan hassas bilgiler tutulacaksa açık amaç, erişim sınırı ve silme mekanizması tanımlanmalıdır. Agent’ın bir kullanıcı için tuttuğu bilgi başka bir kullanıcıya bağlam olarak taşınmamalıdır. Ayrıca ekip içindeki her otomasyonun aynı belleğe sınırsız erişmesi yerine, görev veya rol temelli izinler uygulanabilir.
Teknik maliyet de göz ardı edilmemelidir. Daha büyük bellek deposu; arama, özetleme, doğrulama ve izleme yükünü artırır. Bu yüzden her kaydı uzun metne dönüştürmek yerine, kısa yapılandırılmış özetler ve kaynağa geri dönülebilen referanslar tercih edilebilir. Hassas içerik için model çağrısından önce maskeleme veya alan bazlı filtreleme düşünülebilir.
Deney Tasarımı ve Ölçülebilir Başarı Kriterleri
Bellek sistemini yalnızca birkaç başarılı demo ile değerlendirmek yanıltıcıdır. En azından şu senaryolar ayrı ayrı test edilmelidir:
- Doğru tercihin doğru görevde geri çağrılması
- Süresi dolmuş bilginin kullanılmaması
- Çelişkili kayıt karşısında doğrulama istenmesi
- Kullanıcının silme veya düzeltme talebinin uygulanması
- Bir kullanıcıya ait bilginin başka bağlama sızmaması
- Bellek kapalıyken agent’ın güvenli varsayılan davranış göstermesi