AI Ajanlarını Üretime Taşımak: Yetki, İnsan Onayı ve Geri Alma Planı

Bir yapay zekâ ajanının demoda doğru yanıt vermesi, canlı sistemde güvenilir çalışacağını göstermez. Üretime geçişte asıl soru şudur: Ajan yanlış anladığında hangi işlemleri yapabilir ve bu işlemleri kim durdurabilir? Bu yazı, teknik ekiplerle süreç sahiplerinin birlikte kullanabileceği bir pilot tasarımı önerir.

Önce görevi ve başarı koşulunu daraltın

“Müşteri operasyonlarını otomatikleştir” gibi geniş bir hedef yerine, “Gelen destek kaydını sınıflandır, ilgili bilgi tabanını bul ve yanıt taslağı hazırla” şeklinde sınırları belirli bir iş seçin. Taslağın gönderilmesi ayrı bir aşama olsun. Anthropic, önceden tanımlanmış adımlarla ilerleyen iş akışları ile araç kullanımını dinamik olarak seçen ajanları ayırır; ek karmaşıklığın ölçülebilir fayda sağlamasını önerir. Mimari yaklaşımın kaynağı.

Yetkiyi üç katmanda tanımlayın

• Veri: Hangi kayıtları okuyabilir? Başka bir müşterinin kaydı sonuçlara karışabilir mi?
• İşlem: Taslak oluşturma, kayıt güncelleme ve gönderme ayrı araçlar mı?
• Etki: Bir yanlış işlem kaç kişiyi veya kaydı etkileyebilir?

OWASP, gereğinden fazla işlev, izin ve özerkliği ayrı risk kaynakları olarak ele alır. Yetkilendirmeyi modelin kararına bırakmadan uygulama ve API katmanında doğrulamak, yüksek etkili işlemleri insan onayına bağlamak önerilen önlemlerdendir. OWASP Excessive Agency.

Onay ekranında somut sonucu gösterin

“Devam edilsin mi?” sorusu tek başına yeterli değildir. Önerdiğimiz tasarımda kullanıcı alıcıyı, değişecek alanları, önceki ve yeni değerleri, varsa tutarı aynı ekranda görür. Kullanıcı metni değiştirirse onay, eski taslağa değil güncel sürüme bağlanır. Zaman aşımına uğrayan veya kapsamı değişen işler yeniden değerlendirilir.

Örnek pilot: destek kaydından yanıt taslağına

1. Ajan, yalnızca kendisine atanmış kaydı ve izinli bilgi tabanını okur.
2. Yanıt taslağını, kullandığı kaynakları ve eksik bilgileri ayrı alanlarda üretir.
3. Eksik sipariş numarası gibi bir belirsizlik varsa işlem yapmak yerine açıklama ister.
4. Gönderim, yetkili çalışanın kontrolünden sonra ayrı bir servis tarafından yapılır.
5. Aynı isteğin yeniden çalışması ikinci kez mesaj göndermemelidir; tekrar kontrolü uygulama katmanında tutulur.

Bu senaryo bir tasarım örneğidir; gerçekleşmiş bir müşteri projesi veya performans sonucu değildir.

Yayın kapısı ve durdurma planı

Pilotta normal kayıtların yanında çelişkili talimatları, bozuk araç yanıtlarını, yetkisiz kayıt isteklerini ve zaman aşımını deneyin. Her hata için “güvenle durdu”, “yanlış işlem yaptı” ve “insana yönlendirdi” sonuçlarını ayrı tutun. Toplam başarı oranı kritik bir yetki hatasını gizlememeli.

Canlıya çıkmadan önce bir sorumlu, işlem sınırı, acil durdurma yolu ve geri alma yöntemi belirleyin. İlk aşamada yalnızca taslak üreten akış, daha geniş yetki gereksinimini gerçek kullanım üzerinden değerlendirmeyi kolaylaştırır. AI destekli iş süreci otomasyonu çalışmasını bu kontrol noktalarıyla planlayabilirsiniz.