AI Kalitesini Ölçmek: Doğruluk, Maliyet ve Gecikme İçin Bir Test Planı

Bir AI özelliğini birkaç başarılı örnekle değerlendirmek kolaydır. Zor olan, yeni model veya istem sürümünün hangi kullanıcılar için iyileştiğini ve nerede gerilediğini görebilmektir. Bunun için ürün ekibinin anlayabildiği, mühendislik ekibinin tekrar çalıştırabildiği küçük ama temsil gücü olan bir değerlendirme seti gerekir.

Başarıyı gözlenebilir bir sonuca bağlayın

“Yanıt güzel” yerine “Talep doğru kategoriye atandı”, “Yanıttaki iddia izinli kaynakla destekleniyor” veya “Oluşturulan dosya açılıyor ve gereken alanları içeriyor” gibi kontrol edilebilir koşullar yazın. Ajanın işlemi yaptığını söylemesiyle işlemin sistemde gerçekleşmesi ayrı şeylerdir.

Anthropic’in Ocak 2026 tarihli değerlendirme rehberi; kodla yapılan kontrolleri, modelle puanlamayı ve insan değerlendirmesini birlikte ele alır. Birden çok adım atan ajanlarda hem yürütme kaydını hem son durumu incelemek gerekir. Model tabanlı değerlendiriciler de insan değerlendirmeleriyle kalibre edilmelidir. Anthropic: AI ajanları için değerlendirmeler.

İlk test dosyasını nasıl hazırlamalı?

Önerdiğimiz dosyada her satırda bir kullanıcı amacı, girdi, beklenen sonuç, kabul edilmeyen davranış ve önem derecesi bulunur. Örnekleri yalnızca geliştirme sırasında sık denediğiniz sorulardan seçmeyin. Kısa ve eksik talepler, yazım hataları, çelişkili bilgiler, bulunamayan kaynaklar ve araç kesintileri de olsun.

• Normal durum: Kullanıcı açık bir soru sorar; gerekli veri hazırdır.
• Sınır durum: Benzer isimli iki kayıt vardır; sistem ayrım yapmalıdır.
• Olumsuz durum: Yetkisiz işlem veya mevcut olmayan bilgi istenir.
• Dayanıklılık: Araç yavaşlar veya aynı istek yeniden gelir.

Üç metriği aynı görev üzerinde izleyin

Kalite: Kaç görev kabul koşullarını geçti? Hataları türlerine ayırın; kritik bir veri sızıntısı küçük bir üslup hatasıyla aynı puanda erimemeli.

Maliyet: Yalnızca ilk model çağrısını saymayın. Tekrar denemeler, arama, araç kullanımı ve varsa insan düzeltme süresini ayrı kaydedin. “Başarılı iş başına maliyet” için kapsamını açıkça tanımladığınız toplam maliyeti başarılı görev sayısına bölün. Başarılı görev yoksa bu oranı anlamlı bir sonuç gibi raporlamayın.

Gecikme: İlk yanıtın görünmesi ile işin tamamlanması arasındaki farkı ölçün. Medyanın yanında yavaş kalan istekleri gösteren yüzde 95’lik dilimi izleyin. Kullanıcı açısından önemli olan bazen metnin akmaya başlaması, bazen indirilebilir dosyanın hazır olmasıdır.

Karşılaştırmayı adil tutun

Eski ve yeni sürümü aynı veri kümesi, araç sürümü ve başlangıç koşullarıyla çalıştırın. Test koşullarını kaydedin. Tek bir başarılı çalıştırmayı seçmek yerine tekrarlar arasındaki değişkenliği görünür tutun. İstemi geliştirirken kullandığınız örneklerle son değerlendirme örneklerini ayırın; aksi hâlde yalnızca tanıdık sorulara uyum sağlamış olabilirsiniz.

Yayın kararı için kısa bir kayıt bırakın

Karar kaydı şu dört soruya yanıt versin: Hangi sürüm değişti? Hangi görevler iyileşti? Hangi hata türleri hâlâ açık? Hangi durumda eski sürüme dönülecek? Evrensel bir başarı yüzdesi dayatmak yerine eşikleri işin etkisine göre ürün sahibiyle belirleyin.

Bu planı, AI destekli test otomasyonu sürecinin parçası yaparak model, istem ve araç değişikliklerini aynı kalite kapısından geçirebilirsiniz.