Kurumsal RAG Tasarımı: Kaynak Gösteren ve Yetki Sınırlarını Koruyan AI

Bir çalışanın prosedürü bulmak için çok sayıda belge açması gerektiğini düşünün. RAG, ilgili içerikleri arayıp bir dil modelinin yanıtına bağlam olarak sunarak bu aramayı kolaylaştırabilir. Fakat akıcı bir yanıt, doğru belgenin bulunduğunu veya kullanıcının o belgeyi görmeye yetkili olduğunu tek başına kanıtlamaz.

Yanıtın hangi belgeye dayandığı görünür olsun

Önerdiğimiz başlangıç tasarımında her önemli iddia, belge adı ve ilgili bölümle birlikte gösterilir. Kullanıcı kaynağı açıp kontrol edebilmelidir. Yalnızca yazının altına üç bağlantı koymak yeterli değildir: bağlantılar, yanındaki iddiayı gerçekten desteklemelidir.

Örneğin kullanıcı “Uzaktan çalışma için kimden onay almalıyım?” dediğinde yanıt, güncel prosedürün onay adımını göstermelidir. Belgede bulunmayan bir istisna sorulursa sistem bunu belirtmeli; benzer bir belgeden kural üretmemelidir.

Belge iznini arama aşamasında uygulayın

Microsoft’un belge düzeyinde erişim kontrolü dokümantasyonu, kullanıcının kimliğine göre arama sonuçlarını sınırlandıran farklı yaklaşımları açıklar. İzin metaverisinin indekslenmesi ve sorgu sırasında uygulanması, erişim sınırının yanıt üreten modele bırakılmamasını sağlar. Bazı yerleşik özellikler önizleme durumundadır; kullanılan altyapının desteklediği yöntem ayrıca kontrol edilmelidir. Microsoft: belge düzeyinde erişim kontrolü.

Bir tasarım kontrolü olarak aynı soruyu iki farklı kullanıcı rolüyle deneyin. Birinin görebildiği belgenin başlığı, özeti veya alıntısı diğerinin yanıtına sızıyor mu? Paylaşılan önbellek ve konuşma geçmişi de aynı erişim sınırını korumalıdır.

Güncellik için bir belge yaşam döngüsü kurun

• Her belgeye içerik sahibi, sürüm, geçerlilik tarihi ve kaynak adresi ekleyin.
• Eski sürüm ile yürürlükteki sürümü aramada ayırt edin.
• Silinen veya erişimi kaldırılan bir belgenin indeksten ve ilgili önbellekten ne zaman çıkacağını tanımlayın.
• İndeksleme hatalarını yalnızca teknik ekibe değil içerik sahibine de görünür kılın.

Bu kontrol listesi bir uygulama önerisidir. Saklama süresi veya yasal uygunluk kararı değildir; kurumun mevcut veri politikalarıyla birlikte ele alınmalıdır.

İlk test setinde beş ayrı durum bulunsun

1. Doğrudan yanıt: Bilgi tek belgede açıkça yer alıyor.
2. Birleştirme: Yanıt için iki izinli belgedeki bilgiler gerekiyor.
3. Çelişki: Eski ve yeni prosedür farklı şeyler söylüyor.
4. Yanıtsız soru: Bilgi kurum kaynaklarında bulunmuyor.
5. Yetki sınırı: İlgili belge var, fakat kullanıcı erişemiyor.

Aramanın doğru belgeyi getirip getirmediğini, yanıtın kaynağa sadakatini ve alıntıların doğruluğunu ayrı değerlendirin. Böylece sorun arama katmanındayken yalnızca istemi değiştirerek zaman kaybetmezsiniz. Microsoft da RAG değerlendirmesinde bilgi getirme ve yanıt kalitesini ayrı bileşenler olarak ele alır. RAG değerlendirme bileşenleri.

Dar bir kapsamla başlayın

İlk pilot için sahibi belli, düzenli güncellenen bir belge kümesi seçin. Başarıyı yalnızca yanıt sayısıyla değil, kullanıcının doğru kaynağa ulaşması ve yanıtsız durumların doğru yönetilmesiyle değerlendirin. Bu hazırlık, kurumsal ürün geliştirme sürecinde arama, kimlik ve içerik yönetimi ekiplerinin ortak işidir.