Bir şirketin destek asistanı, genel internet bilgisinden çok o şirketin güncel ürün belgelerine ihtiyaç duyar. RAG, yani bilgi getirmeyle desteklenen üretim, ilgili kaynak parçalarını önce bulup sonra dil modeline sunan bir yaklaşımdır. Amaç, yanıtı eldeki kurumsal bilgiyle ilişkilendirmek ve dayanağını daha görünür kılmaktır.
Arama ile üretimi iki ayrı iş olarak görün
İlk adım doğru belgeyi bulmaktır. İkinci adım, bulunan bilgiyi soruya uygun bir yanıta dönüştürmektir. İlk adımda yanlış sürümün kılavuzu seçilirse model akıcı biçimde yanlış açıklama üretebilir. Dolayısıyla bütün kalite sorunlarını yalnızca talimat metnini değiştirerek çözmek mümkün değildir.
Örneğin kullanıcı “X cihazında bağlantı ışığı neden yanıp sönüyor?” diye sorsun. Sistemin benzer bir Y modelinin kılavuzunu bulması, dil üretimi başarılı olsa bile hatalı sonuç doğurabilir. Model adı ve sürüm gibi kesin eşleşmeler bu yüzden önemlidir.
Belgeleri anlamını koruyarak parçalayın
Büyük belgeler genellikle daha küçük parçalara ayrılır. Parçalama sınırı, bir başlığı açıklamasından veya bir tabloyu birimlerinden ayırırsa gerekli bağlam kaybolabilir. Parçanın hangi ürün, sürüm ve bölümden geldiğini saklamak yararlıdır.
Bir teknik kılavuzda şu bilgileri birlikte tutabilirsiniz:
- Belge başlığı ve yayın sürümü.
- Bölüm adı ve ilgili ürün ailesi.
- Metin parçasının kendisi.
- Kaynak adresi veya sayfa numarası.
- Güncelleme ve erişim bilgileri.
Her belge türüne aynı parça uzunluğunu uygulamak yerine gerçek sorular üzerinde deneme yapın.
Anlamsal benzerlikle kesin terimleri birlikte düşünün
Anlamsal arama, farklı kelimelerle sorulan benzer ihtiyaçları yakalamaya yardımcı olabilir. Ancak hata kodu, model numarası veya özel bir belge kimliği gibi ifadelerde tam eşleşme de önemlidir. İki yaklaşımın bir arada kullanılması değerlendirilebilir.
Sistemi yalnızca “doğru cevap verdi mi?” diye ölçmeyin. Önce doğru belgeyi bulup bulmadığını inceleyin. Kaynak aramada kayboluyorsa yanıt üretimine daha fazla ayrıntılı talimat eklemek temel problemi gizleyebilir. Arama sonucunu ve nihai yanıtı ayrı kaydetmek teşhisi kolaylaştırır.
Güncellik ve yetkiyi veri hattına ekleyin
Silinen bir belge, arama dizininde yaşamaya devam ederse eski bilgi kullanılabilir. Belge ekleme kadar güncelleme ve kaldırma sürecini de tasarlayın. “İndekslendi” kaydı, belgenin hâlâ güncel ve erişilebilir olduğunu kanıtlamaz.
Erişim kontrolü de yanıt aşamasından önce uygulanmalıdır. Bir çalışanın göremediği dokümanın parçalarını modele getirip daha sonra gizlemesini istemek sağlam bir yetkilendirme modeli değildir. Kullanıcının izinleriyle arama kapsamının uyumlu olmasını sağlayın ve bunu farklı kullanıcı rolleriyle değerlendirin.
Kaynağı gösterin, garantiyi sınırlayın
Yanıtta kullanılan belgeye bağlantı ve uygun bölüm bilgisi verilmesi denetimi kolaylaştırır. Ancak bağlantı bulunması, metindeki bütün iddiaların desteklendiğini göstermez. Kaynak parçasının sonucu gerçekten taşıyıp taşımadığını da kontrol edin.
Küçük bir pilot için sık sorulan on gerçek soruyla başlayabilirsiniz. Doğru kaynak, yanlış kaynak, eksik belge ve belirsiz soru örneklerini ayırın. RAG, modelin yeni bilgiyi kalıcı olarak öğrendiği anlamına gelmez; her istekte bilgi getiren bir çalışma düzenidir. Başarısı, belge yönetimi ve arama kalitesi kadar yanıt üretiminin sınırlarını doğru kurmaya bağlıdır.
Bir pilot değerlendirmede dört soru türü hazırlayın: belgede açık yanıtı olan soru, iki bölümün birlikte okunmasını gerektiren soru, yalnızca eski sürümde yanıtı bulunan soru ve belgelerde hiç karşılığı olmayan soru. Sistem son grupta yanıt uydurmak yerine yeterli kaynak bulunmadığını gösterebilmelidir. Kaynak getirme listesini inceleyerek hatanın nerede başladığını not edin. İlgili bölüm bulunmuş fakat yanlış yorumlanmışsa üretim katmanı; bölüm hiç bulunmamışsa arama veya veri hazırlığı araştırılır. Bu ayrım, her başarısızlıkta modeli değiştirmek yerine soruna uygun müdahaleyi seçmeye yardımcı olur ve pilot çalışmayı daha öğretici kılar.
