Bir yapay zekâ aracına uzun bir dosya yüklediğinizde bütün metnin her koşulda aynı ayrıntıyla kullanılacağını varsaymak kolaydır. Oysa dil modelleri metni token adı verilen birimler üzerinden işler ve belirli bağlam sınırlarıyla çalışır. Bu kavramlar, uzun belge görevlerini daha bilinçli planlamaya yardımcı olur.
Tokenı kelime sayısıyla eşitlemeyin
Bir token bazen kelimenin tamamı, bazen bir bölümü veya bir işaret olabilir. Bölünme yöntemi modele ve dile göre değişebilir. Bu nedenle İngilizce için verilmiş kaba bir kelime dönüşümünü Türkçe metne kesin hesap gibi uygulamayın. Ekler ve özel karakterler sonucu etkileyebilir.
Bir dosyanın sayfa sayısı da tek başına yeterli ölçü değildir. Büyük başlıklı kısa bir sunumla küçük puntolu yoğun bir sözleşme aynı sayfa sayısında farklı miktarda metin taşır. Kesin sınır ve maliyet hesabı gerektiğinde kullanılan hizmetin güncel sayım ve kullanım araçlarına bakın.
Bağlam penceresini çalışma alanı olarak düşünün
Bağlam, modelin ilgili isteği üretirken kullanabildiği bilgilerle ilişkilidir. Talimatlar, önceki mesajlar, kaynak metinler ve araç sonuçları bu alanda yer alabilir. Bunun kalıcı ve sınırsız bir hafıza olduğu varsayılmamalıdır; ürünlerin geçmişi yönetme biçimleri farklıdır.
Uzun konuşmada eski bir ayrıntı önemini koruyorsa onu açıkça yeniden belirtmek gerekebilir. Örneğin proje için “yalnızca yayımlanmış içerikleri say” koşulunu son görevde görünür tutun. Önceki bütün konuşmanın aynı ayrıntıyla işleneceğine güvenerek kritik şartları belirsiz bırakmayın.
Uzun belgede görevi daraltın
“Bu dosyayı analiz et” yerine ne aradığınızı söyleyin. Teslim tarihlerini çıkarmak, kavramları özetlemek ve çelişkileri bulmak farklı işlemlerdir. İlgili sayfalar veya bölüm adları biliniyorsa bunları belirtmek hem incelemeyi hem sonucu değerlendirmeyi kolaylaştırır.
Bir çalışma sırası örneği:
- Belgenin türünü ve amacını tanımlayın.
- İncelenecek soruyu netleştirin.
- Gerekli bölümleri veya arama ölçütünü seçin.
- Kaynak konumlarıyla birlikte sonuç isteyin.
- Kritik bulguları özgün belgeyle karşılaştırın.
Modelin dosyaya erişebildiğini ve ilgili bölümün gerçekten işlendiğini doğrulamadan kapsamlı sonuçlara güvenmeyin.
Çıktı sınırını içerik amacına göre ayarlayın
Daha uzun yanıt her zaman daha yararlı değildir. Bir görev listesi için kısa, yapılandırılmış çıktı uygunken ayrıntılı inceleme için daha geniş açıklama gerekebilir. Çok dar çıktı sınırı önemli uyarıları veya son bölümleri dışarıda bırakabilir; aşırı geniş istek gereksiz tekrar üretebilir.
Belgeyi parçalara ayırıyorsanız parçalar arasındaki ilişkileri kaybetmemeye dikkat edin. Bir terimin tanımı önceki bölümde, istisnası sonraki bölümde bulunabilir. Yerel özetleri birleştirirken kapsam dışı bırakılan bilgileri ve belirsizlikleri koruyun. Özetin özeti, kaynak denetiminin yerine geçmez.
Maliyeti görev tasarımıyla birlikte değerlendirin
API hizmetlerinde ücretlendirme kullanılan modele, girdi ve çıktı miktarına ve hizmetin diğer özelliklerine göre değişebilir. Güncel fiyatları doğrudan sağlayıcıdan kontrol edin. Her istekte aynı büyük belgeyi gereksiz yere göndermek yerine uygun arama veya belge seçimi düzenini değerlendirebilirsiniz.
Önce küçük, temsil gücü olan bir belgeyle pilot çalışma yapın. Doğruluk, kapsam, yanıt süresi ve harcanan kaynakları birlikte izleyin. Token bilgisi yalnızca teknik bir terim değildir; hangi verinin gerçekten gerekli olduğunu düşünmeye ve uzun metin işlerini daha anlaşılır adımlara bölmeye yardımcı olur.
Uzun bir raporla çalışırken bölüm envanteri çıkarmak yararlı bir ara adımdır. Önce hangi başlıkların bulunduğunu görün, sonra görevinizle ilgili bölümleri seçin. Örneğin yalnızca proje teslimlerini arıyorsanız tarihlerin bulunduğu bölüm kadar istisna ve kapsam açıklamaları da gerekli olabilir. Sadece anahtar kelimeye göre kesilmiş parça yanlış sonuç doğurabilir. Son çıktıda kullanılan bölümlerin listesini ve kapsam dışında kalan alanları belirtmek, okuyucunun analizi olduğundan geniş sanmasını önler. Bir arama veya özetleme aracının kullandığı iç yöntemleri bilmiyorsanız bütün dosyanın eksiksiz işlendiğine ilişkin kesin ifade kullanmayın; doğrulanabilen kapsamı anlatın.
