RAG: parçalama, embedding ve yeniden sıralama

Chunk boyutu felaket mühendisliği

Çok küçük parçalar bağlamı böler; çok büyük parçalar gürültü taşır ve embedding ortalaması anlamı sulandırır. Yasal metin, teknik kılavuz ve sohbet geçmişi farklı optimal aralıklara gider. Örtüşme (overlap) sınır cümlelerinin ikiye bölünmesini yumuşatır; maliyet ve tekrar oranı artar — ölçün.

Metadata ve iki aşamalı arama

Dosya adı, bölüm başlığı, ürün sürümü gibi meta alanları filtre olarak kullanmak yanlış aday kümesini daraltır. İlk vektör aşamasından sonra daha ağır cross-encoder veya küçük dil modeli ile yeniden sıralama sık sık precision’ı sıçratır.