RAG Projesine Başlamadan Önce Teknik Checklist

Bu içerik kimler için?

RAG PoC veya üretim projesi planlayan teknik ekipler için hazırlanmıştır. İçerik, teknoloji seçimini tek başına ele almak yerine veri, güvenlik, işletim ve ölçüm gereksinimlerini birlikte değerlendirmeye yardımcı olur.

1. Veri kaynakları ve sahiplik

• Hangi depolar bağlanacak?
• Dokümanların sahibi kim?
• Güncelleme ve silme nasıl izlenecek?
• Kopya ve eski sürümler nasıl ele alınacak?

2. İzin modeli

• Kullanıcı ve rol kaynakları
• Belge düzeyi erişim
• Tenant sınırları
• Yetki değişikliklerinin indekse yansıması

3. Doküman kalitesi ve parçalama

PDF türü, tarama kalitesi, tablo yapısı ve başlık hiyerarşisi ayrıştırma stratejisini belirler. Chunk boyutu tek bir sabit sayı değil; içerik türü ve soru yapısına göre değerlendirilmelidir.

4. Embedding, indeks ve değerlendirme

• Dil ve alan uyumlu embedding
• Vektör veritabanı seçenekleri
• Metadata filtreleri
• Golden question set
• Retrieval ve cevap değerlendirmesi

5. Güvenlik ve dağıtım

• Model sağlayıcısı ve veri sınırı
• On-premise / özel bulut ihtiyacı
• Loglama ve maskeleme
• Yedekleme
• Maliyet ve kapasite takibi

6. Başarı kriterlerini önceden yazın

Proje başlamadan önce hangi soruların cevaplanacağı, hangi kaynakların doğru kabul edileceği ve sistemin hangi durumlarda cevap vermemesi gerektiği belirlenmelidir. Sadece demo sırasında seçilen birkaç başarılı soru, üretim uygunluğunu göstermez.

Değerlendirme seti farklı doküman tiplerini, kısa ve uzun soruları, eş anlamlı ifadeleri, güncel olmayan içeriği ve erişim kısıtlarını kapsamalıdır. Sonuçlar retrieval ve cevap üretimi için ayrı raporlanmalıdır.

7. İşletim modelini tanımlayın

İndeksin kim tarafından güncelleneceği, hatalı içeriğin nasıl kaldırılacağı, kullanıcı geri bildiriminin kim tarafından inceleneceği ve model değişikliklerinin nasıl onaylanacağı açık olmalıdır. RAG sistemi yayınlandıktan sonra bakımsız bırakılabilecek statik bir arama ekranı değildir.

Olay yönetimi de planlanmalıdır. Yetkisiz sonuç, yanlış kaynak, gecikme veya sağlayıcı kesintisi gibi durumlarda teknik ekip ile bilgi sahibinin izleyeceği adımlar önceden belirlenmelidir.

8. Maliyet ve kapasite hesabı

Maliyet yalnızca LLM çağrısından oluşmaz. Ayrıştırma, OCR, embedding, indeks depolama, yedekleme, ağ trafiği, gözlemleme ve insan incelemesi toplam maliyete dahildir. Doküman değişim sıklığı yeniden indeksleme yükünü doğrudan etkiler.

Pilot aşamasında ortalama ve yoğun saat kullanımı ölçülmeli; kullanıcı başına sorgu sayısı, bağlam büyüklüğü ve gecikme hedefi birlikte değerlendirilmelidir. Bu veriler teknoloji seçiminin ve dağıtım modelinin gerçekçi olmasını sağlar.

9. Karar kapısı

• Veri erişimi ve sahiplik net mi?
• Yetki modeli indeksleme katmanına taşınabiliyor mu?
• Temsili değerlendirme seti hazır mı?
• Cevapsız kalma ve kaynak gösterme davranışı test edildi mi?
• Pilot için operasyon sahibi belirlendi mi?
• Üretim maliyeti ve kapasite varsayımları yazılı mı?

Teknik keşif toplantısına nasıl hazırlanılır?

İlk görüşmeden önce çözülmek istenen iş problemini, etkilenen kullanıcı gruplarını, kullanılabilecek veri kaynaklarını ve mevcut güvenlik kısıtlarını kısa bir dokümanda toplamak yararlıdır. Örnek doküman veya veri hazırlanırken gerçek üretim çeşitliliğini temsil eden, paylaşımı izinli ve kişisel veri açısından değerlendirilmiş bir alt küme seçilmelidir.

Toplantının çıktısı doğrudan teknoloji seçimi olmak zorunda değildir. Öncelikle kapsam dışı alanlar, başarı ölçütleri, veri sahipleri, yetki varsayımları ve pilot kararını etkileyen riskler netleştirilmelidir. Ayrıca kararların, açık soruların ve sorumluların kısa bir toplantı kaydında tutulması sonraki teknik değerlendirmeyi hızlandırır. Bu hazırlık, gösterişli ancak ölçülemeyen bir demo yerine doğrulanabilir bir PoC planı oluşturulmasını sağlar.

• Birincil iş problemi ve beklenen kullanıcı sonucu
• Temsili, izinli veri veya doküman örnekleri
• Mevcut kimlik, yetki ve entegrasyon sınırları
• PoC sonunda ölçülecek teknik ve operasyonel göstergeler

PoC kararından sonra

Olumlu bir PoC sonucu doğrudan geniş ölçekli yayına geçmek için yeterli değildir. Pilot aşamasında gerçek kullanıcı davranışı, veri güncelleme sıklığı, destek ihtiyacı, kapasite ve hata senaryoları izlenmelidir. Üretim kararı; teknik kalite kadar operasyon sahipliği, güvenlik onayı, maliyet görünürlüğü ve geri dönüş planına dayanmalıdır.