Prompt injection ve LLM araç güvenliği

Tehdit modeli: bağlam güvenilir değildir

Kullanıcı girdisi, RAG ile çekilen belge parçası, e-posta gövdesi veya yapışkan not — hepsi potansiyel “yeni sistem talimatı” taşıyabilir. Modelin talimatlara uyma eğilimi, zararlı içeriği sıradan metin sanıp izleyen kod yollarını tetikleyebilir. Savunma tek bir filtre değildir; katmanlı politika, en az ayrıcalık ve insan onayı gerekir.

Araç yüzeyini sertleştirmek

• Araç başına kimlik doğrulama ve kota; anonim kullanıcıya aynı yöneticiye açılmış API’yi açmayın.
• Yanıtta ham içeriği doğrudan dış SMTP’ye veya üçüncü tarafa iletmeyi politika ile yasaklayın.
• Şüpheli desenleri (ör. sızdırılmaya çalışılan sırların formatı) günlükte işaretleyin.