ما هو نافذة السياق في نموذج اللغة؟

ما الذي يُحتسب

كل شيء الذي يراه النموذج عند استلام طلب:

• تعليمات النظام
• مقاطع المستندات المرفقة
• المسار السابق للحوار
• السؤال الحالي
• والجواب الذي يُنتج

ما الذي يحدث عند امتلائها

بحسب التصميم، يتم قطع البداية أو رفض الطلب. في الحوارات الطويلة، يعني ذلك أن النموذج "ينسى" ما تم مناقشته في البداية – ويقوم بذلك دون إبداء أي إشارة.

أن تكون النافذة كبيرة لا تعني تلقائيًا أفضل

سببان:

التكاليف. يتم دفع كل ما في النافذة، وتكرار ذلك في كل طلب.

الجودة. مع المدخلات الطويلة، تنخفض موثوقية النموذج في العثور على معلومة معينة – خاصة إذا كانت في المنتصف.

مقطع مختار بعناية من صفحتين يعطي نتائج أفضل من دليل كامل.

ما الذي يترتب عليه

ليس "إلقاء كل شيء في النموذج"، بل إعداد مقصود: البحث عن المقاطع ذات الصلة فقط وإرسالها. هذا بالضبط هو مبدأ RAG.

ملاحظة عملية

عندما يبدأ المساعد في مناقشة طويلة بتعارض الآراء، يكون السبب غالبًا نافذة السياق – وليس النموذج.