كيف يتم تقييم نموذج لغة جديد قبل الاستخدام الإنتاجي؟

تحدد المهمة الاختبار

قبل التنزيل، يتم وصف مجال الاستخدام: اللغة، المدخلات المتوقعة، المحتويات المحظورة، تنسيق الإخراج، طول السياق المطلوب والأهداف التقنية. بعد ذلك، يتم فحص الترخيص، بطاقة النموذج، المصدر، الإصدار والقيود المعروفة. اسم النموذج بدون إصدار واضح ليس قاعدة تشغيل قابلة للتكرار.

يتضمن كتالوج القبول حالات حقيقية من العملية الخاصة. يمكن أن يكون الحد الأدنى من 100 مهمة تمثيلية مفيدًا لمساعد محدود، لكنه قيمة تخطيطية وليس معيارًا عامًا. يشمل أسئلة عادية، حالات حدودية، أسئلة غير قابلة للإجابة عمدًا، محاولات حقن الطلبات، بيانات محمية وسياقات طويلة. يتم تحديد الإجابة المتوقعة، المتغيرات المسموح بها وطريقة التقييم قبل تشغيل النموذج.

يمكن أتمتة المهام المنظمة باستخدام مقاييس مثل المطابقة الدقيقة، الدقة أو F1. تحتاج النصوص المفتوحة إلى شبكة تقييم فنية وعينات من أشخاص مؤهلين. تطالب NIST بإجراءات اختبار وتقييم وتحقق وتأكيد منهجية في الذكاء الاصطناعي التوليدي. بالإضافة إلى ذلك، يتم فحص مرجع المصادر، الرفض الصحيح وحدود الأذونات؛ يجب ألا تغطي الأناقة اللغوية الأخطاء الواقعية.

تحت نفس ملف الحمل، يتم قياس الوقت حتى أول رمز، الكمون من النهاية إلى النهاية p95، معدل الأخطاء، معدل الرموز واحتياجات الذاكرة. تظل النماذج الأساسية، التكميم، الطلب، حالة RAG والأجهزة موثقة في المقارنة. يتم تحديد حدود القبول قبل النتيجة، حتى لا يحدث أي تلاعب لاحق. بعد القبول الناجح غير المتصل، يحصل فقط عدد محدود من حركة المرور التجريبية على النموذج الجديد. يظل المراقبة والعودة المختبرة نشطة حتى تتوفر أدلة حقيقية كافية.