Models·
ميتا تطلق موسي سبارك أوبن: نموذج مفتوح الوزن متعدد الوسائط من طراز MoE بحجم 816 مليار معلمة
يجمع نموذج ميتا الأحدث مفتوح الوزن بين النصوص والصور والصوت والفيديو في بنية من نوع MoE بحجم 816 مليار معلمة، ويستهدف البرمجة الوكلائية والاستدلال واسع النطاق. تعرف على مواصفاته، ونهج تدريبه، وأهمية ذلك بالنسبة للبنية التحتية لوحدات معالجة الرسومات والذكاء الاصطناعي.
أطلقت ميتا نموذج موسي سبارك أوبن، وهو نموذج مفتوح الوزن يمثل طليعة الذكاء الاصطناعي متعدد الوسائط الذي يتجاوز النصوص وحدها. يتميز النموذج بحوالي 816 مليار معلمة إجمالاً، مع حوالي 42 مليار معلمة نشطة لكل رمز، ويعتمد على بنية من نوع MoE لمعالجة النصوص والصور والصوت والفيديو.
البرمجة الوكلائية وقدرات الإدخال متعدد الوسائط
تم تصميم موسي سبارك أوبن للبرمجة الوكلائية، حيث يمكنه قراءة قواعد التعليمات البرمجية بالكامل، وإنشاء الأكواد وتصحيحها، واستدعاء الأدوات بشكل مستقل. تتيح له أنابيبه متعددة الوسائط معالجة لقطة شاشة أو ملاحظة صوتية أو تسجيل شاشة أثناء العمل على الكود، مما يسمح للمطورين بطرح الأسئلة عبر أنواع مختلفة من المدخلات من خلال واجهة موحدة.
تم تدريب النموذج على سير عمل المطورين الحقيقيين، مثل إعادة هيكلة الملفات المتعددة وجلسات التصحيح الطويلة. يتميز النموذج بنافذة سياق تصل إلى مليون رمز، وتنسيقات نقاط تفتيش BF16 وNVFP4، ويشارك نفس المُحلِّل اللغوي والمفردات مع إصدار موسي غليمر الأصغر. يتم فصل مصفوفات تضمين الإدخال وطبقة الإخراج، حيث يبلغ حجم كل منهما حوالي 1.66 مليار معلمة.
لماذا يهم هذا بالنسبة للبنية التحتية لوحدات معالجة الرسومات والذكاء الاصطناعي
بالنسبة لمخططي البنية التحتية، يتطلب حجم النموذج البالغ 816 مليار معلمة وبنية MoE ذاكرة GPU كبيرة—تعادل نموذجًا كثيفًا بحجم 816 مليار معلمة—مع تقديم حساب أقل لكل رمز. تساعد نقاط التفتيش NVFP4 في ضغط احتياجات التخزين، ولكن يتطلب الاستدلال موازنة دقيقة للخبراء وأقمشة اتصالات عالية الإنتاجية. يمكن للشركات مثل AIGPU التي توفر سحابات وحدات معالجة الرسومات القابلة للتطوير الاستفادة من هذه القدرات لتقديم مجموعات طلبات محسنة لوظائف MoE واسعة النطاق.
موسي سبارك أوبن متاح على GitHub للتعديل والنشر. تتيح طبيعته مفتوحة الوزن مساهمات المجتمع وتسريع الأبحاث في مجال الأنظمة الوكلائية متعددة الوسائط، مما يضع معيارًا جديدًا للشفافية والقدرة في النماذج مفتوحة المصدر.
- aigpu
- ai gpu
- ai gpu cloud
- aigpu dubai
- meta muse spark open
- mixture of experts
- multimodal model
بقلم AiGpu Editorial · إعادة صياغة تحريرية استناداً إلى تقارير عامة (Hugging Face Blog)
→ كل المقالات