Mixture of Experts: ماذا لو كان داخل نموذج الذكاء الاصطناعي فريق من الخبراء؟
عندما نسأل نموذج ذكاء اصطناعي سؤالًا بسيطًا، قد نتخيل أن جميع أجزاء النموذج تعمل معًا بالطريقة نفسها لإنتاج الإجابة.
لكن بعض النماذج الحديثة تستخدم فكرة أكثر ذكاءً:
ليس من الضروري تشغيل كل أجزاء النموذج لكل كلمة أو مهمة.
بدل ذلك، يمكن تقسيم جزء من النموذج إلى مجموعة من الوحدات المتخصصة التي تسمى:
Experts – خبراء.
ثم توجد آلية تقرر أي الخبراء يجب استخدامهم لمعالجة المدخل الحالي.
هذه البنية تسمى:
Mixture of Experts – MoE
أو مزيج الخبراء.
والفكرة وراءها قد تساعد في بناء نماذج ضخمة جدًا دون الحاجة إلى استخدام جميع معلماتها في كل عملية حسابية.
ما المقصود بـ«الخبير»؟
كلمة خبير هنا لا تعني وجود عدة روبوتات صغيرة داخل النموذج 😄
الـExpert هو عادة جزء من الشبكة العصبية يحتوي على معلمات تعلمت أنماطًا معينة أثناء التدريب.
وفي بنى MoE، توجد عدة وحدات من هذا النوع.
لكن بدل تمرير كل معلومة عبر جميع الخبراء، يقوم النظام باختيار عدد محدود منهم.
وهنا يظهر عنصر مهم يسمى:
Router – الموجّه.
الموجّه هو مدير الفريق
تخيلي شركة كبيرة فيها أقسام كثيرة.
وصل طلب يتعلق بالمحاسبة.
هل نرسل الطلب إلى جميع الموظفين في الشركة؟
بالطبع لا.
يتم توجيهه إلى القسم المناسب.
فكرة الـRouter قريبة من ذلك.
عندما تصل البيانات إلى طبقة MoE، يحسب الموجّه أي الخبراء أكثر ملاءمة لمعالجتها، ثم يرسلها إلى مجموعة صغيرة منهم.
بعد ذلك تندمج النتائج داخل بقية عملية معالجة النموذج.
وهذا يسمى غالبًا:
Sparse Activation – التنشيط المتفرق.
أي أن جزءًا فقط من الخبراء يتم تنشيطه لكل مدخل.
لماذا لا نشغّل الجميع؟
لأن النماذج الضخمة قد تحتوي أعدادًا هائلة من المعلمات.
إذا احتجنا إلى استخدام كل معلمة في كل مرة، ترتفع كمية العمليات الحسابية المطلوبة.
أما MoE فيحاول الفصل بين شيئين:
السعة الكلية للنموذج
و
الحساب المستخدم لكل مدخل.
يمكن للنموذج أن يحتوي عددًا ضخمًا من المعلمات، بينما لا يتم تنشيط سوى جزء منها عند معالجة كل رمز أو مدخل، بحسب التصميم.
وهذا هو سر جاذبية الفكرة.
هل هذا يعني أن النموذج أصبح أرخص دائمًا؟
ليس بالضرورة.
MoE يمكن أن يقلل مقدار الحساب النشط مقارنة بتشغيل نموذج كثيف بالحجم الإجمالي نفسه، لكن هناك تحديات أخرى.
فالخبراء يحتاجون إلى التخزين في الذاكرة.
ويجب نقل البيانات بينهم بكفاءة.
وفي الأنظمة الكبيرة قد يكون الخبراء موزعين على عدة وحدات معالجة.
لذلك تصبح الاتصالات والذاكرة وتوزيع الأحمال عوامل مهمة جدًا.
بمعنى آخر:
نحن نوفر في مكان، لكننا نخلق تحديات هندسية في أماكن أخرى.
هل كل خبير يتخصص فعلًا في شيء مفهوم؟
ليس دائمًا بالطريقة التي يتخيلها الإنسان.
قد نميل إلى تصور:
خبير للرياضيات.
وخبير للبرمجة.
وخبير للغات.
لكن التخصصات التي تظهر داخل الشبكات العصبية قد تكون أكثر تعقيدًا وأقل وضوحًا.
يمكن أن يتعلم الخبراء أنماطًا مرتبطة بأنواع مختلفة من البيانات أو البنى اللغوية أو الخصائص الداخلية، دون أن نستطيع دائمًا إعطاء كل خبير اسمًا بسيطًا.
لذلك كلمة Expert مصطلح معماري، ولا تعني بالضرورة تخصصًا بشريًا واضحًا.
ماذا يحدث إذا اختار Router الخبير الخطأ؟
جودة التوجيه جزء أساسي من نجاح MoE.
إذا أصبح الموجّه يرسل معظم البيانات إلى عدد قليل من الخبراء، بينما لا يستخدم الآخرين تقريبًا، تظهر مشكلة:
عدم توازن الأحمال.
تخيلي متجرًا فيه عشرة موظفين، لكن جميع العملاء يذهبون إلى موظف واحد.
حتى لو كان المتجر يملك عددًا كافيًا من الموظفين، سيظهر ازدحام.
ولهذا تستخدم تصميمات MoE تقنيات للمساعدة في توزيع العمل بين الخبراء بصورة أكثر توازنًا.
وهل يمكن أن يمتلئ الخبير؟
في الأنظمة العملية، يمكن أن توجد حدود لكمية البيانات التي يستطيع الخبير التعامل معها ضمن دفعة معينة.
إذا تم توجيه كمية كبيرة جدًا إلى الخبير نفسه، فقد تظهر مشكلات في الكفاءة أو تحتاج البنية إلى آليات للتعامل مع الحمل.
وهذا يوضح أن MoE ليست مجرد فكرة:
«ضع خبراء كثيرين وانتهى الأمر».
بل تحتاج إلى نظام توجيه وتوزيع دقيق.
ما الفرق بين MoE والنموذج التقليدي؟
النماذج التي تستخدم جميع المعلمات ذات الصلة في طبقاتها لكل مدخل توصف غالبًا بأنها Dense Models – نماذج كثيفة.
أما MoE فتستخدم تنشيطًا انتقائيًا لبعض الخبراء.
تخيلي نموذجين لديهما عدد مختلف جدًا من المعلمات الكلية.
لا يمكننا الحكم على تكلفة تشغيلهما فقط من رقم المعلمات المكتوب في المواصفات.
في نموذج MoE، المهم أيضًا معرفة:
كم معلمة يتم تنشيطها أثناء الاستدلال؟
وهذه نقطة مهمة عند مقارنة النماذج الحديثة.
ما علاقتها بالنماذج العملاقة؟
هنا تظهر قوة MoE.
يمكن زيادة عدد الخبراء وبالتالي زيادة السعة الإجمالية للنموذج، دون أن يعني ذلك بالضرورة زيادة الحساب لكل مدخل بالنسبة نفسها.
ولهذا أصبحت البنية جذابة لتطوير بعض النماذج اللغوية الكبيرة.
بدل بناء عقل واحد يستخدم كل موارده طوال الوقت…
نبني نظامًا لديه مجموعة كبيرة من المسارات الممكنة ويستخدم جزءًا مناسبًا منها عند الحاجة.
وهل MoE هي نفسها Multi-Agent AI؟
لا، والفرق مهم جدًا لأن عندك بالفعل موضوعًا عن Multi-Agent AI.
Multi-Agent AI يعني وجود عدة وكلاء أو أنظمة تتعاون لتنفيذ مهام، وقد يمتلك كل وكيل أهدافًا وأدوات وسياقًا خاصًا به.
أما Mixture of Experts فهي بنية داخل النموذج العصبي نفسه.
الخبير داخل MoE ليس وكيلًا مستقلًا يتحدث مع خبراء آخرين أو يقرر تنفيذ مهمة خارجية.
هو جزء من الحساب الداخلي للنموذج.
إذن:
Multi-Agent = عدة وكلاء يتعاونون.
MoE = عدة وحدات داخل النموذج يتم توجيه الحساب بينها.
وهل لها علاقة بتقطير النماذج؟
الموضوع السابق كان عن Knowledge Distillation.
هناك أيضًا فرق واضح.
التقطير يحاول نقل المعرفة من نموذج معلّم إلى نموذج طالب، غالبًا بهدف الحصول على نموذج أصغر أو أكثر كفاءة.
أما MoE فتغيّر بنية النموذج وطريقة توزيع الحساب داخله.
يمكن أن تكون التقنيتان جزءًا من عالم تحسين كفاءة الذكاء الاصطناعي، لكنهما تحلان المشكلة بطريقتين مختلفتين.
التحدي الحقيقي قد يكون نقل البيانات
عندما يكون النموذج موزعًا على عدة مسرعات، قد يوجد خبير على وحدة معالجة وخبير آخر على وحدة مختلفة.
إذا قرر Router إرسال البيانات إلى خبير بعيد، يجب نقلها عبر الاتصال بين الأجهزة.
ومع ملايين أو مليارات عمليات التوجيه، يمكن أن يصبح الاتصال نفسه عاملًا مؤثرًا في الأداء.
وهنا نعود إلى فكرة تكررت في مقالاتنا الأخيرة:
في الحوسبة الحديثة، ليست سرعة الحساب وحدها هي المهمة.
سرعة تحريك البيانات أصبحت مهمة أيضًا.
هل ستكون كل نماذج المستقبل MoE؟
لا يوجد سبب لافتراض ذلك.
النماذج الكثيفة ما زالت مهمة ولها مزاياها، واختيار البنية يعتمد على حجم النموذج والعتاد والتكلفة ونوع الاستخدام.
MoE ليست حلًا سحريًا.
لكنها تقدم فكرة قوية جدًا:
يمكن زيادة سعة الذكاء الاصطناعي دون الحاجة إلى تشغيل كل تلك السعة في كل لحظة.
وهذه الفكرة قد تصبح أكثر أهمية مع استمرار تضخم النماذج.
الخلاصة
Mixture of Experts تجعل نموذج الذكاء الاصطناعي أقرب إلى فريق كبير لا يحتاج إلى حضور جميع أفراده في كل مهمة.
يوجد عدد من الخبراء داخل النموذج، ويختار Router عددًا محدودًا منهم لمعالجة كل مدخل، مما يسمح بامتلاك سعة كبيرة مع استخدام جزء فقط منها في كل مرة.
لكن نجاح الفكرة يعتمد على التوجيه الجيد، وتوازن الأحمال، والذاكرة، وسرعة الاتصال بين وحدات المعالجة.
ولذلك ربما لن يكون السؤال الأهم في نماذج المستقبل:
«كم عدد المعلمات التي يمتلكها النموذج؟»
بل أيضًا:
«كم منها يحتاج فعلًا إلى الاستيقاظ للإجابة عن سؤالك؟»
0 تعليقات