تقطير نماذج الذكاء الاصطناعي: كيف يتعلم نموذج صغير من نموذج عملاق؟

 تقطير نماذج الذكاء الاصطناعي: كيف يتعلم نموذج صغير من نموذج عملاق؟

في سباق الذكاء الاصطناعي اعتدنا سماع الفكرة نفسها:

كلما كان النموذج أكبر كان أقوى.

مليارات من المعلمات، وخوادم ضخمة، وبطاقات رسومية باهظة، واستهلاك هائل للذاكرة والطاقة.

لكن ماذا لو لم نكن بحاجة إلى تشغيل ذلك العملاق في كل مرة؟

ماذا لو استطعنا استخدام نموذج كبير ومتقدم كـ «معلّم»، ثم جعلنا نموذجًا أصغر يتعلم منه ليؤدي بعض المهام بكفاءة عالية؟

هذه الفكرة لها اسم:

Knowledge Distillation – تقطير المعرفة.

وهي واحدة من التقنيات المهمة لصناعة نماذج ذكاء اصطناعي أصغر وأخف.

ما المقصود بتقطير النموذج؟

الفكرة الأساسية تعتمد غالبًا على نموذجين:

Teacher Model — النموذج المعلّم

وهو نموذج أكبر أو أكثر قدرة.

و:

Student Model — النموذج الطالب

وهو النموذج الأصغر الذي نريد تدريبه.

بدل تدريب الطالب بالاعتماد فقط على الإجابات الصحيحة الموجودة في البيانات، يمكن أن يتعلم أيضًا من مخرجات النموذج المعلّم.

أي أن النموذج الكبير يساعد في تعليم النموذج الأصغر.

مثال بسيط

لنفترض أن لدينا صورة لحيوان.

الإجابة الموجودة في البيانات تقول:

«قطة».

لو درّبنا النموذج الصغير على هذه الإجابة فقط، فهو يعرف أن المطلوب اختيار «قطة».

لكن النموذج الكبير قد يعطي احتمالات مثل:

قطة: 90%

ثعلب: 6%

كلب: 3%

أخرى: 1%

هذه الاحتمالات تحمل معلومات إضافية.

فهي لا تقول للطالب الإجابة فقط، بل تعطيه فكرة عن مدى تشابه الخيارات من وجهة نظر المعلّم.

وهذه الإشارات يمكن أن تساعد الطالب أثناء التعلم.

لماذا لا نستخدم النموذج العملاق دائمًا؟

لأن القوة لها تكلفة.

النموذج الكبير قد يحتاج إلى ذاكرة أكبر، وحوسبة أقوى، وطاقة أكثر، وقد تكون استجابته أكثر تكلفة عند تشغيله على نطاق واسع.

وهذا يصبح مهمًا جدًا عندما يكون لديك ملايين الطلبات يوميًا.

إذا كان نموذج أصغر قادرًا على إنجاز مهمة محددة بالمستوى المطلوب، فقد يكون تشغيله أكثر عملية.

الفكرة إذن ليست:

«كيف نصنع أذكى نموذج ممكن؟»

دائمًا.

بل أحيانًا:

«ما أصغر نموذج يستطيع إنجاز المهمة بكفاءة كافية؟»

هل يصبح الطالب نسخة مطابقة من المعلّم؟

لا.

وهذه نقطة أساسية.

التقطير لا يعني نسخ النموذج الكبير ووضعه في ملف أصغر.

النموذج الطالب يمتلك بنية وقدرة مختلفة، ويحاول تعلم أنماط مفيدة من مخرجات المعلّم.

لذلك قد يحتفظ بجزء كبير من الأداء في مهام معينة، لكنه لا يحصل بالضرورة على جميع قدرات النموذج الأكبر.

تخيلي أستاذًا لديه معرفة واسعة جدًا يدرّب طالبًا على مجال محدد.

الطالب قد يصبح ممتازًا في ذلك المجال، لكنه لا يصبح نسخة كاملة من الأستاذ.

لماذا هذا مهم للهواتف؟

هنا تصبح الفكرة مثيرة جدًا.

الهاتف لا يمتلك موارد مركز بيانات.

لديه حدود للذاكرة والطاقة والحرارة.

لذلك إذا أردنا تشغيل الذكاء الاصطناعي محليًا، نحتاج في كثير من الحالات إلى نماذج أصغر وأكثر كفاءة.

التقطير أحد الأساليب التي يمكن استخدامها للمساعدة في بناء مثل هذه النماذج.

وهذا يمكن أن يخدم تطبيقات مثل معالجة اللغة والصوت والصور والميزات الذكية التي تعمل على الجهاز.

وماذا عن Edge AI؟

الأمر نفسه ينطبق على الأجهزة الطرفية.

كاميرا ذكية.

روبوت صغير.

سيارة.

جهاز صناعي.

حاسوب محدود الموارد.

هذه الأجهزة قد تحتاج إلى اتخاذ قرارات بسرعة دون إرسال كل شيء إلى مركز بيانات بعيد.

لكنها لا تستطيع دائمًا تشغيل أكبر النماذج.

وهنا تصبح النماذج الأصغر ذات الأداء الجيد مهمة جدًا.

هل التقطير هو نفسه ضغط النموذج؟

التقطير يعتبر أسلوبًا لجعل المعرفة تنتقل إلى نموذج أصغر، لكنه ليس التقنية الوحيدة المستخدمة لتقليل تكلفة تشغيل النماذج.

هناك أيضًا تقنيات أخرى مثل:

Quantization — التكميم

وهي تقليل الدقة العددية المستخدمة لتمثيل بعض قيم النموذج.

وهناك:

Pruning — التقليم

الذي يهدف إلى إزالة أجزاء أو أوزان أقل أهمية وفق الطريقة المستخدمة.

وقد تستخدم الأنظمة أكثر من تقنية معًا.

مثل:

Distillation + Quantization

للحصول على نموذج أصغر وأكثر كفاءة.

هل يمكن لنموذج ذكاء اصطناعي أن يدرّب نموذجًا آخر؟

بشكل ما، نعم.

وهذه واحدة من التحولات المثيرة في الصناعة.

لم تعد بيانات التدريب تأتي فقط من البشر أو من الإنترنت.

يمكن للنماذج القوية إنتاج مخرجات تستخدم للمساعدة في تدريب نماذج أخرى.

وهذا يرتبط أيضًا بموضوعنا السابق عن Synthetic Data.

يمكن أن ينتج نموذج كبير أمثلة أو إجابات أو إشارات تدريبية، ثم يستخدمها نموذج أصغر أثناء التعلم.

وهكذا يصبح الذكاء الاصطناعي جزءًا من عملية صناعة الجيل التالي من الذكاء الاصطناعي.

لكن ماذا لو كان المعلّم مخطئًا؟

هنا تظهر المشكلة.

النموذج الكبير ليس معصومًا من الخطأ.

إذا قدم معلومات خاطئة أو أنماطًا منحازة، فقد تنتقل بعض هذه المشكلات إلى النموذج الطالب.

لذلك لا يكفي توليد ملايين الإجابات من نموذج كبير ثم افتراض أنها صحيحة.

يجب الاهتمام بجودة البيانات والتقييم والاختبارات وطريقة التدريب.

المعلّم السيئ قد يصنع طالبًا يتعلم الأخطاء أيضًا.

وهل النموذج الأصغر دائمًا أسرع؟

غالبًا يكون الهدف من تصغير النموذج تقليل متطلبات الحوسبة والذاكرة وتحسين كفاءة التشغيل، لكن الأداء الفعلي يعتمد على العتاد والبرمجيات وبنية النموذج وطريقة التنفيذ.

لذلك كلمة «أصغر» لا تعني تلقائيًا أن كل شيء سيكون أسرع في كل جهاز وكل سيناريو.

الهندسة المحيطة بالنموذج تظل مهمة.

من سباق الحجم إلى سباق الكفاءة

لسنوات ركز عالم الذكاء الاصطناعي بدرجة كبيرة على سؤال:

من يمتلك النموذج الأكبر؟

لكن مع انتشار الذكاء الاصطناعي في مليارات الأجهزة، يظهر سؤال آخر:

من يستطيع تقديم أكبر قدر من الذكاء بأقل قدر من الموارد؟

وهنا يصبح تقطير المعرفة مهمًا.

لأن مستقبل الذكاء الاصطناعي لن يكون كله داخل مراكز بيانات ضخمة.

جزء منه سيكون في الهواتف والحواسيب والسيارات والروبوتات والأجهزة المنزلية.

وهذه البيئات تحتاج إلى ذكاء أصغر وأكثر كفاءة.

الخلاصة

Knowledge Distillation يسمح لنموذج صغير بالتعلم من مخرجات نموذج أكبر، بهدف الاحتفاظ بقدر مفيد من قدراته مع تقليل متطلبات التشغيل.

النموذج الطالب لا يصبح نسخة مصغرة مطابقة للمعلم، لكنه يستطيع تعلم معلومات أكثر ثراءً من مجرد الإجابة الصحيحة وحدها.

ومع انتشار الذكاء الاصطناعي المحلي، قد لا يكون التحدي القادم هو بناء نماذج أضخم باستمرار…

بل بناء نموذج صغير بما يكفي ليعمل في جيبك، وذكي بما يكفي ليؤدي المهمة التي تحتاجها.