عشرة تريليونات معلمة: هل يشتري الحجم التفوق؟

سباق الذكاء الاصطناعي بين أمريكا والصين يدخل مرحلة القوة الغاشمة.

تقول التقارير إن ByteDance تدرّب حالياً نموذجاً بحجم عشرة تريليونات معلمة.

وهذه سابقة خطيرة، خصوصاً أن الشركة تملك موارد ضخمة ولا تحتاج أن تقنع أحداً بتمويلها.

المقارنة التي تفسّر الضجة#

ضِعف ما يُعتقد أنه سقف أقوى النماذج الحالية. ويضع النموذج في مسار تصادمي مباشر مع Mythos وأقوى ما لدى OpenAI.

ورأيي، وقد تخالفني#

لا أعتقد أنه سيتفوق.

والسبب أن الحجم لم يعد المتغير الحاسم منذ فترة. هناك عوامل أخرى تحدد قوة النموذج أكثر من عدد معلماته:

جودة بيانات التدريب. تريليون توكن رديء أسوأ من مئة مليار جيد.

مرحلة ما بعد التدريب. هنا يُصنع الفارق فعلاً في السلوك والاستدلال.

المعمارية. ورأينا هذا العام نماذج صغيرة تتفوق على أضعافها، مثل ما شرحته في نماذج عربية صُنعت في المنطقة، حيث نموذج بـ34 مليار معلمة تجاوز أنظمة تتعدى السبعين.

التكلفة التشغيلية. نموذج بعشرة تريليونات معلمة مكلف في الاستدلال لا في التدريب فقط، وهذا يحدد من يستطيع استعماله أصلاً.

لكن، ولأكون منصفاً#

الصين تتقدم بسرعة حقيقية، وليس في الحجم فقط.

وقد رأينا في هذه الحلقة نفسها ثلاثة مليارات تنزيل لـQwen، وهو إنجاز في التبني والانتشار لا في الأرقام الخام.

وهذا في رأيي أخطر على المختبرات الغربية من نموذج ضخم: من يملك المطوّرين يملك المستقبل، والتنزيلات تقول من يملك المطوّرين.

وماذا يعنيني؟#

إن كنت تختار نموذجاً: لا تختر بعدد المعلمات. اختبر على مهمتك، فالرقم الكبير لا يعني نتيجة أفضل على نصك أنت.

إن كنت تتابع السباق: راقب التبني لا الإعلانات. النموذج الذي يستعمله الناس أهم من النموذج الذي يُعلَن عنه.

سؤال أتركه لك#

هل يمكن أن تتفوق الصين يوماً على نماذج النخبة؟

رأيي أعلاه، لكنني لست واثقاً منه بالقدر الذي يبدو. قل لي رأيك.

أسئلة شائعة#

كم حجم نموذج ByteDance الجديد؟

تقول التقارير إنه قيد التدريب بحجم عشرة تريليونات معلمة، أي نحو ضعف ما يُعتقد أنه سقف أقوى النماذج الحالية.

هل الحجم الأكبر يعني نموذجاً أقوى؟

ليس بالضرورة. جودة بيانات التدريب ومرحلة ما بعد التدريب والمعمارية تحدد القوة أكثر من عدد المعلمات، ورأينا نماذج صغيرة تتفوق على أضعافها.

ما تكلفة نموذج بهذا الحجم؟

مكلف في الاستدلال لا في التدريب فقط، وهذا يحدد من يستطيع استعماله عملياً بغض النظر عن قدرته.

ما المؤشر الأفضل لمتابعة السباق؟

التبني لا الإعلانات. النموذج الذي يستعمله المطوّرون فعلاً أهم من النموذج الذي يُعلَن عن حجمه.