الأرقام أولًا
| المقياس | النتيجة | ما الذي يقيسه | المصدر |
|---|---|---|---|
| HELM Arabic | ضمن النماذج المغلقة المقيَّمة على سبعة مقاييس عربية أصيلة | أداء عربي مستقل | Stanford CRFM و Arabic.AI، كانون الأول 2025 |
| HELM Arabic، المتصدر | Arabic.AI LLM-X | أداء عربي على سبعة مقاييس أصيلة | Stanford CRFM |
| HELM Arabic، أفضل نموذج مفتوح | Qwen3 235B بمتوسط 0.786 | أفضل أداء عربي بين النماذج المفتوحة | Stanford CRFM |
| مؤشر Artificial Analysis | Gemini 3 Pro تقدّم عليه بثلاث نقاط عند إصداره | ذكاء عام | Artificial Analysis، تشرين الثاني 2025 |
| التبديل اللغوي، تقييم مستقل لنموذج عربي | 4.92 من 5، أعلى فئة على الإطلاق | الخلط بين العربية والإنجليزية | arXiv 2508.17378، آب 2025 |
| الفصحى في التقييم نفسه | 4.74 | جودة الفصحى | المصدر نفسه |
| الشامية في التقييم نفسه | 2.73 | أمانة اللهجة الشامية | المصدر نفسه |
هذا الترتيب مفاجئ لأول وهلة: التبديل اللغوي هو أسهل ما تفعله النماذج بالعربية، لا أصعبه. والسبب منطقي حين تفكر فيه: نصف الجملة إنجليزي، والإنجليزية هي ما تتقنه هذه النماذج أصلًا. النصف العربي في جملة مثل “بكرا عندي meeting” قصير وبسيط ومتكرر في بيانات التدريب.
لكن الرقم المرتفع هنا يخفي الفشل الحقيقي، وهو ليس في الفهم بل في ما يعيده النموذج إليك.
الفشل الذي لا يظهر في درجة 4.92
اكتب هذه الجملة لأي نموذج قوي واطلب منه ردًّا:
“خلص عملت submit للapplication، بس الـHR طلبوا مني الـtranscript وأنا ما بعرف كيف بطلعه من الجامعة.”
في الغالب سيفهم الطلب فهمًا صحيحًا تمامًا. وهذا هو الـ 4.92. لكن انظر إلى الرد نفسه، ستجد واحدًا من ثلاثة أنماط:
| النمط | شكله | لماذا هو خطأ |
|---|---|---|
| الفصحنة القسرية | “يمكنك التقدم بطلب للحصول على كشف الدرجات من عمادة القبول والتسجيل” | حوّل نبرتك الشخصية إلى بيان إداري |
| الترجمة الزائدة | يترجم “submit” و”transcript” و”HR” إلى العربية | أنت لم تكتبها بالعربية لأن أحدًا لا يقولها بالعربية في هذا السياق |
| الإنجلزة الزائدة | يرد بجملة نصفها إنجليزي في مواضع لم تستعملها أنت فيها | يقلّد الشكل لا المنطق |
النمط الثالث هو الأدق كشفًا، لأن التبديل اللغوي العربي ليس عشوائيًا. نحن لا نخلط اللغتين كيفما اتفق، بل وفق قواعد غير مكتوبة:
النموذج الذي يخلط اللغتين في المواضع الخاطئة يكتب شيئًا مفهومًا وغير طبيعي في آن، وهذا بالضبط ما يجعل المستخدم يشعر أن الرد “آلي” دون أن يعرف لماذا.
بطاقة النموذج
| البند | التفصيل |
|---|---|
| الاسم | GPT-5.1 |
| الجهة | OpenAI |
| تاريخ الإصدار | 12 تشرين الثاني 2025، ونسخ إضافية في 19 منه |
| النسخ | Instant و Thinking و Pro و Codex-Mini و Codex-Max |
| ما تعلنه الشركة | شخصية أدفأ وثماني شخصيات قابلة للتخصيص |
| المحور المختبَر | ARAB-LING مع ARAB-GEN: التبديل اللغوي وحفظ النبرة |
خاصية “الشخصيات القابلة للتخصيص” تستحق اختبارًا عربيًا خاصًا، لأن السؤال الذي لم يطرحه أحد هو: هل تعمل هذه الشخصيات بالعربية كما تعمل بالإنجليزية؟ شخصية “ودودة” مضبوطة على معايير إنجليزية قد تنتج بالعربية مبالغة في المجاملة تبدو متكلفة، أو العكس، جفافًا يُقرأ وقاحة.
الاختبار: ستة بنود
البند 1، الفهم. الجملة أعلاه. هل فهم المشكلة الفعلية، وهي أنه لا يعرف آلية استخراج كشف الدرجات، لا أنه يحتاج تعريف كلمة transcript؟
البند 2، حفظ النبرة. اطلب ردًّا “بنفس أسلوبي”. النموذج الجيد يعيد إليك جملة تشبه جملتك: عربية محكية فيها المصطلحات الإنجليزية في مواضعها. الفخ: أن يرد بفصحى رسمية.
البند 3، الترجمة الانتقائية. اسأله: أي كلمات في جملتي يجب أن تبقى إنجليزية وأيها يُترجم؟ ولماذا؟ هذا بند تشخيصي ممتاز، لأنه يكشف هل يفهم النموذج منطق التبديل أم يقلّد شكله.
البند 4، الاتجاه المعاكس. أعطه فقرة فصيحة رسمية واطلب تحويلها إلى عربية مكتب يومية كما يكتبها موظف في عمّان على واتساب.
البند 5، حدود السياق. اطلب الرد نفسه مرة لزميل ومرة لعميل خارجي. التبديل اللغوي مقبول في الأولى وقد يكون غير لائق في الثانية. النموذج الذي لا يفرّق لا يفهم السجل.
البند 6، فخ العربيزي. اكتب له بالأحرف اللاتينية: “b3rf ino sa3b bs 3am 7awel”. هل يفهم؟ وهل يرد بالعربية أم يقلّد الترميز؟ ملايين العرب يكتبون هكذا يوميًا، ولا يوجد مقياس منشور واحد يقيس هذه القدرة.
نقطة بحثية تستحق الذكر
في أبحاث الكلام العربي، يُذكر التبديل اللغوي بين العربية والإنجليزية أو الفرنسية بوصفه أحد التحديات الأساسية في التعرف على الكلام العربي متعدد اللهجات. أي أن ما هو سهل نسبيًا في النص يصبح صعبًا في الصوت، لأن النموذج يحتاج أن يتعرف على انتقال لغوي وسط جملة منطوقة بلكنة عربية.
وضع هذا بجانب رقم NADI 2025، حيث بلغ أفضل معدل خطأ كلمة في التعرف على الكلام العربي متعدد اللهجات 35.68، وستفهم لماذا أفصل بين “التبديل اللغوي في النص” و”التبديل اللغوي في الصوت” في ARAB-LENS. الأول شبه محلول، والثاني أول ما ينهار في التطبيقات الصوتية.
الحكم العملي
- لا تقس التبديل اللغوي بالفهم، بل بالنبرة. الفهم شبه مضمون، والنبرة هي ما يخسره المستخدم.
- امنع الترجمة القسرية للمصطلحات في تعليمات النظام. جملة واحدة تكفي: احتفظ بالمصطلحات التقنية كما كتبها المستخدم.
- اختبر العربيزي إن كان جمهورك شبابًا. نسبة كبيرة من رسائل المستخدمين تصل بهذا الشكل، ونموذجك إما يفهمها أو يخسرهم.
- اختبر الشخصيات المخصصة بالعربية تحديدًا. المعايرة الإنجليزية للدفء لا تنتقل كما هي إلى سياق عربي.
في المقالة القادمة
Claude Opus 4.5 ومحور المجموعة العدائية: الأسئلة المصممة خصيصًا لكشف النموذج الذي يحفظ الشكل. هل يعترف بأنه لا يعرف؟ وماذا يفعل حين أعطيه عادة عربية لا وجود لها؟
ما يرصده المعرِّبون في التبديل اللغوي
في اختبارات الممارسين العرب للنماذج على الترجمة والتعريب، يتكرر رصد النمط نفسه: ضعف التعامل مع التبديل اللغوي، وترجمة المصطلح التقني الذي لا يُترجَم عادة. ويرد معه رصد لأخطاء المطابقة في الجمع، والالتباس أمام النص غير المشكّل، والترجمة الحرفية للتعابير الاصطلاحية.
وأنا أقرأ هذه القائمة على أنها ترتيب عكسي لما تقيسه اللوحات: اللوحات تقيس المعرفة والقواعد، والممارس يرصد النبرة والمصطلح. والمسافة بين القائمتين هي بالضبط ما يدفع ثمنه المستخدم.
قواعد التبديل التي يجهلها النموذج
التبديل اللغوي العربي ليس عشوائيًا، وله قواعد غير مكتوبة تختلف بالمجال. هذا جدول يمكنك أن تضعه حرفيًا في تعليمات نظامك:
| المجال | يبقى إنجليزيًا | يبقى عربيًا |
|---|---|---|
| التقنية | deploy، commit، bug، meeting، report | الأفعال والربط والضمائر |
| الطب | أسماء الأدوية والفحوص واختصاراتها | وصف العرض والشعور والسؤال عن الحال |
| التعليم | assignment، quiz، GPA، semester | التقييم والتشجيع والتوجيه |
| الأعمال | KPI، deadline، pipeline، invoice | المجاملة والاعتذار والتفاوض |
| اليومي | أسماء التطبيقات والعلامات التجارية | كل ما عدا ذلك |
والقاعدة العامة التي أعطيها لأي فريق: المصطلح المهني يبقى كما نطقه المستخدم، والعاطفة والمجاملة تبقى عربية دائمًا. النموذج الذي يترجم “الله يعطيك العافية” إلى الإنجليزية داخل رد عربي أخطأ، والنموذج الذي يترجم “report” إلى تقرير في رد لزميل أخطأ أيضًا، ولو كان كلا الردين صحيحًا لغويًا.
العربيزي: المحور الغائب تمامًا
ملايين المستخدمين يكتبون العربية بالأحرف اللاتينية والأرقام: “3” للعين، و”7″ للحاء، و”2″ للهمزة. ولا يوجد مقياس منشور واحد يقيس هذه القدرة، لا في لوحة OALL ولا في HELM Arabic ولا في QIMMA.
بروتوكول اختباره بسيط:
| البند | المثال | المطلوب |
|---|---|---|
| الفهم | b3rf ino sa3b bs 3am 7awel | أن يفهم ويردّ بالعربية |
| التحويل | حوّل النص السابق إلى حروف عربية | نقل دقيق بلا فقد |
| الحفاظ على النبرة | ردّ بنفس الأسلوب | لا يرد ببيان رسمي |
| عدم التقليد الآلي | أي رسالة من الأمثلة السابقة | لا يردّ بالعربيزي إلا إذا طُلب |
وإن كان جمهورك من الشباب أو من مستخدمي الخليج وبلاد الشام تحديدًا، فهذا ليس اختبارًا كماليًا: نسبة معتبرة من رسائل الدعم الفني تصل بهذا الشكل.
من دفتر الاختبار: العربيزي، الجزء الذي لا يقيسه أحد
ملايين المستخدمين يكتبون العربية بالحروف اللاتينية والأرقام، وخصوصًا في الشام والخليج. ولا يوجد مقياس منشور واحد يقيس هذه القدرة، لا في OALL ولا في HELM Arabic ولا في QIMMA. وهذا جدول الترميز الشائع الذي أختبر به:
| الرمز | الحرف | مثال |
|---|---|---|
| 2 | همزة | so2al تعني سؤال |
| 3 | عين | 3arabi تعني عربي |
| 5 أو ‘7 | خاء | 5alas تعني خلاص |
| 6 | طاء | 6ayeb تعني طيب |
| 7 | حاء | 7abibi تعني حبيبي |
| 8 أو ‘3 | غين أو قاف | 8alat تعني غلط |
| 9 | صاد | 9a7i7 تعني صحيح |
وهذه أربع جمل أرسلها كما هي:
واحد: b3rf ino sa3b bs 3am 7awel المطلوب: أن يفهم “بعرف إنه صعب بس عم حاول” وأن يرد بالعربية بلهجة مماثلة، لا بفصحى.
اثنان: 5alas 3melt submit lal application المطلوب: أن يفهم التبديل اللغوي داخل العربيزي، وأن يبقي submit و application كما هي.
ثلاثة: wen9ar el maw3ed? المطلوب: أن يفهم “وينصار الموعد” ويطلب توضيحًا إن كان الترميز ملتبسًا، بدل أن يخمّن.
أربعة: حوّل هذه الرسالة إلى حروف عربية دون أن تغيّر لهجتها. هنا يسقط كثير من النماذج: تحوّل الترميز صحيحًا ثم “تصحّح” اللهجة إلى فصحى، فتخرج رسالة لم يكتبها أحد.
قواعد التبديل التي أتحقق منها
التبديل اللغوي العربي ليس عشوائيًا، وله منطق يمكن اختباره:
| ما يبقى إنجليزيًا | ما يبقى عربيًا دائمًا |
|---|---|
| المصطلح المهني: meeting، report، deadline | الأفعال وأدوات الربط والضمائر |
| اسم المنتج أو التطبيق | العاطفة والدعاء والمجاملة |
| الاختصارات: HR، KPI، CV | أدوات الاستفهام والنفي |
والاختبار التشخيصي الأفضل عندي ليس الفهم بل هذا السؤال المباشر:
أي كلمات في جملتي يجب أن تبقى إنجليزية وأيها يُترجم، ولماذا؟
النموذج الذي يفهم منطق التبديل يجيب بقاعدة. والنموذج الذي يقلّد شكله يعطيك قائمة عشوائية أو يترجم كل شيء.
الخطأ الذي يكلّف مستخدمًا
جملة “الله يعطيك العافية” لا تُترجم داخل رد عربي، ولو ترجمها النموذج إلى “may God give you strength” داخل سياق عربي لبدا الرد مترجَمًا من لغة أخرى. وبالمقابل، ترجمة “report” إلى “تقرير” في رسالة بين زميلين تقنيين تجعل الرد يبدو رسميًا وغريبًا.
القاعدة التي أعطيها لأي فريق: المصطلح يبقى كما نطقه المستخدم، والعاطفة تبقى عربية. سطر واحد في تعليمات النظام يحل معظم هذه الحالات.
المصادر
- HELM Arabic، Stanford CRFM مع Arabic.AI: crfm.stanford.edu/2025/12/18/helm-arabic.html
- تقييم مستقل لنموذج عربي عبر الواجهة، فئة التبديل اللغوي: arxiv.org/abs/2508.17378
- NADI 2025، تحديات الكلام العربي متعدد اللهجات: arxiv.org/abs/2509.02038
- Artificial Analysis، مقارنات تشرين الثاني 2025: artificialanalysis.ai
- اختبار ممارسين لنماذج الترجمة العربية: localazy.com/blog/ai-8-llm-arabic-models-tested-to-translate