سلسلة مستمرة من التقييمات المستقلة لقدرة النماذج اللغوية الكبيرة على العربية فعلًا: الفصحى واللهجات واللكنات والثقافة والبراغماتية. كل مقالة تبدأ بأرقام منشورة موثّقة بمصادرها، وببنود اختبار قابلة لإعادة التشغيل.
إيهاب صالح | techkahwa.net صدر النموذج: 7 حزيران 2024 | تاريخ النشر: 21 حزيران 2024 الأرقام أولًا المقياس النتيجة ما الذي يقيسه المصدر عدد اللغات المعلنة 27 لغة إضافة إلى الإنجليزية والصينية نطاق النموذج مدوّنة Qwen2، 7 حزيران 2024 مجموعة “الشرق الأوسط” العربية والفارسية والعبرية والتركية تصنيف إقليمي صريح بالاسم المصدر نفسه وصف التقرير التقني … اقرأ المزيد
إيهاب صالح | techkahwa.net صدر النموذج: 23 أيار 2024 | تاريخ النشر: 6 حزيران 2024 الأرقام أولًا المقياس النتيجة ما الذي يقيسه المصدر عدد اللغات 23 نطاق النموذج التقرير التقني لـ Aya 23 موقع العربية في القائمة الأولى ترتيب أبجدي إنجليزي، لكنها مذكورة صراحة التقرير نفسه اللغات العربية والصينية والتشيكية والهولندية والإنجليزية والفرنسية والألمانية واليونانية … اقرأ المزيد
إيهاب صالح | techkahwa.net أُطلقت اللوحة: 14 أيار 2024 | تاريخ النشر: 4 حزيران 2024 الأرقام أولًا المقياس النتيجة ما الذي يقيسه المصدر تاريخ إطلاق اللوحة 14 أيار 2024 Hugging Face مع معهد الابتكار التكنولوجي مدوّنة الإطلاق معيار AlGhafa الأصلي نحو اثنتي عشرة مجموعة بيانات، أغلبها عربية أصلية الأساس العربي Almazrouei وآخرون، ArabicNLP 2023 التوسعة … اقرأ المزيد
إيهاب صالح | techkahwa.net صدر النموذج: 13 أيار 2024 | تاريخ النشر: 30 أيار 2024 الأرقام أولًا المقياس النتيجة ما الذي يقيسه المصدر Falcon 2 11B على ARC-C العربية، 25 مثالًا 25.32 اختبار اختيار من أربعة، تخمينه 25 التقرير التقني، arXiv:2407.14885، الجدول 11 على MMLU العربية، 25 مثالًا 28.04 معرفة عامة الجدول نفسه على HellaSwag … اقرأ المزيد
إيهاب صالح | techkahwa.net صدر النموذج: 13 أيار 2024 | تاريخ النشر: 27 أيار 2024 الأرقام أولًا المقياس النتيجة ما الذي يقيسه المصدر العربية، قبل المجزّئ الجديد 53 رمزًا الجملة النموذجية نفسها صفحة إطلاق GPT-4o، 13 أيار 2024 العربية، بعد المجزّئ الجديد 26 رمزًا انخفاض بمقدار الضعف المصدر نفسه عامل التحسّن المعلن للعربية 2.0 ضعف … اقرأ المزيد
إيهاب صالح | techkahwa.net صدر النموذج: 4 نيسان 2024 | تاريخ النشر: 18 نيسان 2024 الأرقام أولًا المقياس النتيجة ما الذي يقيسه المصدر العربية ضمن اللغات المحسَّن لها نعم، بالاسم التزام صريح من شركة غربية بطاقة النموذج، Cohere عدد اللغات المحسَّن لها 10 الإنجليزية والفرنسية والإسبانية والإيطالية والألمانية والبرتغالية البرازيلية واليابانية والكورية والصينية المبسطة والعربية … اقرأ المزيد
إيهاب صالح | techkahwa.net صدر النموذج: 4 آذار 2024 | تاريخ النشر: 18 آذار 2024 الأرقام أولًا المقياس النتيجة ما الذي يقيسه المصدر تاريخ الإصدار 4 آذار 2024 Opus وSonnet متاحان في اليوم نفسه إعلان Anthropic نتائج متعددة اللغات في بطاقة النموذج موجودة: رياضيات MGSM، وMMLU متعددة اللغات القسم 5.6.1 بطاقة Claude 3، آذار 2024 … اقرأ المزيد
إيهاب صالح | techkahwa.net صدرت الورقة: 20 شباط 2024 | تاريخ النشر: 5 آذار 2024 الأرقام أولًا المقياس النتيجة ما الذي يقيسه المصدر عدد الأسئلة 14,575 سؤال اختيار من متعدد حجم الامتحان ورقة ArabicMMLU، Findings of ACL 2024 عدد المهام 40 مهمة اتساع المجالات الورقة نفسها عدد الدول المصدر 8 دول عربية التنوّع الجغرافي الورقة … اقرأ المزيد
إيهاب صالح | techkahwa.net صدر النموذج: 11 كانون الأول 2023 | تاريخ النشر: 25 كانون الأول 2023 الأرقام أولًا المقياس النتيجة ما الذي يقيسه المصدر اللغات المعلنة خمس: الإنجليزية والفرنسية والإيطالية والألمانية والإسبانية ما تقوله الشركة عن نموذجها إعلان Mistral، 11 كانون الأول 2023 ذكر العربية في الإعلان لا يوجد هل ذُكرت أصلًا الإعلان نفسه … اقرأ المزيد
إيهاب صالح | techkahwa.net صدر النموذج: 6 تشرين الثاني 2023 | تاريخ النشر: 20 تشرين الثاني 2023 الأرقام أولًا المقياس النتيجة ما الذي يقيسه المصدر Whisper large-v3، الفصحى على مجموعة SADA 27.95٪ خطأ أفضل حالات النموذج بالعربية لوحة تفريغ الكلام العربي المفتوحة، Interspeech 2025 Whisper large-v3، النجدي 48.58٪ أول درجات الانهيار المصدر نفسه Whisper large-v3، … اقرأ المزيد