وش نختبر؟
- تحويل الكلام إلى نص: هل الأداة تكتب اللي قلته باللهجة صح؟
- الفهم: هل ترد على طلب منطوق باللهجة بشكل صحيح؟
- النطق: هل صوتها باللهجة طبيعي ومفهوم لأهل اللهجة؟
النتائج لم تُنشر بعد. ما راح ننشر أي رقم قبل ما نكمّل الاختبار فعليًا بالطريقة المكتوبة هنا. صفحة النتائج
اللهجات
نبدأ باللهجات السعودية (نجدية، حجازية، شرقية، جنوبية)، وبعدها الكويتية والإماراتية والقطرية والبحرينية والعمانية، مع الفصحى كمرجع للمقارنة.
العينات
- جمل يومية حقيقية: مواعيد، طلبات أكل، معاملات، أرقام وتواريخ، أسماء أماكن محلية.
- متحدثين متطوعين من كل لهجة، رجال ونساء، بأعمار مختلفة، بعد موافقتهم المكتوبة.
- تسجيل في بيئة هادية وبيئة فيها إزعاج عادي (سيارة، مقهى).
- ما نجمع أي بيانات شخصية في الجمل نفسها.
طريقة القياس
- نسبة الخطأ في الكلمات (WER) لتحويل الكلام إلى نص، بعد توحيد الإملاء (مثل الهمزات والتاء المربوطة).
- دقة تنفيذ الطلب: نسبة الطلبات اللي فهمتها الأداة صح، يحكم عليها شخصين من أهل اللهجة بشكل مستقل.
- تقييم النطق من 1 إلى 5 من مستمعين من أهل اللهجة، بدون ما يعرفون اسم الأداة.
- كل أداة تُختبر بنفس العينات، وبإعداداتها الافتراضية، وبنفس الفترة الزمنية، ونكتب تاريخ الاختبار ونسخة الأداة.
الأدوات المرشحة
من قائمة أدوات الصوت في سالفة، مثل: ElevenLabs، HUMAIN Voice، Whisper، HeyGen، وأي أداة جديدة تدعم العربية.
الشفافية
- ننشر الجمل المستخدمة والمنهجية كاملة مع النتائج.
- الرعاة ما يأثرون على النتائج، وأي علاقة تجارية مع شركة أداة تُذكر بوضوح.
- تبي تشارك كمتحدث أو عندك ملاحظة على المنهجية؟ راسلنا.