نتائج التقييم
كل رقم، وكيف وصلنا إليه.
نقيس النتائج على اختبارات ثابتة، ونعرض نتائج القراءة مع فواصل الثقة 95%. وحين لا يكون تقدّمنا على النظام التالي واضحًا، نقول ذلك.
النص المطبوع · Kindi OCR v1.0
اختبار النص المطبوع (MDP-90): 90 كتلة من صفحات صحف عربية، 4,320 كلمة، تُقيَّم كل كتلة كاملة، فتُحسب أخطاء ترتيب الأسطر والأعمدة أيضًا. معدل خطأ الأحرف، والأقل أفضل.
يتداخل فاصلنا مع فاصل Mistral OCR، لذلك نصفه بأنه الأقل خطأً في هذه المقارنة، لا بأنه تفوّق واضح. أما الفارق مع PaddleOCR-VL وTesseract فواضح.
تفاصيل Kindi OCR| النظام | معدل خطأ الأحرف (CER) | فاصل الثقة 95% |
|---|---|---|
| Kindi OCR | 0.89% | 0.6–1.2 |
| Mistral OCR v4.1 | 1.29% | 1.0–1.6 |
| deep.sa OCR v2.0 | 2.63% | 1.9–3.7 |
| PaddleOCR-VL 1.6 | 5.4% | 4.2–6.5 |
| Tesseract | 6.53% | 4.5–9.3 |
0%2%4%6%8%10% |
الكتابة اليدوية · Kindi HTR
اختبار الكتابة اليدوية: 2,000 سطر مكتوب بخط اليد، 24,453 كلمة، بخمسة خطوط عربية تاريخية. الأسطر نفسها لكل نظام ولكل إصدار. معدل خطأ الأحرف، والأقل أفضل. قيد التطوير.
حدّنا الأعلى 9.26% أقل من الحدّ الأدنى لفاصل HATFormer عند 20.89%: الفاصلان لا يتداخلان.
تفاصيل Kindi HTR| النظام | معدل خطأ الأحرف (CER) | فاصل الثقة 95% |
|---|---|---|
| Kindi v0.5 preview | 8.83% | 8.45–9.26 |
| HATFormer | 21.46% | 20.89–22.04 |
| sdkv2 | 37.36% | 36.81–37.93 |
| Mistral OCR v4.1 | 39.49% | 38.44–40.57 |
| Qari-OCR v0.3 | 47.93% | 47.01–48.88 |
| Tesseract | 62.83% | 62.22–63.49 |
0%10%20%30%40%50%60%70% |
| البند | HATFormer | Kindi v0.5 preview |
|---|---|---|
| المشرقي | 32.0% | 3.7% |
| الرقعة | 17.9% | 5.8% |
| النستعليق | 20.7% | 8.2% |
| التعليق | 13.4% | 8.8% |
| النسخ | 21.2% | 9.8% |
| المغربي | 33.9% | 10.4% |
| الحديث | 41.4% | 15.3% |
معدل خطأ الأحرف لكل خط، والأقل أفضل، في اختبار أوسع من 8,136 سطرًا. لا تتداخل فواصل الثقة 95% في أي خط، وكل الحدود في ملف JSON. وفي خط اليد الحديث، تقرأ ثلاثة أنظمة أخرى اختبرناها أفضل من Kindi HTR.
الاسترجاع العربي · laya-ara-rag
لكل سؤال ما يصل إلى 12 مقطعًا مرشّحًا، والدرجة هي نسبة الأسئلة التي كان أول اختيار للنموذج فيها هو المقطع الصحيح. دُرّب على MIRACL-ar وحدها، ولم يرَ المجموعات الأربع الأخرى.
| المجموعة | الأسئلة |
|---|---|
| MIRACL-ar | 2,896 |
| Mr.TyDi-ar | 2,000 |
| SadeemQuestion | 2,089 |
| MLQA-ar | 2,000 |
| XPQA-ar | 750 |
| البند | laya-multilingual (الأساسي) | laya-ara-rag |
|---|---|---|
| MIRACL-ar (دُرّب عليها) | 15.3% | 58.8% |
| Mr.TyDi-ar | 17.6% | 63.2% |
| SadeemQuestion | 16.8% | 87.1% |
| MLQA-ar | 13.3% | 58.2% |
| XPQA-ar | 21.3% | 66.5% |
الأعلى أفضل.
مقارنة الخدمات الصوتية
ترسَل الجملة نفسها إلى كل خدمة صوتية عربية. نقيس متى يُسمع أول صوت، وسرعة توليد الصوت، والحالات البطيئة.
تفاصيل مقارنة الخدمات الصوتية- 7
- خدمات في المقارنة
- 66
- طلبًا جرى قياس زمنه