إيجاد المقطع الذي يجيب.
نموذج استرجاع عربي يختار، من بين ما يصل إلى اثني عشر مقطعًا، المقطع الذي يجيب عن السؤال، قبل أن يردّ المساعد.
87.1%دقة الاختيار الأول على SadeemQuestionبعد أن كانت 16.8% قبل التدريب
البحث في النصوص العربية
قبل أن يجيب أي مساعد، عليه أن يجد المقطع الصحيح. نعطي laya-ara-rag سؤالًا وما يصل إلى 12 مقطعًا، فيختار المقطع الذي يجيب عنه.
دُرّب النموذج على MIRACL-ar وحدها، ولم يرَ مجموعات البيانات الأربع الأخرى من قبل.
مثال توضيحي: سؤال عن الخط الذي شاع في الكتابة اليومية، وثمانية مقاطع عن الخطوط العربية. اختيار النموذج الأول هو مقطع الرقعة، وهو الصحيح.
مثال توضيحي: السؤال والمقاطع من كتابتنا، والدرجات للعرض فقط.
| البند | النموذج الأساسي | laya-ara-rag |
|---|---|---|
| MIRACL-ar (دُرّب عليها) | 15.3% | 58.8% |
| Mr.TyDi-ar | 17.6% | 63.2% |
| SadeemQuestion | 16.8% | 87.1% |
| MLQA-ar | 13.3% | 58.2% |
| XPQA-ar | 21.3% | 66.5% |
النموذج الأساسي هو laya-multilingual قبل تدريبنا. الأرقام: نسبة الأسئلة التي كان أول اختيار للنموذج فيها هو المقطع الصحيح.
خمس مجموعات عامة
9,735 سؤالًا في المجموع. دُرّب على MIRACL-ar وحدها.
الاستخدام
النموذج منشور على Hugging Face برخصة Apache-2.0.
| المجموعة | الأسئلة | قبل | بعد |
|---|---|---|---|
| MIRACL-ar · دُرّب عليها | 2,896 | 15.3% | 58.8% |
| Mr.TyDi-ar | 2,000 | 17.6% | 63.2% |
| SadeemQuestion | 2,089 | 16.8% | 87.1% |
| MLQA-ar | 2,000 | 13.3% | 58.2% |
| XPQA-ar | 750 | 21.3% | 66.5% |