ADA - Bilingual LLM Evaluation Assessment

Bilingual Arabic-English LLM Evaluation Assessment

This assessment is for candidates applying to the bilingual Arabic-English annotation path. Each question is shown in English and Arabic. You may answer in either language.

هذا التقييم مخصص للمرشحين المتقدمين لمسار التصنيف ثنائي اللغة (عربي-إنجليزي). تظهر كل سؤال بالإنجليزية والعربية، ويمكنك الإجابة بأي من اللغتين.

1. What does the abbreviation 'LLM' stand for? ماذا يعني الاختصار 'LLM'؟
2. A large language model is trained only on labeled tabular spreadsheets. النموذج اللغوي الكبير يُدرَّب فقط على جداول بيانات مصنّفة.
True / صحيح False / خطأ
3. What is a 'token' in the context of language models? ما المقصود بـ 'Token' (الوحدة اللغوية) في سياق نماذج اللغة؟
4. Explain in your own words what 'fine-tuning' means for an LLM. اشرح بكلماتك الخاصة معنى 'الضبط الدقيق' (Fine-tuning) لنموذج لغوي.
5. GPT-4, Claude, and Gemini are all examples of large language models. GPT-4 وClaude وGemini كلها أمثلة على نماذج لغوية كبيرة.
True / صحيح False / خطأ
6. What is 'prompt engineering'? ما هي 'هندسة الأوامر' (Prompt Engineering)؟
7. The 'context window' of an LLM refers to the maximum amount of text it can process in a single interaction. تشير 'نافذة السياق' لنموذج اللغة إلى أقصى كمية نص يمكنه معالجتها في تفاعل واحد.
True / صحيح False / خطأ
8. What does 'hallucination' mean when evaluating an LLM response? ماذا يعني مصطلح 'الهلوسة' (Hallucination) عند تقييم استجابة نموذج لغوي؟
9. A response can be fluent and well-written but still factually incorrect. يمكن أن تكون الاستجابة سليمة لغوياً ومكتوبة جيداً لكنها غير صحيحة من الناحية الواقعية.
True / صحيح False / خطأ
10. What is the difference between 'relevance' and 'accuracy' when rating a model response? ما الفرق بين 'الملاءمة' (Relevance) و'الدقة' (Accuracy) عند تقييم استجابة النموذج؟
11. What does RLHF stand for? ماذا يعني الاختصار RLHF؟
12. Annotators should apply the same evaluation criteria consistently, regardless of the response's language. يجب على المُصنِّفين تطبيق معايير التقييم نفسها بثبات، بغض النظر عن لغة الاستجابة.
True / صحيح False / خطأ
13. When annotating bilingual Arabic-English text, what is 'code-switching'? عند تصنيف نص ثنائي اللغة (عربي-إنجليزي)، ما المقصود بـ 'تبديل الشيفرة اللغوية' (Code-switching)؟
14. Translate the following customer comment into English: 'المنتج وصل متأخراً لكن الجودة كانت ممتازة.' ترجم التعليق التالي إلى الإنجليزية: 'المنتج وصل متأخراً لكن الجودة كانت ممتازة.'
15. Arabic dialectal text (e.g. Egyptian colloquial) should always be normalized to Modern Standard Arabic before annotation. يجب دائماً تحويل النص العامي العربي (مثل اللهجة المصرية) إلى الفصحى قبل التصنيف.
True / صحيح False / خطأ
16. What is 'sentiment classification' and give one example label. ما هو 'تصنيف المشاعر' (Sentiment Classification)؟ اذكر مثالاً على تصنيف واحد.
17. Named Entity Recognition (NER) tags spans of text such as names, locations, and organizations. يقوم التعرف على الكيانات المسمّاة (NER) بوسم أجزاء من النص مثل الأسماء والأماكن والمؤسسات.
True / صحيح False / خطأ
18. If you are unsure about the correct label for a sample, what should you do? إذا لم تكن متأكداً من التصنيف الصحيح لعينة ما، ماذا يجب أن تفعل؟
19. What is 'content moderation' in the context of data annotation? ما المقصود بـ 'الإشراف على المحتوى' (Content Moderation) في سياق تصنيف البيانات؟
20. A response that ignores part of a multi-part instruction should still receive full marks for completeness. الاستجابة التي تتجاهل جزءاً من تعليمات متعددة الأجزاء يجب أن تحصل مع ذلك على الدرجة الكاملة في الاكتمال.
True / صحيح False / خطأ
21. What does 'grounding' mean when evaluating an LLM's factual claims? ماذا يعني 'الإسناد الواقعي' (Grounding) عند تقييم الادعاءات الواقعية لنموذج لغوي؟
22. Annotate the sentiment of this review as Positive, Negative, or Neutral: 'الخدمة كانت بطيئة جداً ولم أعجب بالتجربة.' صنّف مشاعر هذا التقييم إلى إيجابي أو سلبي أو محايد: 'الخدمة كانت بطيئة جداً ولم أعجب بالتجربة.'
23. Increasing an LLM's 'temperature' setting makes its output more random and less deterministic. زيادة إعداد 'درجة الحرارة' (Temperature) لنموذج اللغة تجعل مخرجاته أكثر عشوائية وأقل ثباتاً.
True / صحيح False / خطأ
24. What is the purpose of a QA (Quality Assurance) pass after initial annotation? ما الغرض من مرحلة ضمان الجودة (QA) بعد عملية التصنيف الأولية؟
25. Why is consistency important when multiple annotators label the same dataset? لماذا يُعدّ الاتساق مهماً عندما يقوم عدة مُصنِّفين بتصنيف نفس مجموعة البيانات؟
26. A 'system prompt' sets the behavior and role of an LLM before the user's first message. يحدد 'أمر النظام' (System Prompt) سلوك ودور نموذج اللغة قبل أول رسالة من المستخدم.
True / صحيح False / خطأ
27. When flagging a response as a 'failure case,' what information should you include in your notes? عند وسم استجابة كـ 'حالة فشل'، ما المعلومات التي يجب تضمينها في ملاحظاتك؟
28. What is the difference between Modern Standard Arabic (MSA) and a regional Arabic dialect, and why does this matter for annotation? ما الفرق بين العربية الفصحى الحديثة (MSA) ولهجة عربية إقليمية، ولماذا يهم هذا في عملية التصنيف؟
29. An annotation guideline document should include label definitions, rules, and edge case examples. يجب أن تتضمن وثيقة إرشادات التصنيف تعريفات التصنيفات والقواعد وأمثلة على الحالات الاستثنائية.
True / صحيح False / خطأ
30. If a model response is fluent in English but contains an awkward, literal Arabic translation, how would you rate it for 'naturalness'? إذا كانت استجابة النموذج سليمة بالإنجليزية لكنها تحتوي على ترجمة عربية حرفية وركيكة، كيف تقيّمها من حيث 'الطبيعية اللغوية'؟