منشور في · HAHA@IberLEF 2026، ليون، إسبانيا
مقاربات التلقين والضبط الدقيق لكشف الفكاهة الإسبانية وتوليدها
بقلم أسامة حسين العيني
شاركنا في المهام الفرعية الثلاث في HAHA@IberLEF 2026 حول الفكاهة الإسبانية، وحلّت نماذجنا المضبوطة ثانيةً في كشف النكات المولّدة آلياً.
الملخّص
We describe our participation in all three subtasks of HAHA@IberLEF 2026, a shared task on humor detection and generation in Spanish. For the two classification subtasks — Humor Detection and LLM-Generated Humor Detection, we experiment with two complementary paradigms: ensemble prompting of locally served open-weight LLMs (Llama 3.2, Mistral 7B, Gemma 3) and fine-tuning of an ensemble of Spanish and multilingual pre-trained language models (RoBERTuito, BETO, XLM-RoBERTa). For Humor Generation we apply a best-of-𝑛 prompting strategy with LLM-based reranking. Our few-shot prompting ensemble ranks 5th on Subtask 1 (F1 =0.8567), and our Pre-trained Language Models PLMs ensemble ranks 2nd on Subtask 2 (F1 =0.8729) — only 0.0035 points behind the top system. On Subtask 3, our generation ensemble ranks 3rd (Elo =919), above the official baseline. Results show that the PLMs ensemble generalizes more consistently across both classification subtasks, while few-shot prompting is particularly effective at satirical headline detection but less reliable at detecting LLM-generated humor.
HAHA@IberLEF 2026، ليون، إسبانيا
الملخّص معروض بالإنجليزية، ولم تتوفر ترجمة عربية له بعد.
سيُعرض بحثنا "مقاربات التلقين والضبط الدقيق لكشف الفكاهة الإسبانية وتوليدها" في HAHA@IberLEF 2026 بمدينة ليون الإسبانية، ضمن المؤتمر الثاني والأربعين للجمعية الإسبانية لمعالجة اللغات الطبيعية. شاركني تأليفه ناصر ثامر من جامعة أبين، وعلي الليث من جامعة كوبنهاغن، وقد أسهمنا فيه ثلاثتنا إسهاماً متكافئاً.
يبتعد هذا العمل عن أبحاث تبنّي التكامل المستمر التي تشغل أكثر هذه المدونة؛ فهو مشاركة في مهمة مشتركة في الفكاهة الحاسوبية. والذي لم أكن أتوقعه حين بدأنا هو حدّة ما كشفه هذا العمل من فرق بين نموذج تعلّم المهمة، ونموذج اكتُفي بأن يُخبَر عنها.
لماذا تعسر الفكاهة على الآلة؟
تقوم الفكاهة على المفارقة، والتهكّم، والتلاعب بالألفاظ، والمعرفة الثقافية المشتركة؛ وليس شيء من ذلك مما يُقرأ على سطح الجملة. والعنوان الساخر مكتوب عن عمد ليبدو كالعنوان الحقيقي، بل إن هذا هو صنعته كلها. فالإشارة التي تفرق بينهما ليست في المفردات ولا في التركيب، بل في حكم على مدى معقولية العالم الذي يصفه الخبر.
تطرح HAHA 2026 ثلاث مهام فرعية على نصوص إسبانية:
- كشف الفكاهة — تصنيف عنوان إخباري: أساخر هو أم حقيقي؟
- كشف الفكاهة المولّدة آلياً — تمييز ما إذا كانت النكتة من كتابة إنسان أم من توليد نموذج.
- توليد الفكاهة — إنشاء نكتة من عنوان إخباري، تُقيَّم بتفضيل بشري.
وقد شاركنا في المهام الثلاث جميعاً.
نموذجان في المقاربة، كلاهما مبني على التجميع
عمدنا إلى تشغيل مقاربتين متمايزتين إحداهما بإزاء الأخرى، بدل صقل مقاربة واحدة.
التلقين. ثلاثة نماذج مفتوحة الأوزان تُشغَّل محلياً عبر Ollama: Llama 3.2 بحجم 3B، وMistral 7B، وGemma 3 بحجم 4B، بدرجة حرارة مثبتة عند 0.0 للتصنيف و0.7 للتوليد. وصغنا لكل مهمة تصنيف ثلاث صيغ للتلقين: صيغة بلا أمثلة تطلب تسمية بكلمة واحدة، وصيغة بأمثلة قليلة تحمل مثالين موسومين مع إشارات إلى الإطار الساخر، وصيغة تفكير متسلسل تسوق النموذج عبر فحص المعقولية والتهكّم قبل أن يُخرج نتيجته في صيغة JSON. وتُصدَّر المدخلات برمز الدولة ([ES] و[MX] و[AR]).
ثم تُجمع التنبؤات بالتصويت بالأغلبية، ويُحسم التعادل لصالح الفئة الموجبة. وبتوسيع التصويت ليشمل النماذج الثلاثة يتشكّل تجميع «صيغة × نموذج» بتسعة أصوات لكل حالة.
الضبط الدقيق. تجميع لثلاثة مرمِّزات إسبانية ومتعددة اللغات — RoBERTuito وBETO وXLM-RoBERTa — مدرَّبة بهدف نمذجة اللغة المقنَّعة، تمييزاً لها من النماذج فاكّة الترميز المستعملة في التلقين.
أما التوليد فاعتمد استراتيجية «أفضل من n» مع إعادة ترتيب بنموذج لغوي.
ما قالته لوحة النتائج
المهمة الأولى — كشف العناوين الساخرة. حلّ تجميع التلقين بأمثلة قليلة خامساً بمقياس F1 = 0.8567، وجاء التجميع المضبوط سابعاً من ثلاثة عشر عند 0.8414، والتلقين بلا أمثلة تاسعاً عند 0.8237.
المهمة الثانية — كشف الفكاهة المولّدة آلياً. حلّ التجميع المضبوط ثانياً من ستة عشر بمقياس F1 = 0.8729، بفارق 0.0035 فقط عن النظام الأول. وهوى التلقين بأمثلة قليلة إلى المركز الثالث عشر عند 0.6535، وجاء التلقين بلا أمثلة أخيراً عند 0.5095، دون الخط المرجعي الرسمي.
المهمة الثالثة — توليد الفكاهة. حلّ تجميعنا ثالثاً بتصنيف Elo = 919 في مقابل خط مرجعي عند 835. ولمّا كانت فترات الثقة غير متداخلة، فإن إعادة الترتيب بأسلوب «أفضل من n» تحسين حقيقي، وإن بقيت مسافة واسعة إلى أول نظامين عند 1136 و1110.
النتيجة التي علّمتنا شيئاً حقاً
ليس المركز الثاني هو الرقم اللافت، بل المسافة بين المركز الخامس للتلقين بأمثلة قليلة في المهمة الأولى، والمركز الثالث عشر له في المهمة الثانية.
وانظر أين وقع الخلل: بلغ التلقين بأمثلة قليلة في المهمة الثانية استرجاعاً قدره 0.9636 عند دقة 0.4944؛ أي إنه صار يَعُدّ كل شيء تقريباً مولَّداً آلياً. فالأمثلة التي كتبناها لنعلّمه صورة السخرية أورثته ميلاً إلى الفئة الموجبة، فلما تبدّلت المهمة من «أهذا ساخر؟» إلى «أكتبه نموذج؟» انتقل ذلك الميل معه كما هو، وكفّ عن أن يكون نافعاً.
أما التجميع المضبوط فلم يقع في هذا؛ إذ حلّ سابعاً ثم ثانياً في المهمتين: لم يكن الأفضل قط، ولم ينهَر قط. فما تعلّمه أثناء الضبط انتقل عبر المسألتين كلتيهما.
وفي هذا قراءة عملية لمن يوازن بين المقاربتين: التلقين سريع، يسير التكرار، وقد يبلغ الإحسان في المهمة التي ضُبطت أمثلته لها بعينها. غير أن الأمثلة هي المواصفة، وهي تحمل مسلّمات لم تُكتب صراحةً. والضبط الدقيق أبطأ وأقلّ مرونة، لكنه كان وحده الذي بقي موثوقاً حين تحرّكت الأرض.
وكان التلقين بلا أمثلة أضعف مقارباتنا في مهمتي التصنيف كلتيهما، وفي ذلك درس صغير: أن أمثلة المعايرة السياقية كانت تؤدي معظم العمل في مهمة ذاتية بطبيعتها.
إلى أين يمضي هذا؟
يتجه العمل القادم إلى المزج: الجمع بين التلقين والضبط الدقيق بدل معاملتهما بديلين، والنظر فيما إذا كان بالإمكان إدماج المعرفة النظرية بالفكاهة — ولا سيما نظرية المفارقة — في مسارات التصنيف والتوليد، بدل ترك النموذج يستنتجها وحده.
شكر وامتنان
الشكر لزميليّ ناصر ثامر وعلي الليث، ولمنظّمي HAHA@IberLEF 2026 على البيانات والبنية التقييمية التي أتاحت هذه المقارنة.
الموضوعات
البحث
مقاربات التلقين والضبط الدقيق لكشف الفكاهة الإسبانية وتوليدها
HAHA@IberLEF 2026، ليون، إسبانيا
PDF805 KB