論文の概要: Cultural Benchmarking of LLMs in Standard and Dialectal Arabic Dialogues
- arxiv url: http://arxiv.org/abs/2605.00119v1
- Date: Thu, 30 Apr 2026 18:20:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 17:43:28.704058
- Title: Cultural Benchmarking of LLMs in Standard and Dialectal Arabic Dialogues
- Title（参考訳）: 標準および方言アラビア語対話におけるLLMの文化的ベンチマーク
- Authors: Muhammad Dehan Al Kautsar, Saeed Almheiri, Momina Ahsan, Bilal Elbouardi, Younes Samih, Sarfraz Ahmad, Amr Keleg, Omar El Herraoui, Kareem Elzeky, Abed Alhakim Freihat, Mohamed Anwar, Zhuohan Xie, Junhong Liang, Mohammad Rustom Al Nasar, Preslav Nakov, Fajri Koto,
- Abstract要約: 我々は、現代標準アラビア語(MSA)と各国の方言において、13カ国を対象とする会話データセットであるArabCulture-Dialogueを紹介した。
このデータセットを用いて、 (i) 複数選択の文化的推論、 (ii) MSAと方言の機械翻訳、 (iii) 方言のステアリング生成という3つのベンチマークタスクを作成する。
実験の結果, MSAとアラビア方言のパフォーマンスギャップは依然として存在し, MSAの3つの課題において, MSAと比較してモデルが劣ることがわかった。
- 参考スコア（独自算出の注目度）: 40.426435358855464
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There is a significant gap in evaluating cultural reasoning in LLMs using conversational datasets that capture culturally rich and dialectal contexts. Most Arabic benchmarks focus on short text snippets in Modern Standard Arabic (MSA), overlooking the cultural nuances that naturally arise in dialogues. To address this gap, we introduce ArabCulture-Dialogue, a culturally grounded conversational dataset covering 13 Arabic-speaking countries, in both MSA and each country's respective dialect, spanning 12 daily-life topics and 54 fine-grained subtopics. We utilize the dataset to form three benchmarking tasks: (i) multiple-choice cultural reasoning, (ii) machine translation between MSA and dialects, and (iii) dialect-steering generation. Our experiments indicate that the performance gap between MSA and Arabic dialects still exists, whereby the models perform worse on all three tasks in the dialectal setup, compared to the MSA one.
- Abstract（参考訳）: 文化的に豊かな方言の文脈を捉えた会話データセットを用いて、LLMにおける文化的推論を評価するには、大きなギャップがある。
ほとんどのアラビア語のベンチマークは現代標準アラビア語(MSA)の短いテキストスニペットに焦点を当てており、自然に対話で生じる文化的ニュアンスを見下ろしている。
このギャップに対処するために、我々は、12の日常生活トピックと54のきめ細かいサブトピックにまたがる、13のアラビア語を話す国と各国の方言の両方で、文化に根ざした会話データセットであるArabCulture-Dialogueを紹介した。
データセットを使用して3つのベンチマークタスクを作成します。
(i)複数選択の文化的理由
(二)MSAと方言の機械翻訳、及び
(三)弁別代。
実験の結果, MSAとアラビア方言のパフォーマンスギャップは依然として存在し, MSAの3つの課題において, MSAと比較してモデルが劣ることがわかった。
関連論文リスト
- DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models [54.10223256792762]
アラビア方言における大規模言語モデル(LLM)の性能評価のための新しいベンチマークであるDialectalArabicMMLUを提案する。
MMLU-Redux フレームワークを手動で翻訳し、3K 個の質問応答対を5つの主要な方言に適応することで拡張する。
論文 参考訳（メタデータ） (2025-10-31T15:17:06Z) - Cross-Cultural Transfer of Commonsense Reasoning in LLMs: Evidence from the Arab World [68.19795061447044]
本稿では,アラブ世界におけるコモンセンス推論の異文化間移動について検討する。
アラブ13カ国を対象とした文化基盤のコモンセンス推論データセットを用いて,軽量アライメント手法の評価を行った。
以上の結果から,他国の文化特有例は12例に過ぎず,他国の文化特有例を平均10%向上させることができた。
論文 参考訳（メタデータ） (2025-09-23T17:24:14Z) - Commonsense Reasoning in Arab Culture [6.116784716369165]
我々は,現代標準アラビア語(MSA)における常識推論データセットであるArabCultureを紹介し,湾岸,レバント,北アフリカ,ナイルバレーの13カ国の文化をカバーしている。
ArabCultureは12の日常生活ドメインと54の細かいサブトピックにまたがっており、社会規範、伝統、日常生活の様々な側面を反映している。
ゼロショット評価は、最大32Bパラメータを持つオープンウェイト言語モデルは、様々なアラブ文化を理解するのに苦労し、地域によってパフォーマンスが異なることを示している。
論文 参考訳（メタデータ） (2025-02-18T11:49:54Z) - AraDiCE: Benchmarks for Dialectal and Cultural Capabilities in LLMs [22.121471902726892]
本稿ではアラビア方言と文化評価のベンチマークであるAraDiCEを紹介する。
湾岸地域、エジプト地域、レバント地域の文化意識を評価するために設計された最初のきめ細かいベンチマーク。
論文 参考訳（メタデータ） (2024-09-17T17:59:25Z) - ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [51.922112625469836]
アラビア語における最初のマルチタスク言語理解ベンチマークである、データセット名を提案する。
我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575のマルチチョイス質問で構成されており、地域の母語話者と協調して慎重に構築されている。
35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
論文 参考訳（メタデータ） (2024-02-20T09:07:41Z) - AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。
目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
論文 参考訳（メタデータ） (2023-09-21T13:20:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。