論文の概要: Evaluating Arabic Large Language Models: A Survey of Benchmarks, Methods, and Gaps

• arxiv url: http://arxiv.org/abs/2510.13430v2
• Date: Thu, 16 Oct 2025 12:22:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 14:17:28.101755
• Title: Evaluating Arabic Large Language Models: A Survey of Benchmarks, Methods, and Gaps
• Title（参考訳）: アラビア語大言語モデルの評価:ベンチマーク,メソッド,ギャップの調査
• Authors: Ahmed Alzubaidi, Shaikha Alsuwaidi, Basma El Amel Boussaha, Leen AlQadi, Omar Alkaabi, Mohammed Alyafeai, Hamza Alobeidli, Hakim Hacid,
• Abstract要約: この調査は、NLPタスク、知識領域、文化的理解、特殊能力にわたる40以上の評価ベンチマークを分析し、アラビア語のLLMベンチマークを初めて体系的にレビューした。 本稿では,ナレッジ,NLPタスク,カルチャー・アンド・ダイアレクト,ターゲット・スペクティフィック評価の4つのカテゴリに分類基準を編成する手法を提案する。 分析の結果,時間的評価の限界,マルチターン・ダイアログの不十分,データセットの文化的な相違など,重要なギャップを識別しながら,ベンチマークの多様性が著しく向上していることが判明した。
• 参考スコア（独自算出の注目度）: 3.689494816536669
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This survey provides the first systematic review of Arabic LLM benchmarks, analyzing 40+ evaluation benchmarks across NLP tasks, knowledge domains, cultural understanding, and specialized capabilities. We propose a taxonomy organizing benchmarks into four categories: Knowledge, NLP Tasks, Culture and Dialects, and Target-Specific evaluations. Our analysis reveals significant progress in benchmark diversity while identifying critical gaps: limited temporal evaluation, insufficient multi-turn dialogue assessment, and cultural misalignment in translated datasets. We examine three primary approaches: native collection, translation, and synthetic generation discussing their trade-offs regarding authenticity, scale, and cost. This work serves as a comprehensive reference for Arabic NLP researchers, providing insights into benchmark methodologies, reproducibility standards, and evaluation metrics while offering recommendations for future development.
• Abstract（参考訳）: この調査は、NLPタスク、知識領域、文化的理解、特殊能力にわたる40以上の評価ベンチマークを分析し、アラビア語のLLMベンチマークを初めて体系的にレビューした。 本稿では,ナレッジ,NLPタスク,カルチャー・アンド・ダイアレクト,ターゲット・スペクティフィック評価の4つのカテゴリに分類基準を編成する手法を提案する。 本分析は, 時間的評価の限界, マルチターン対話評価の不十分, 翻訳データセットにおける文化的不一致など, 重要なギャップを識別しながら, ベンチマークの多様性が著しく向上していることを明らかにする。 本稿では, ネイティブコレクション, 翻訳, 合成生成の3つの主要なアプローチについて検討し, 信頼性, スケール, コストに関するトレードオフについて議論する。 この研究は、アラビア語のNLP研究者の包括的な参照として機能し、将来の開発のための勧告を提供しながら、ベンチマーク方法論、再現性標準、評価指標に関する洞察を提供する。

関連論文リスト

• Towards Holistic Evaluation of Large Audio-Language Models: A Comprehensive Survey [48.11376507684374]
  我々は総合的な調査を行い、LALM評価のための体系的な分類法を提案する。 各カテゴリの詳細な概要と,この分野の課題について紹介する。 調査した論文の収集を公表し、現在進行中の分野の発展を支援するため、積極的に維持していく。
  論文  参考訳（メタデータ） (2025-05-21T19:17:29Z)
• MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
  MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。 開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。 この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
  論文  参考訳（メタデータ） (2024-11-22T18:59:54Z)
• Leveraging Large Language Models for NLG Evaluation: Advances and Challenges [57.88520765782177]
  大規模言語モデル(LLM)は、コヒーレンス、クリエイティビティ、コンテキスト関連など、生成されたコンテンツ品質を評価するための新たな道を開いた。 既存のLCMに基づく評価指標を整理し、これらの手法を理解し比較するための構造化された枠組みを提供する。 本稿では, 偏見, 堅牢性, ドメイン固有性, 統一評価などの未解決課題を議論することによって, 研究者に洞察を提供し, より公平で高度なNLG評価手法を提唱することを目的とする。
  論文  参考訳（メタデータ） (2024-01-13T15:59:09Z)
• Advancing the Evaluation of Traditional Chinese Language Models: Towards a Comprehensive Benchmark Suite [17.764840326809797]
  本稿では,既存の英語データセットを活用し,中国語の言語モデルを評価するための新しいベンチマークセットを提案する。 これらのベンチマークには、コンテキスト質問、要約、分類、テーブル理解など、幅広いタスクが含まれている。 本稿では,これらのベンチマークを用いて,GPT-3.5,台湾-LLaMa-v1.0,モデル7-Cの性能評価を行った。
  論文  参考訳（メタデータ） (2023-09-15T14:52:23Z)
• Benchmarking Foundation Models with Language-Model-as-an-Examiner [47.345760054595246]
  本稿では,新しいベンチマークフレームワークLanguage-Model-as-an-Examinerを提案する。 LMは、その知識に基づいて質問を定式化し、基準のない方法で応答を評価する、知識に富んだ検査者として機能する。
  論文  参考訳（メタデータ） (2023-06-07T06:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。