論文の概要: MADE: Beyond Scoring via a Multilingual Agentic Diagnosing Engine for Fine-Grained Evaluation Insights

• arxiv url: http://arxiv.org/abs/2606.07020v1
• Date: Fri, 05 Jun 2026 08:09:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.632564
• Title: MADE: Beyond Scoring via a Multilingual Agentic Diagnosing Engine for Fine-Grained Evaluation Insights
• Title（参考訳）: MADE: 細粒度評価のための多言語エージェント診断エンジンによるスコーリングを超えて
• Authors: Yilun Liu, Miao Zhang, Shimin Tao, Minggui He, Chunguang Zhao, Chenxin Liu, Li Zhang, Chen Liu, Cheng Qian, Liqun Deng, Xiaojun Meng, Daimeng Wei,
• Abstract要約: MADEは、評価後の分析を、計画、総合分析、事例レベルの事例検査、多言語および文化的反映、基礎レポートに分解する。 実験の結果、MADEは診断報告の品質が47%向上し、対比較の87.9%でヒトの多言語の専門家が好んでいる。
• 参考スコア（独自算出の注目度）: 29.06378695322803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual and multicultural benchmarks now cover dozens of languages and model families, but the resulting score landscapes remain metric-rich and insight-poor, necessitating fine-grained multilingual post-evaluation diagnosis. However, single LLMs and open-ended agents are easily swamped by the long, noisy diagnostic input, and no reusable taxonomy exists for it. To address this, we propose MADE, a Multilingual Agentic Diagnosing Engine that decomposes post-evaluation analysis into planning, aggregate analysis, instance-level case inspection, multilingual and cultural reflection, and grounded report synthesis. MADE is paired with an expert-led 54-query and 15-language diagnostic set, evaluated on top of a large-scale multilingual evaluation substrate (33 model families, 11 benchmarks, 26 languages, 34 cultures, 8.66M evaluation records). Experiments show that MADE outperforms the strongest shared baseline by 47% in diagnosis report quality and is preferred by human multilingual experts in 87.9% of pairwise comparisons. Applied with multilingual experts, MADE further surfaces four actionable findings on deployment, iteration, and cross-cultural pitfalls, turning benchmark score tables into model-selection and remediation guidance.
• Abstract（参考訳）: 多言語および多文化のベンチマークは現在、数十の言語とモデルファミリーをカバーするが、その結果得られたスコアのランドスケープは、メートル法に富み、洞察に乏しいままであり、きめ細かい多言語後評価診断を必要とする。 しかし、単一LSMとオープンエンドエージェントは、長くノイズの多い診断入力によって簡単に湿潤化され、再利用可能な分類は存在しない。 これを解決するために,多言語エージェント診断エンジンであるMADEを提案する。これは,評価後の分析を計画,集計分析,事例レベルの事例検査,多言語および文化的反映,および基礎的なレポート合成に分解する。 MADEは、大規模多言語評価基板(33モデルファミリ、11ベンチマーク、26言語、34言語、8.66M評価レコード)上で評価された専門家主導の54クエリと15言語診断セットとペアリングされている。 実験の結果、MADEは診断報告の品質が47%向上し、対比較の87.9%でヒトの多言語の専門家が好んでいる。 MADEは多言語の専門家に応用され、デプロイメント、イテレーション、文化横断的な落とし穴に関する4つの実行可能な調査結果を提示し、ベンチマークスコアテーブルをモデル選択と修正ガイダンスに変換する。

関連論文リスト

• The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models [51.61416200800499]
  GaoYaoは182.3kサンプル、26言語、51か国/地域からなる総合ベンチマークである。 まず、GaoYao氏は評価タスクを3つの文化階層に分類する統一的なフレームワークを提案する。 第二に、専門家を活用して、主観的なベンチマークを19言語に厳格にローカライズすることで、ネイティブ品質の拡大を実現しています。 第3に,20以上のフラッグシップおよびコンパクトLCMの詳細な診断を行う。
  論文  参考訳（メタデータ） (2026-04-22T06:19:46Z)
• Evaluating Modern Large Language Models on Low-Resource and Morphologically Rich Languages:A Cross-Lingual Benchmark Across Cantonese, Japanese, and Turkish [12.286855282078305]
  GPT-4o, GPT-4, Claude3.5Sonnet, LLaMA3.1, MistralLarge2, LLaMA-2Chat13B, Mistral7B Instructを評価した。 我々のベンチマークは、オープンドメイン質問応答、文書要約、英語からXへの翻訳、文化的根拠のある対話の4つのタスクにまたがっている。
  論文  参考訳（メタデータ） (2025-11-05T22:09:53Z)
• M3TQA: Massively Multilingual Multitask Table Question Answering [39.99483693397598]
  m3TQA-Instructは97の言語にまたがる大規模なベンチマークである。 我々は、中国語と英語で50の現実世界のテーブルをキュレートしてm3TQAを構築し、DeepSeekとGPT-4oをベースとした堅牢な6ステップの翻訳パイプラインを適用した。 このベンチマークには、微妙なテーブル推論能力を評価するために設計された4つのタスクに2,916の専門的なアノテートされた質問応答ペアが含まれている。
  論文  参考訳（メタデータ） (2025-08-22T09:57:40Z)
• MMLU-ProX: A Multilingual Benchmark for Advanced Large Language Model Evaluation [86.7047714187813]
  MMLU-ProXは29の言語をカバーするベンチマークであり、英語のベンチマーク上に構築されている。 それぞれの言語バージョンは11,829の同一の質問で構成されており、直接言語間比較を可能にする。 効率的な評価ニーズを満たすため,言語毎の質問数は658件である。
  論文  参考訳（メタデータ） (2025-03-13T15:59:20Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• Are Large Language Model-based Evaluators the Solution to Scaling Up Multilingual Evaluation? [20.476500441734427]
  大規模言語モデル(LLM)は様々な自然言語処理(NLP)タスクに優れる。 彼らの評価、特に上位20ドルを超える言語では、既存のベンチマークとメトリクスの制限のため、依然として不十分である。
  論文  参考訳（メタデータ） (2023-09-14T06:41:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。