Fugu-MT 論文翻訳(概要): MADE: Beyond Scoring via a Multilingual Agentic Diagnosing Engine for Fine-Grained Evaluation Insights

論文の概要: MADE: Beyond Scoring via a Multilingual Agentic Diagnosing Engine for Fine-Grained Evaluation Insights

arxiv url: http://arxiv.org/abs/2606.07020v1
Date: Fri, 05 Jun 2026 08:09:46 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-08 14:33:29.632564
Title: MADE: Beyond Scoring via a Multilingual Agentic Diagnosing Engine for Fine-Grained Evaluation Insights
Title（参考訳）: MADE: 細粒度評価のための多言語エージェント診断エンジンによるスコーリングを超えて
Abstract要約: MADEは、評価後の分析を、計画、総合分析、事例レベルの事例検査、多言語および文化的反映、基礎レポートに分解する。実験の結果、MADEは診断報告の品質が47%向上し、対比較の87.9%でヒトの多言語の専門家が好んでいる。
参考スコア（独自算出の注目度）: 29.06378695322803
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multilingual and multicultural benchmarks now cover dozens of languages and model families, but the resulting score landscapes remain metric-rich and insight-poor, necessitating fine-grained multilingual post-evaluation diagnosis. However, single LLMs and open-ended agents are easily swamped by the long, noisy diagnostic input, and no reusable taxonomy exists for it. To address this, we propose MADE, a Multilingual Agentic Diagnosing Engine that decomposes post-evaluation analysis into planning, aggregate analysis, instance-level case inspection, multilingual and cultural reflection, and grounded report synthesis. MADE is paired with an expert-led 54-query and 15-language diagnostic set, evaluated on top of a large-scale multilingual evaluation substrate (33 model families, 11 benchmarks, 26 languages, 34 cultures, 8.66M evaluation records). Experiments show that MADE outperforms the strongest shared baseline by 47% in diagnosis report quality and is preferred by human multilingual experts in 87.9% of pairwise comparisons. Applied with multilingual experts, MADE further surfaces four actionable findings on deployment, iteration, and cross-cultural pitfalls, turning benchmark score tables into model-selection and remediation guidance.
Abstract（参考訳）: 多言語および多文化のベンチマークは現在、数十の言語とモデルファミリーをカバーするが、その結果得られたスコアのランドスケープは、メートル法に富み、洞察に乏しいままであり、きめ細かい多言語後評価診断を必要とする。しかし、単一LSMとオープンエンドエージェントは、長くノイズの多い診断入力によって簡単に湿潤化され、再利用可能な分類は存在しない。これを解決するために,多言語エージェント診断エンジンであるMADEを提案する。これは,評価後の分析を計画,集計分析,事例レベルの事例検査,多言語および文化的反映,および基礎的なレポート合成に分解する。 MADEは、大規模多言語評価基板(33モデルファミリ、11ベンチマーク、26言語、34言語、8.66M評価レコード)上で評価された専門家主導の54クエリと15言語診断セットとペアリングされている。実験の結果、MADEは診断報告の品質が47%向上し、対比較の87.9%でヒトの多言語の専門家が好んでいる。 MADEは多言語の専門家に応用され、デプロイメント、イテレーション、文化横断的な落とし穴に関する4つの実行可能な調査結果を提示し、ベンチマークスコアテーブルをモデル選択と修正ガイダンスに変換する。

関連論文リスト

HealMed: Multilingual Evaluation of Large Language Models in Medicine [82.79641241632788]
本稿では,医学における大規模言語モデルの多言語評価のための専門家レビューベンチマークであるHealMedを紹介する。このベンチマークは、9か国と地域を拠点に23人の医師と医療専門家によって2年間にわたって開発された。最強のプロプライエタリモデルは言語間で最も安定しており、多くのオープンソースおよび医療専門のモデルはより大きく、一貫性の低いギャップを示した。
論文参考訳（メタデータ） (2026-08-20T12:52:09Z)
Extending Item Response Theory for Efficient and Meaningful Multilingual Evaluation [19.965981631741894]
マルチ言語ベンチマークは、言語全体にわたる大規模言語モデル(LLM)の評価の中心である。徹底的な評価は言語数とともに線形にスケールし、自動翻訳はスケールで見落とされるエラーを導入し、いくつかの項目は一般的な知識と文化固有の知識を詳述する。我々はこれら3つを統一的な統計フレームワークであるMultilingual-IRTで解決し、言語ごとの難易度差による項目応答理論を拡張した。
論文参考訳（メタデータ） (2026-06-14T07:16:03Z)
The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models [51.61416200800499]
GaoYaoは182.3kサンプル、26言語、51か国/地域からなる総合ベンチマークである。まず、GaoYao氏は評価タスクを3つの文化階層に分類する統一的なフレームワークを提案する。第二に、専門家を活用して、主観的なベンチマークを19言語に厳格にローカライズすることで、ネイティブ品質の拡大を実現しています。第3に,20以上のフラッグシップおよびコンパクトLCMの詳細な診断を行う。
論文参考訳（メタデータ） (2026-04-22T06:19:46Z)
Evaluating Modern Large Language Models on Low-Resource and Morphologically Rich Languages:A Cross-Lingual Benchmark Across Cantonese, Japanese, and Turkish [12.286855282078305]
GPT-4o, GPT-4, Claude3.5Sonnet, LLaMA3.1, MistralLarge2, LLaMA-2Chat13B, Mistral7B Instructを評価した。我々のベンチマークは、オープンドメイン質問応答、文書要約、英語からXへの翻訳、文化的根拠のある対話の4つのタスクにまたがっている。
論文参考訳（メタデータ） (2025-11-05T22:09:53Z)
M3TQA: Massively Multilingual Multitask Table Question Answering [39.99483693397598]
m3TQA-Instructは97の言語にまたがる大規模なベンチマークである。我々は、中国語と英語で50の現実世界のテーブルをキュレートしてm3TQAを構築し、DeepSeekとGPT-4oをベースとした堅牢な6ステップの翻訳パイプラインを適用した。このベンチマークには、微妙なテーブル推論能力を評価するために設計された4つのタスクに2,916の専門的なアノテートされた質問応答ペアが含まれている。
論文参考訳（メタデータ） (2025-08-22T09:57:40Z)
M-Prometheus: A Suite of Open Multilingual LLM Judges [65.63858815169924]
M-Prometheusは,多言語出力の直接評価とペア比較フィードバックを両立できるオープンウェイトLLM判定器のスイートである。 M-Prometheusモデルは、20以上の言語にまたがる多言語報酬ベンチマークや、4つの言語対をカバーする文語機械翻訳(MT)評価において、最先端のLLM判事より優れている。
論文参考訳（メタデータ） (2025-04-07T11:37:26Z)
MMLU-ProX: A Multilingual Benchmark for Advanced Large Language Model Evaluation [86.7047714187813]
MMLU-ProXは29の言語をカバーするベンチマークであり、英語のベンチマーク上に構築されている。それぞれの言語バージョンは11,829の同一の質問で構成されており、直接言語間比較を可能にする。効率的な評価ニーズを満たすため,言語毎の質問数は658件である。
論文参考訳（メタデータ） (2025-03-13T15:59:20Z)
Multi-EuP: The Multilingual European Parliament Dataset for Analysis of Bias in Information Retrieval [62.82448161570428]
このデータセットは、多言語情報検索コンテキストにおける公平性を調べるために設計されている。真正な多言語コーパスを持ち、24言語すべてに翻訳されたトピックを特徴としている。文書に関連する豊富な人口統計情報を提供し、人口統計バイアスの研究を容易にする。
論文参考訳（メタデータ） (2023-11-03T12:29:11Z)
Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
論文参考訳（メタデータ） (2023-10-31T08:09:20Z)
Are Large Language Model-based Evaluators the Solution to Scaling Up Multilingual Evaluation? [20.476500441734427]
大規模言語モデル(LLM)は様々な自然言語処理(NLP)タスクに優れる。彼らの評価、特に上位20ドルを超える言語では、既存のベンチマークとメトリクスの制限のため、依然として不十分である。
論文参考訳（メタデータ） (2023-09-14T06:41:58Z)
SEAHORSE: A Multilingual, Multifaceted Dataset for Summarization Evaluation [52.186343500576214]
本稿では,多言語・多面的要約評価のためのデータセットSEAHORSEを紹介する。 SEAHORSEは、テキスト品質の6次元に沿って人間格付けされた96Kの要約で構成されている。本稿では,SEAHORSEでトレーニングしたメトリクスが,ドメイン外メタ評価ベンチマークTRUEとmFACEで高い性能を示すことを示す。
論文参考訳（メタデータ） (2023-05-22T16:25:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。