Fugu-MT 論文翻訳(概要): ADAGE: A Language-Agnostic Pipeline for Analogical Reasoning Evaluation

論文の概要: ADAGE: A Language-Agnostic Pipeline for Analogical Reasoning Evaluation

arxiv url: http://arxiv.org/abs/2607.23058v1
Date: Sat, 25 Jul 2026 05:58:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-28 22:34:14.984603
Title: ADAGE: A Language-Agnostic Pipeline for Analogical Reasoning Evaluation
Title（参考訳）: ADAGE: アナロジ的推論評価のための言語に依存しないパイプライン
Abstract要約: 本稿では,言語に依存しないパイプラインであるADAGEを紹介した。アラビア語、アムハラ語、日本語のベンチマークを構築してADAGEを検証する。私たちは、一貫した文化的推論のギャップを見つけます。英語でうまく機能するモデルは、3つのネイティブベンチマークでかなり苦労しています。
参考スコア（独自算出の注目度）: 0.8287206589886881
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Multilingual reasoning evaluation overwhelmingly relies on translating English benchmarks, a practice that introduces linguistic artifacts and fails to test culturally-grounded reasoning. We introduce ADAGE (Analogical Difficulty-by-design Assessment for Grounded Evaluation), a language-agnostic pipeline that combines native-speaker curation with LLM-assisted generation to construct challenging, translation-free benchmarks for abstract analogical reasoning. We validate ADAGE by constructing benchmarks for Arabic, Amharic, and Japanese. Evaluating 14 open-weight models, we find a consistent cultural reasoning gap: models that perform well on English proverb reasoning struggle substantially on all three native benchmarks, with accuracy dropping by 12--52 percentage points relative to English. We release the pipeline, all three benchmarks, and the full evaluation suite.
Abstract（参考訳）: 多言語推論の評価は、言語的アーティファクトを導入し、文化的に根拠付けられた推論のテストに失敗する実践である、英語のベンチマークの翻訳に圧倒的に依存している。本稿では,言語に依存しないパイプラインであるADAGE(Analogical Difficulty-by-Design Assessment for Grounded Evaluation)を紹介した。アラビア語、アムハラ語、日本語のベンチマークを構築してADAGEを検証する。 14のオープンウェイトモデルを評価すると、一貫した文化的推論のギャップが見つかる: 英語でうまく機能するモデルは、3つのネイティブベンチマークでかなり苦労し、精度は英語と比較して12～52ポイント低下する。パイプライン、ベンチマーク3つ、フル評価スイートをリリースしています。

関連論文リスト

The GaoYao Benchmark: A Comprehensive Framework for Evaluating Multilingual and Multicultural Abilities of Large Language Models [51.61416200800499]
GaoYaoは182.3kサンプル、26言語、51か国/地域からなる総合ベンチマークである。まず、GaoYao氏は評価タスクを3つの文化階層に分類する統一的なフレームワークを提案する。第二に、専門家を活用して、主観的なベンチマークを19言語に厳格にローカライズすることで、ネイティブ品質の拡大を実現しています。第3に,20以上のフラッグシップおよびコンパクトLCMの詳細な診断を行う。
論文参考訳（メタデータ） (2026-04-22T06:19:46Z)
IndicEval: A Bilingual Indian Educational Evaluation Framework for Large Language Models [0.0]
本稿では,大規模言語モデル(LLM)の性能を評価するため,スケーラブルなベンチマークプラットフォームであるIndicEvalを紹介する。 IndicEvalは、実検定基準で評価し、推論、ドメイン知識、バイリンガル適応性の現実的な測定を可能にする。 Gemini 2.0 Flash、GPT-4、Claude、LLaMA 3-70Bで実施された実験では、3つの大きな発見が示された。
論文参考訳（メタデータ） (2026-02-18T13:55:57Z)
UrduBench: An Urdu Reasoning Benchmark using Contextually Ensembled Translations with Human-in-the-Loop [0.17126708168238125]
本稿では,Urdu推論ベンチマークを開発するために,人間によるループ検証を用いた文脈アンサンブル翻訳フレームワークを提案する。このフレームワークを用いて、MGSM、MATH-500、CommonSenseQA、OpenBookQAを含む広く採用されている推論および質問応答ベンチマークをUrduに翻訳する。分析の結果,(1)4つのデータセット,(2)5つのタスク難易度,(3)多様なモデルアーキテクチャ,(4)複数のモデルスケーリング設定,(5)言語整合性テストにおける性能差が明らかになった。
論文参考訳（メタデータ） (2026-01-28T19:49:17Z)
CRaFT: An Explanation-Based Framework for Evaluating Cultural Reasoning in Multilingual Language Models [0.42970700836450487]
CRaFTは,大規模言語モデル(LLM)が文化的文脈にどう影響するかを評価するために設計された,説明に基づく多言語評価フレームワークである。我々はこの枠組みを、世界価値調査(World Values Survey)から50の文化的根拠のある質問に適用し、アラビア語、ベンガル語、スペイン語に翻訳し、2100以上の回答-説明ペアに対して3つのモデル(GPT、DeepSeek、FANAR)を評価する。アラビア語は流布を減らし、ベンガル語はそれを強化し、スペイン語は概ね安定している。
論文参考訳（メタデータ） (2025-10-15T18:49:10Z)
SpeechR: A Benchmark for Speech Reasoning in Large Audio-Language Models [60.72029578488467]
SpeechRは、大規模な音声言語モデルにおける音声に対する推論を評価するための統一的なベンチマークである。事実検索、手続き推論、規範的判断の3つの重要な側面に沿ったモデルを評価する。 11個の最先端のLALMの評価は、高い転写精度が強い推論能力に変換されないことを示している。
論文参考訳（メタデータ） (2025-08-04T03:28:04Z)
MultiNRC: A Challenging and Native Multilingual Reasoning Evaluation Benchmark for LLMs [56.87573414161703]
大規模言語モデル(LLM)を評価するベンチマークであるMultiNRC(MultiNRC)を導入する。 MultiNRCは4つの中核的推論カテゴリをカバーしている: 言語固有の言語推論、単語プレイとライドル、文化的/トラディション推論、文化的関連性のある数学推論である。文化的・貿易的推論や文化的関連性を考慮した数学的推論については、英語に習熟した母語話者のマニュアル翻訳による多言語質問の英訳も提供する。
論文参考訳（メタデータ） (2025-07-23T12:56:31Z)
Multilingual LLMs Are Not Multilingual Thinkers: Evidence from Hindi Analogy Evaluation [1.6385815610837167]
インド政府の試験から得られた405の多重選択質問からなるHindi Analogy Test Set (HATS)を紹介した。我々は、様々なプロンプト戦略を用いて、最先端の多言語LLMをベンチマークし、基礎的思考の連鎖を導入する。実験の結果, 提案手法にかかわらず, モデルが英語のプロンプトで最適に機能していることが判明した。
論文参考訳（メタデータ） (2025-07-17T15:47:49Z)
Thai Winograd Schemas: A Benchmark for Thai Commonsense Reasoning [0.0]
本研究は、タイ語の文脈における常識推論能力を評価するために設計された新しいデータセットである、タイ語におけるウィノグラードのコレクションを紹介する。我々は,このベンチマークで人気の高い大規模言語モデルの性能を評価し,その強み,限界を明らかにし,現在の最先端技術に対する洞察を提供する。
論文参考訳（メタデータ） (2024-05-28T17:14:02Z)
LLaMA Beyond English: An Empirical Study on Language Capability Transfer [49.298360366468934]
我々は、言語生成の能力と指示を英語以外の言語に効果的に伝達する方法に焦点をあてる。本稿では,語彙拡張や事前学習,トランスファーに対する指導指導などの重要な要因が与える影響について分析する。 C-Eval、MMLU、AGI-Eval、GAokao-Benchの4つの広く使われている標準テストベンチマークを採用しています。
論文参考訳（メタデータ） (2024-01-02T06:29:02Z)
SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。 SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
論文参考訳（メタデータ） (2023-10-27T06:48:48Z)
Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文参考訳（メタデータ） (2023-07-16T15:18:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。