論文の概要: MAMath-Bench: Process-Aware and Robust Evaluation of Multimodal Multi-Agent Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2610.26943v1
• Date: Sun, 18 Oct 2026 04:32:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.404012
• Title: MAMath-Bench: Process-Aware and Robust Evaluation of Multimodal Multi-Agent Mathematical Reasoning
• Title（参考訳）: MAMath-Bench:マルチモーダルなマルチエージェント数学的推論のプロセス認識とロバスト評価
• Abstract要約: 我々は、MASのマルチモーダル数学的推論能力を評価するためのプロセス認識ベンチマークであるMAMath-Benchを紹介する。 MAMath-Benchは、11の数学カテゴリ、複数の難易度、テキスト、画像、オーディオを含むいくつかのモダリティにまたがる1,003の問題を扱っている。 問題解決の正しさ、推論プロセスの信頼性、敵の推論チェーンの摂動に対する堅牢性という、3つの次元にわたるシステムを評価するための、きめ細かいマイルストーンアノテーションが特徴である。
• 参考スコア（独自算出の注目度）: 17.008034121786807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mathematical reasoning is a fundamental capability for educational applications of Large Language Models (LLMs), where reliable problem solving requires not only correct answers but also coherent and verifiable reasoning processes. Multi-agent systems (MASs) have shown growing potential in this domain by leveraging collaboration and verification among multiple LLM agents. However, existing evaluations primarily focus on the correctness of final answers in text-only settings, offering limited insight into multimodal reasoning capabilities, the reliability of intermediate reasoning steps, and robustness against reasoning errors. To address these limitations, we introduce MAMath-Bench, a process-aware benchmark designed to evaluate the multimodal mathematical reasoning capabilities of MASs. MAMath-Bench comprises 1,003 problems spanning 11 mathematical categories, multiple difficulty levels, and several modalities, including text, images, and audio. It features fine-grained milestone annotations to evaluate systems across three dimensions: problem-solving correctness, reasoning-process reliability, and robustness to adversarial reasoning-chain perturbations. Our evaluation yields three key findings. First, multi-agent collaboration does not consistently improve final-answer accuracy over strong single LLMs. Second, collaboration can substantially enhance the coverage of intermediate reasoning, but such gains may come at the cost of increased reasoning redundancy. Third, current systems remain vulnerable to adversarial reasoning errors, particularly those involving subtle structural perturbations. The dataset is available at https://github.com/mira-ai-lab/AgentMath.
• Abstract（参考訳）: 数学的推論は大規模言語モデル(LLM)の教育的応用の基本的な能力であり、信頼性の高い問題解決には正しい答えだけでなく、一貫性と検証可能な推論プロセスも必要である。 マルチエージェントシステム(MAS)は、複数のLLMエージェント間の協調と検証を活用することで、この領域における潜在的な可能性を示している。 しかし、既存の評価は主にテキストのみの設定における最終回答の正しさに焦点を当てており、マルチモーダル推論能力、中間推論ステップの信頼性、推論エラーに対する堅牢性について限定的な洞察を提供する。 これらの制約に対処するために、MASのマルチモーダル数学的推論能力を評価するために設計されたプロセス認識ベンチマークであるMAMath-Benchを紹介する。 MAMath-Benchは、11の数学カテゴリ、複数の難易度、テキスト、画像、オーディオを含むいくつかのモダリティにまたがる1,003の問題を扱っている。 問題解決の正しさ、推論プロセスの信頼性、敵の推論チェーンの摂動に対する堅牢性という、3つの次元にわたるシステムを評価するための、きめ細かいマイルストーンアノテーションが特徴である。 私たちの評価は3つの重要な結果をもたらす。 第一に、マルチエージェントのコラボレーションは、強い単一LLMに対する最終回答精度を一貫して改善しない。 第二に、コラボレーションは中間的推論のカバレッジを大幅に向上させるが、そのような利益は推論の冗長性を高めるコストがかかる可能性がある。 第三に、現在のシステムは敵の推論エラー、特に微妙な構造的な摂動に弱いままである。 データセットはhttps://github.com/mira-ai-lab/AgentMath.comで公開されている。

関連論文リスト

• Enhancing Mathematical Problem Solving in LLMs through Execution-Driven Reasoning Augmentation [18.636244209466266]
  Iteratively Improved Program Construction (IIPC) は、プログラム的推論チェーンを反復的に洗練し、実行フィードバックをベースLLMのネイティブチェーン能力と組み合わせる推論手法である。 IIPCは、複数のベース LLM 上の推論ベンチマークの大部分において、競合するアプローチを上回っている。
  論文  参考訳（メタデータ） (2026-02-03T19:13:31Z)
• Infi-MMR: Curriculum-based Unlocking Multimodal Reasoning via Phased Reinforcement Learning in Multimodal Small Language Models [45.15161506154318]
  Infi-MMRは、マルチモーダル小言語モデルの推論能力を体系的に解放するフレームワークである。 第1フェーズであるFoundational Reasoning Activationは、高品質なテキスト推論データセットを活用して、モデルの論理推論能力を活性化し、強化する。 第2のフェーズであるクロスモーダル推論適応は、キャプション拡張されたマルチモーダルデータを使用して、推論スキルをマルチモーダルコンテキストにプログレッシブに転送する。 第3フェーズであるMultimodal Reasoning Enhancementでは、言語バイアスを緩和し、堅牢なクロスモーダル推論を促進するために、キュレートされたキャプションフリーなマルチモーダルデータを採用している。
  論文  参考訳（メタデータ） (2025-05-29T04:51:56Z)
• Challenging the Boundaries of Reasoning: An Olympiad-Level Math Benchmark for Large Language Models [86.45058529521258]
  OlymMATHは、LLMの複雑な推論能力を厳格にテストするために設計された、Olympiadレベルの新しい数学ベンチマークである。 OlymMATHは200の厳密にキュレートされた問題があり、それぞれが手動で検証され、英語と中国語の並行バージョンで利用可能である。
  論文  参考訳（メタデータ） (2025-03-27T11:20:17Z)
• MathAgent: Leveraging a Mixture-of-Math-Agent Framework for Real-World Multimodal Mathematical Error Detection [53.325457460187046]
  これらの課題に対処するために設計された新しいMixture-of-Math-AgentフレームワークであるMathAgentを紹介する。 MathAgentはエラー検出を3つのフェーズに分解し、それぞれが特別なエージェントによって処理される。 実世界の教育データに基づいてMathAgentを評価し,誤差ステップ同定の精度を約5%向上した。
  論文  参考訳（メタデータ） (2025-03-23T16:25:08Z)
• ErrorRadar: Benchmarking Complex Mathematical Reasoning of Multimodal Large Language Models Via Error Detection [60.297079601066784]
  エラー検出におけるMLLMの能力を評価するために設計された最初のベンチマークであるErrorRadarを紹介する。 ErrorRadarはエラーステップ識別とエラー分類という2つのサブタスクを評価している。 2500の高品質なマルチモーダルK-12数学問題で構成され、実世界の学生相互作用から収集される。 GPT-4oの優れた性能は、まだ人間の評価に約10%遅れているため、大きな課題が残っている。
  論文  参考訳（メタデータ） (2024-10-06T14:59:09Z)
• Evaluating LLMs' Mathematical and Coding Competency through Ontology-guided Interventions [47.83142414018448]
  算術的推論とコード生成という,2つの一般的な推論タスクに注目します。 i) 数学やコーディング問題に対する摂動の一般的なオントロジー, (ii) 摂動を応用するための半自動手法, (iii) 2つのデータセットを紹介する。 混乱した質問に対して、すべてのモデルで大幅なパフォーマンス低下を示します。
  論文  参考訳（メタデータ） (2024-01-17T18:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。