論文の概要: Sci-MMR: Benchmarking Multi-Step Evidence-Grounded Scientific Reasoning in Multimodal Agents

• arxiv url: http://arxiv.org/abs/2609.11243v1
• Date: Thu, 10 Sep 2026 08:41:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.259358
• Title: Sci-MMR: Benchmarking Multi-Step Evidence-Grounded Scientific Reasoning in Multimodal Agents
• Title（参考訳）: Sci-MMR:マルチモーダルエージェントにおけるマルチステップエビデンスを取り巻く科学的推論のベンチマーク
• Abstract要約: 既存のマルチモーダルベンチマークは、最終回答の精度を大きく評価する。 我々は,多段階のエビデンスに基づく科学的推論のためのベンチマークであるSci-MMRを紹介する。 その結果,解答精度は完全証拠回収率を20%以上上回ることがわかった。
• 参考スコア（独自算出の注目度）: 56.93800079330285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autonomous research agents are increasingly expected to search the literature, analyze experimental evidence, and generate scientific hypotheses. These capabilities require multi-step evidence grounded reasoning that progressively acquires, integrates, and verifies evidence before reaching a conclusion. Existing multimodal benchmarks, however, largely evaluate final-answer accuracy, leaving open whether predictions are actually supported by traceable scientific evidence. We introduce Sci-MMR, a benchmark for multi-step evidence-grounded scientific reasoning built on structured argument graphs linking scientific claims, citation-grounded knowledge, visual evidence, and supporting regions. Sci-MMR comprises 235 multi-hop reasoning tasks spanning four scientific disciplines, with an average of nine figure panels per task. Evaluating eight frontier multimodal models, we find that answer accuracy consistently exceeds complete-evidence recovery rate by more than 20%, revealing a substantial gap that answer-only evaluation is structurally unable to capture. Through controlled interventions, we identify two fundamental bottlenecks. First, evidence acquisition: models struggle to extract complete structured evidence from scientific figures, accounting for 57.2% of failures. While cropping tools yield modest gains (+4.5 points), providing gold evidence improves accuracy by up to 37.0 points, indicating difficulty in assembling complete multi-region evidence. Second, evidence integration: models struggle to translate available evidence into correct conclusions, accounting for 31.8% of failures, while even with gold evidence the strongest model achieves only 69.1% accuracy on the hardest tasks. These findings indicate that current answer-centric benchmarks substantially overestimate the evidence-grounded reasoning capabilities of multimodal research agents
• Abstract（参考訳）: 自律的な研究機関は、論文を検索し、実験的な証拠を分析し、科学的仮説を生成することがますます期待されている。 これらの能力は、結論に達する前に段階的に証拠を取得し、統合し、検証する多段階的根拠に基づく推論を必要とする。 しかし、既存のマルチモーダルベンチマークは最終回答の精度を概ね評価し、予測が実際にトレース可能な科学的証拠によって裏付けられるかどうかを公表している。 Sci-MMRは, 科学的主張, 引用的知識, 視覚的証拠, 支持領域をリンクした構造化された議論グラフ上に構築された, 多段階のエビデンスに基づく科学的推論のためのベンチマークである。 Sci-MMRは4つの科学分野にまたがる235のマルチホップ推論タスクで構成され、1タスクあたり平均9つのフィギュアパネルで構成されている。 8つのフロンティアマルチモーダルモデルを評価すると、解答精度が完全証拠回収率を20%以上上回り、解答のみの評価が構造的に達成できないという大きなギャップが明らかになる。 制御された介入を通して、2つの基本的なボトルネックを特定します。 第一に、エビデンス取得: モデルは科学的な数字から完全な構造化されたエビデンスを抽出するのに苦労し、失敗の57.2%を占める。 収穫ツールは適度な利得(+4.5ポイント)を得るが、金の証拠は最大37.0ポイントの精度を向上し、完全な多地域証拠を組み立てることの難しさを示している。 第二に、エビデンス統合: モデルは利用可能な証拠を正しい結論に変換するのに苦労し、失敗の31.8%を占め、金の証拠でさえ最強のモデルが最も難しいタスクにおいて69.1%の精度しか達成していない。 これらの結果は、現在の回答中心ベンチマークがマルチモーダル研究エージェントの根拠に基づく推論能力を大幅に過大評価していることを示している。

関連論文リスト

• Mr.LHDR: A Benchmark for Multimodal Real-World Long-Horizon Deep Research Agents [72.19038675107662]
  Mr.Lは、検証可能な証拠の長い、既約の連鎖について、現実世界の深い研究を評価するためのベンチマークである。 各質問は隠されたノード関係グラフから構築され、平均12.1の中間結論を必要とする。
  論文  参考訳（メタデータ） (2026-09-10T09:47:44Z)
• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• Not Just Reason, Not Just Scan: Reinforcement Learning for Proactive Scientific Error Verification over Academic Paper [56.13177687090277]
  本稿では,学術論文における科学的誤り検出のための強化学習式VERA-RLを提案する。 VERA-13Kは4,300個のマッチしたチェーンで構成され,研究ワークフローと広い自然科学領域にまたがる6つの科学的エラーカテゴリを網羅した,12,900サンプルのデータセットである。 VERA-RLを用いたQwen3-VL-8Bの訓練は,Gemini 3 ProやQwen3-VL-235B-A22BといったフラッグシップMLLMにアプローチし,検証可能な推論を大幅に改善する。
  論文  参考訳（メタデータ） (2026-08-27T04:24:29Z)
• TRACES: A Benchmark for Epistemic Reliability in Scientific Reasoning by LLMs [0.0]
  下流検証が存在しない領域では、科学的なエージェントとして大きな言語モデルが提案されている。 筆者らは,42枚の抽出,不正,疑似科学的論文からなるプローブコーパスを,各論文のフレーミングと単発モデルエンゲージメントを抽出・評価する手法と組み合わせて導入した。 プローブは、5つのクレームタイプ、製造された観測、擬似物理機構、魔法の前提、合法化橋、貨物カルト実験である。
  論文  参考訳（メタデータ） (2026-08-11T20:30:32Z)
• HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
  我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。 HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。 報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
  論文  参考訳（メタデータ） (2026-07-27T23:50:46Z)
• AI scientists produce results without reasoning scientifically [3.100302590436282]
  大規模言語モデル(LLM)ベースのシステムは、科学的研究を自律的に行うためにますます多くデプロイされている。 そこで本研究では,8つの領域にまたがるLSMに基づく科学的エージェントの評価を行い,その実行と仮説に基づく調査を行った。
  論文  参考訳（メタデータ） (2026-04-20T20:23:42Z)
• M2-Verify: A Large-Scale Multidomain Benchmark for Checking Multimodal Claim Consistency [17.049806985851994]
  M2-Verifyは、科学的クレーム一貫性をチェックするための大規模なマルチモーダルデータセットである。 16のドメインで469万以上のインスタンスを提供し、専門家の監査を通じて厳格に検証されている。
  論文  参考訳（メタデータ） (2026-04-01T18:18:10Z)
• MultiHaystack: Benchmarking Multimodal Retrieval and Reasoning over 40K Images, Videos, and Documents [57.32877731797049]
  MultiHaystackは、大規模なクロスモーダル条件下での検索と推論の両方を評価するために設計された最初のベンチマークである。 モデルが対応するエビデンスを付与した場合,その性能は,全コーパスからそのエビデンスを取得するために必要な場合,急激に低下することがわかった。
  論文  参考訳（メタデータ） (2026-03-05T21:43:02Z)
• Can AI Validate Science? Benchmarking LLMs for Accurate Scientific Claim $\rightarrow$ Evidence Reasoning [6.043212666944194]
  CLAIM-BENCHは,科学的クレームエビデンス抽出と検証において,大規模言語モデルの能力を評価するためのベンチマークである。 GPT-4やClaudeのようなクローズドソースモデルは、精度とリコールにおいて、オープンソースモデルよりも一貫して優れています。 戦略的に設計された3つのパスと1対1のプロンプトアプローチは、分散した証拠とクレームを正確にリンクするLSMの能力を大幅に向上させた。
  論文  参考訳（メタデータ） (2025-06-09T21:04:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。