論文の概要: EpiBench: Benchmarking Multi-turn Research Workflows for Multimodal Agents

• arxiv url: http://arxiv.org/abs/2604.05557v1
• Date: Tue, 07 Apr 2026 07:58:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.70635
• Title: EpiBench: Benchmarking Multi-turn Research Workflows for Multimodal Agents
• Title（参考訳）: EpiBench: マルチモーダルエージェントのためのマルチターンリサーチワークフローのベンチマーク
• Authors: Xuan Dong, Huanyang Zheng, Tianhao Niu, Zhe Han, Pengzhan Li, Bofei Liu, Zhengyang Liu, Guancheng Li, Qingfu Zhu, Wanxiang Che,
• Abstract要約: 簡単な研究をインスタンス化するエピソードなマルチターンベンチマークであるEpiBenchを紹介する。 調査タスクが与えられた場合、エージェントは複数のターンで論文をナビゲートし、数字や表から証拠を整理し、メモリに蓄積された証拠を使って客観的な疑問に答えなければならない。 実験の結果,主モデルの精度は29.23%程度であり,改善の余地があることが示唆された。
• 参考スコア（独自算出の注目度）: 38.845762856105175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scientific research follows multi-turn, multi-step workflows that require proactively searching the literature, consulting figures and tables, and integrating evidence across papers to align experimental settings and support reproducible conclusions. This joint capability is not systematically assessed in existing benchmarks, which largely under-evaluate proactive search, multi-evidence integration and sustained evidence use over time. In this work, we introduce EpiBench, an episodic multi-turn multimodal benchmark that instantiates short research workflows. Given a research task, agents must navigate across papers over multiple turns, align evidence from figures and tables, and use the accumulated evidence in the memory to answer objective questions that require cross paper comparisons and multi-figure integration. EpiBench introduces a process-level evaluation framework for fine-grained testing and diagnosis of research agents. Our experiments show that even the leading model achieves an accuracy of only 29.23% on the hard split, indicating substantial room for improvement in multi-turn, multi-evidence research workflows, providing an evaluation platform for verifiable and reproducible research agents.
• Abstract（参考訳）: 科学的研究は、文献を積極的に検索し、数字と表を相談し、実験的な設定を調整し、再現可能な結論をサポートするために論文に証拠を統合する、多段階の多段階のワークフローに従う。 この共同能力は既存のベンチマークでは体系的に評価されておらず、前向きな探索、多証拠の統合、そして時間とともに使われる持続的な証拠を過小評価している。 本稿では,短期研究のワークフローをインスタンス化するマルチターン・マルチモーダル・ベンチマークであるEpiBenchを紹介する。 調査タスクが与えられた場合、エージェントは複数のターンにまたがって論文をナビゲートし、数字や表から証拠をアライメントし、メモリに蓄積された証拠を使用して、クロスペーパー比較とマルチフィギュア統合を必要とする客観的な質問に答える必要がある。 EpiBench氏は、研究エージェントのきめ細かいテストと診断のためのプロセスレベルの評価フレームワークを紹介している。 実験の結果,先行モデルにおいてもハード分割の精度は29.23%に過ぎず,マルチターン・マルチエビデンス・リサーチ・ワークフローの改善の余地が大きく,検証および再現可能なリサーチ・エージェントの評価プラットフォームが提供されることがわかった。

関連論文リスト

• MMDeepResearch-Bench: A Benchmark for Multimodal Deep Research Agents [37.98503734345155]
  MMDR-Bench(MMDR-Bench)は、21のドメインにまたがる140の専門的なタスクのベンチマークである。 MMDR-Benchは以前の設定と比較して、明確な証拠を用いたレポートスタイルの合成を強調している。 報告品質のためのF-LLM適応評価(FLAE)、引用的根拠のアライメントのためのTRACE(Trustworthy Retrieval-Aligned Citation Evaluation)、テキスト・視覚的整合性のためのMOSAIC(Multimodal Support-Aligned Integrity Check)を提案する。
  論文  参考訳（メタデータ） (2026-01-18T10:41:33Z)
• Collaborative Multi-Agent Test-Time Reinforcement Learning for Reasoning [112.16686518063456]
  textbfMulti-Agent Test-Time Reinforcement Learning (MATTRL)を導入する。 MATTRLは、マルチターンの議論、テストタイムの経験の検索と統合、最終的な意思決定のコンセンサスに到達するための、複数の専門家のチームを形成する。 MATTRLは、医学、数学、教育の挑戦的なベンチマーク全体にわたって、マルチエージェントベースラインで平均3.67%、同等のシングルエージェントベースラインで平均8.67%の精度を向上する。
  論文  参考訳（メタデータ） (2026-01-14T17:57:43Z)
• Format Matters: The Robustness of Multimodal LLMs in Reviewing Evidence from Tables and Charts [19.571644726057666]
  我々は,表と表の両方を証拠として科学的クレームを検証するマルチモーダルな大規模言語モデルの能力を評価する実験を設計し,実施する。 この適応したデータセットを用いて、12個のマルチモーダルLCMを評価し、グラフベースのエビデンスに苦慮しながら、現在のモデルがテーブルベースのエビデンスでより良い性能を発揮することを発見した。 また,より小さなマルチモーダル LLM (8B以下) では,テーブルベースタスクとチャートベースタスクのパフォーマンスの相関が低く,クロスモーダル一般化の制限が示されている。
  論文  参考訳（メタデータ） (2025-11-13T08:29:47Z)
• Learning to Summarize by Learning to Quiz: Adversarial Agentic Collaboration for Long Document Summarization [86.98098988779809]
  SummQは長期文書要約のための新しい逆多重エージェントフレームワークである。 提案手法では,包括的な要約を作成し,評価するために協調作業を行う要約ジェネレータとレビュアーを用いる。 広範に使用されている3つの文書要約ベンチマーク上でSummQを評価する。
  論文  参考訳（メタデータ） (2025-09-25T08:36:19Z)
• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• MetaSumPerceiver: Multimodal Multi-Document Evidence Summarization for Fact-Checking [0.283600654802951]
  マルチモーダルデータセットからファクトチェックに有用なクレーム固有の要約を生成するために設計された要約モデルを提案する。 任意の長さの複数のモードから入力を処理できる動的知覚モデルを提案する。 提案手法は,MOCHEGデータセットのクレーム検証タスクにおいて,SOTAアプローチを4.6%向上させる。
  論文  参考訳（メタデータ） (2024-07-18T01:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。