論文の概要: Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling

• arxiv url: http://arxiv.org/abs/2508.03404v1
• Date: Tue, 05 Aug 2025 12:52:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:55.968224
• Title: Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling
• Title（参考訳）: Visual Document Understanding and Question Answering: テスト時間スケーリングを備えたマルチエージェントコラボレーションフレームワーク
• Authors: Xinlei Yu, Zhangquan Chen, Yudong Zhang, Shilin Lu, Ruolin Shen, Jiangning Zhang, Xiaobin Hu, Yanwei Fu, Shuicheng Yan,
• Abstract要約: テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。 4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。 一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
• 参考スコア（独自算出の注目度）: 83.78874399606379
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing vision-language models (VLMs), whether generalists or specialists, remain constrained by their parameter scale, lack robust self-correction capabilities, and underperform in tasks involving long visual contexts and complex reasoning, resulting in suboptimal performance on document-based tasks. To address this, we propose MACT, a Multi-Agent Collaboration framework with Test-Time scaling, tailored for visual document understanding and visual question answering (VQA). It comprises four distinct small-scale agents, i.e., planning, execution, judgment, and answer agents, with clearly defined roles and effective collaboration. Notably, the judgment agent exclusively verifies correctness and redirects to prior agents for revisions, outperforming conventional correction strategies. To further expand the capability boundaries of the framework, we propose mixed reward modeling that balances agent-specific abilities and global collaboration, as well as agent-wise hybrid test-time scaling, which customizes different scaling strategies for each agent based on their functions. Evaluated on benchmarks spanning both document-based and non-document-based settings, our MACT shows superior performance with a smaller parameter scale without sacrificing the ability of general and mathematical tasks. Especially, it stands out in benchmarks involving long visual contexts and complicated reasoning. The three variants of MACT consistently hold the top three positions in average scores, leading in 13 of the 15 benchmarks. Code will be available at: https://github.com/YU-deep/MACT.git.
• Abstract（参考訳）: 既存の視覚言語モデル(VLM)は、ジェネラリストかスペシャリストかを問わないが、パラメータスケールによって制約され続け、堅牢な自己補正能力が欠如し、長い視覚的コンテキストや複雑な推論を含むタスクが過小評価され、ドキュメントベースのタスクにおいて最適なパフォーマンスをもたらす。 そこで本稿では,視覚的文書理解と視覚的質問応答(VQA)に適した,テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。 4つの小さなエージェント、すなわち計画、実行、判断、回答のエージェントで構成されており、明確に定義された役割と効果的なコラボレーションがある。 特に、判定エージェントは、従来の補正戦略よりも優れた精度で、修正のための事前のエージェントにのみ正当性を検証し、リダイレクトする。 フレームワークの機能境界をさらに拡張するため,エージェント固有の能力とグローバルなコラボレーションのバランスをとる混合報酬モデルと,エージェントごとに異なるスケーリング戦略をカスタマイズするエージェントワイドなハイブリッドテストタイムスケーリングを提案する。 文書ベースの設定と非文書ベースの設定の両方にまたがるベンチマークで評価すると、MACTは、一般的なタスクや数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れたパフォーマンスを示す。 特に、長い視覚的コンテキストと複雑な推論を含むベンチマークでは際立っている。 MACTの3つの変種は、常に平均スコアで上位3位を保持し、15のベンチマークのうち13位となった。 コードは、https://github.com/YU-deep/MACT.git.comで入手できる。

関連論文リスト

• CodeAgents: A Token-Efficient Framework for Codified Multi-Agent Reasoning in LLMs [16.234259194402163]
  マルチエージェント推論を符号化し、マルチエージェントシステムにおける構造化されたトークン効率の計画を可能にするプロンプトフレームワークであるCodeAgentsを紹介する。 その結果, 計画性能は一貫した改善がみられ, 基本となる自然言語よりも3～36ポイントの絶対的な向上が見られた。
  論文  参考訳（メタデータ） (2025-07-04T02:20:19Z)
• What Limits Virtual Agent Application? OmniBench: A Scalable Multi-Dimensional Benchmark for Essential Virtual Agent Capabilities [56.646832992178105]
  我々は、制御可能な複雑性のタスクを合成するための自動パイプラインを備えたクロスプラットフォームグラフベースのベンチマークであるOmniBenchを紹介した。 OmniEvalは、サブタスクレベルの評価、グラフベースのメトリクス、および10機能にわたる包括的なテストを含む多次元評価フレームワークである。 我々のデータセットには、20のシナリオにわたる36万のグラフ構造化タスクが含まれており、人間の受け入れ率は91%に達する。
  論文  参考訳（メタデータ） (2025-06-10T15:59:38Z)
• AgentSwift: Efficient LLM Agent Design via Value-guided Hierarchical Search [58.98450205734779]
  大規模言語モデル(LLM)エージェントは、多様なドメインにまたがる強力な機能を示している。 既存のエージェントサーチ手法には3つの大きな制限がある。 これらの課題に対処するための包括的なフレームワークを導入します。
  論文  参考訳（メタデータ） (2025-06-06T12:07:23Z)
• Agent-X: Evaluating Deep Multimodal Reasoning in Vision-Centric Agentic Tasks [94.19506319646376]
  本稿では,実世界のマルチモーダル環境での視覚中心エージェント評価のためのベンチマークであるAgent-Xを紹介する。 Agent-Xは、828のエージェントタスクと、イメージ、マルチイメージ比較、ビデオ、命令テキストを含む、真の視覚的コンテキストを備えている。 その結果、GPT、Gemini、Qwenファミリーを含む最高のパフォーマンスモデルでさえ、多段階視覚タスクの解決に苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-30T17:59:53Z)
• HALO: Hierarchical Autonomous Logic-Oriented Orchestration for Multi-Agent LLM Systems [1.1930434318557155]
  階層的推論アーキテクチャに基づくマルチエージェント協調フレームワークHALOを紹介する。 具体的には、タスク分解のための高レベル計画エージェント、サブタスク固有のエージェントインスタンス化のための中レベルロール設計エージェント、サブタスク実行のための低レベル推論エージェントを組み込んだ。 ユーザの大部分がプロンプトエンジニアリングの専門知識を欠いているため、Adaptive Prompt Refinementモジュールを使用して、生クエリをタスク固有のプロンプトに変換する。
  論文  参考訳（メタデータ） (2025-05-17T04:14:03Z)
• MDocAgent: A Multi-Modal Multi-Agent Framework for Document Understanding [40.52017994491893]
  MDocAgentは、テキストとイメージの両方を活用する新しいRAGおよびマルチエージェントフレームワークである。 本システムでは, 汎用エージェント, クリティカルエージェント, テキストエージェント, 画像エージェント, 要約エージェントの5種類の特殊エージェントを用いる。 5つのベンチマークの予備実験では、MDocAgentの有効性が示され、平均12.1%の改善が達成された。
  論文  参考訳（メタデータ） (2025-03-18T06:57:21Z)
• MultiAgentBench: Evaluating the Collaboration and Competition of LLM agents [59.825725526176655]
  大規模言語モデル(LLM)は、自律的なエージェントとして顕著な能力を示している。 既存のベンチマークでは、単一エージェントタスクにフォーカスするか、狭いドメインに限定されており、マルチエージェントのコーディネーションと競合のダイナミクスを捉えていない。 多様な対話シナリオにまたがってLLMベースのマルチエージェントシステムを評価するためのベンチマークであるMultiAgentBenchを紹介する。
  論文  参考訳（メタデータ） (2025-03-03T05:18:50Z)
• Multi2: Multi-Agent Test-Time Scalable Framework for Multi-Document Processing [43.75154489681047]
  MDS(Multi-Document Summarization)のためのテスト時間スケーリングを利用した新しいフレームワークを提案する。 提案手法では,様々なプロンプトを用いて複数の候補サマリーを生成し,アグリゲータと組み合わせて洗練されたサマリーを生成する。 また,本手法を効果的に評価するために,LCM-ACU(Consistency-Aware Preference)スコアとLLM-Content-Unit(LLM-ACU)スコアという2つの新しいLCMベースの指標を導入する。
  論文  参考訳（メタデータ） (2025-02-27T23:34:47Z)
• MMAU: A Holistic Benchmark of Agent Capabilities Across Diverse Domains [54.117238759317004]
  大規模マルチタスクエージェント理解(MMAU)ベンチマークは、複雑な環境設定を必要としない包括的なオフラインタスクを特徴としている。 ツールユース、DAG(Directed Acyclic Graph)QA、データサイエンスと機械学習コーディング、コンテストレベルのプログラミング、数学の5分野にわたるモデルを評価する。 3K以上の異なるプロンプトを含む20の精巧に設計されたタスクにより、MMAUはLLMエージェントの強度と限界を評価するための包括的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-07-18T00:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。