論文の概要: MTA-Agent: An Open Recipe for Multimodal Deep Search Agents

• arxiv url: http://arxiv.org/abs/2604.06376v1
• Date: Tue, 07 Apr 2026 19:01:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.193622
• Title: MTA-Agent: An Open Recipe for Multimodal Deep Search Agents
• Title（参考訳）: MTA-Agent:マルチモーダルディープサーチエージェントのためのオープンレシピ
• Authors: Xiangyu Peng, Can Qin, An Yan, Xinyi Yang, Zeyuan Chen, Ran Xu, Chien-Sheng Wu,
• Abstract要約: MLLM(Multi-hop large language model)は、視覚的理解において強力な能力を示しているが、複雑な多段階推論において制限されている。 証拠ベースQA合成のためのマルチホップツール拡張エージェント(MTA-Agent)を提案する。 MTA-Agentは、視覚的およびテキストソースから証拠を検索し、検証するためのツールとそのパラメータを自動的に選択する。
• 参考スコア（独自算出の注目度）: 51.180338423927985
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) have demonstrated strong capabilities in visual understanding, yet they remain limited in complex, multi-step reasoning that requires deep searching and integrating visual evidence with external knowledge. In this work, we address this challenge by constructing high-quality, verified multi-hop vision-language training data for multimodal deep-search agents. We propose a Multi-hop Tool-Augmented Agent for Evidence-based QA Synthesis (MTA-Agent), which automatically selects tools and their parameters to retrieve and validate evidence from both visual and textual sources and generates structured multi-hop question-answer trajectories. Starting from diverse VQA seed datasets, our pipeline produces a large-scale training dataset, MTA-Vision-DeepSearch, containing 21K high-quality multi-hop examples. The data is filtered through a multi-stage verification process to ensure factual consistency and answer uniqueness. Using MTA-Vision-DeepSearch, a 32B open-source multimodal search agent achieves state-of-the-art performance, reaching an average of 54.63\% across six challenging benchmarks, outperforming GPT-5 (51.86\%), Gemini-2.5-Pro (50.98\%), and Gemini-3-Pro (54.46\%) under the same tool settings. We further show that training on our data improves both reasoning depth and tool-use behavior, increasing the average number of steps from 2.27 to 4.28, and leading to more systematic and persistent search strategies. Additionally, we demonstrate that training can be performed without real-time tool calls by replaying cached interactions, significantly reducing training cost. Importantly, we present MTA-Agent as a fully open recipe for multimodal deep search: we release the entire dataset, training trajectories, and implementation details to enable reproducibility and future research on open multimodal search agents.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、視覚的理解において強力な能力を示すが、深い探索と外部知識の統合を必要とする複雑な多段階推論に限られている。 本研究では,マルチモーダルディープサーチエージェントのための高品質かつ検証されたマルチホップ視覚言語訓練データを構築することで,この問題に対処する。 本稿では,MTA-Agent(Multi-hop Tool-Augmented Agent for Evidence-based QA Synthesis)を提案する。 さまざまなVQAシードデータセットから始めて、パイプラインは大規模なトレーニングデータセットであるMTA-Vision-DeepSearchを生成します。 データは、事実整合性を確保し、一意性に答えるために、多段階の検証プロセスを通じてフィルタリングされる。 MTA-Vision-DeepSearchを使うと、32Bのオープンソースのマルチモーダル検索エージェントが最先端のパフォーマンスを達成し、GPT-5(51.86\%)、Gemini-2.5-Pro(50.98\%)、Gemini-3-Pro(54.46\%)の6つの困難なベンチマークで平均54.63\%に達する。 さらに、データのトレーニングにより、推論深度とツール使用行動の両方が改善され、平均ステップ数が2.27から4.28に増加し、より体系的で永続的な検索戦略がもたらされることを示す。 さらに、キャッシュされたインタラクションを再生することで、リアルタイムのツールコールなしでトレーニングを実行できることを示し、トレーニングコストを大幅に削減する。 重要なことは、MTA-Agentをマルチモーダルディープサーチのための完全にオープンなレシピとして提示する: オープンなマルチモーダルサーチエージェントの再現性と将来の研究を可能にするために、データセット全体、トレーニングトラジェクトリ、実装の詳細をリリースする。

関連論文リスト

• VSearcher: Long-Horizon Multimodal Search Agent via Reinforcement Learning [22.27364585438247]
  VSearcherは、マルチモーダル検索エージェントで、現実世界のWeb環境での長時間のマルチターンツールの使用を可能にする。 大規模で複雑なマルチモーダルQA質問を生成するために、反復射出データ合成パイプラインを導入する。 次に、SFT-then-RLトレーニングパイプラインを用いて、ベースマルチモーダルモデルを現実世界のWeb環境におけるマルチターンツール呼び出しが可能なエージェントに変換する。
  論文  参考訳（メタデータ） (2026-03-03T09:33:22Z)
• M$^3$Searcher: Modular Multimodal Information Seeking Agency with Retrieval-Oriented Reasoning [8.546005018618713]
  M$3$Searcherはモジュラーマルチモーダル情報検索エージェントである。 M$3$Searcherは検索指向の多目的報酬で最適化されている。 MMSearchVQAは、検索中心のRLトレーニングをサポートするマルチモーダルマルチホップデータセットである。
  論文  参考訳（メタデータ） (2026-01-14T08:27:40Z)
• DeepMMSearch-R1: Empowering Multimodal LLMs in Multimodal Web Search [61.77858432092777]
  DeepMMSearch-R1は,オンデマンドでマルチターンWeb検索が可能な,最初のマルチモーダルな大規模言語モデルである。 DeepMMSearch-R1は、画像検索をより効果的にするために、入力画像の関連する作物に基づいてWeb検索を開始することができる。 我々は、アプローチの優位性を実証するために、知識集約型ベンチマークを幅広く実施する。
  論文  参考訳（メタデータ） (2025-10-14T17:59:58Z)
• MM-BrowseComp: A Comprehensive Benchmark for Multimodal Browsing Agents [78.3863007028688]
  MM-BrowseCompは、224の挑戦的で手作りの質問からなる新しいベンチマークである。 これらの質問は、しばしば画像にプロンプトを組み込むが、検索と推論の過程で遭遇する重要な情報は、Webページ上の画像やビデオにも埋め込まれることがある。 MM-BrowseCompによる最先端モデルの総合評価では、OpenAI o3のようなツールを用いたトップモデルでさえ、わずか29.02%の精度しか達成していないことが示されている。
  論文  参考訳（メタデータ） (2025-08-14T13:46:47Z)
• MMSearch-R1: Incentivizing LMMs to Search [49.889749277236376]
  MMSearch-R1は,実世界のインターネット環境において,オンデマンドでマルチターン検索が可能な,初のエンドツーエンド強化学習フレームワークである。 本フレームワークは画像検索とテキスト検索の両方を統合し,検索ペナルティによる結果に基づく報酬によって,モデルがいつ,どのように呼び出すかの判断を可能にする。
  論文  参考訳（メタデータ） (2025-06-25T17:59:42Z)
• What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices [91.71951459594074]
  拡張コンテキストウィンドウを持つLong Language Model (LLM) は、情報抽出、質問応答、複雑な計画シナリオなどのタスクを大幅に改善した。 既存のメソッドは通常、Self-Instructフレームワークを使用して、長いコンテキスト能力を改善するために命令チューニングデータを生成する。 本稿では,品質検証エージェント,シングルホップ質問生成エージェント,複数質問サンプリング戦略,マルチホップ質問マーガーエージェントを組み込んだマルチエージェント対話型マルチホップ生成フレームワークを提案する。 以上の結果から,我々の合成高品位長文指導データにより,多量の人体で訓練したモデルよりも,モデル性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-03T13:30:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。