論文の概要: Towards On-Policy Data Evolution for Visual-Native Multimodal Deep Search Agents
- arxiv url: http://arxiv.org/abs/2605.10832v1
- Date: Mon, 11 May 2026 16:49:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:51.005991
- Title: Towards On-Policy Data Evolution for Visual-Native Multimodal Deep Search Agents
- Title（参考訳）: ビジュアルNative Multimodal Deep Search Agentのオンラインデータ進化に向けて
- Abstract要約: マルチモーダル・ディープ・サーチは、テキストや視覚的コンテキストの進化に対して、検索、ツールの使用、視覚的推論をチェーンすることで、オープンワールドの問題を解決するためにエージェントを必要とする。
既存のツール利用ハーネスは、検索、ブラウジング、変換によって返される画像を一時的な出力として扱うため、中間的な視覚的証拠は後続のツールでは再消費できない。
本稿では,画像バンク参照プロトコルを中心としたビジュアルネイティブエージェントを導入し,ツールが返却したすべてのイメージをアドレス可能な参照として登録する。
On-policy Data Evolution (ODE)はクローズドループデータジェネレータを実行する。
- 参考スコア（独自算出の注目度）: 23.436701309802533
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal deep search requires an agent to solve open-world problems by chaining search, tool use, and visual reasoning over evolving textual and visual context. Two bottlenecks limit current systems. First, existing tool-use harnesses treat images returned by search, browsing, or transformation as transient outputs, so intermediate visual evidence cannot be re-consumed by later tools. Second, training data is usually built by fixed curation recipes that cannot track the target agent's evolving capability. To address these challenges, we first introduce a visual-native agent harness centered on an image bank reference protocol, which registers every tool-returned image as an addressable reference and makes intermediate visual evidence reusable by later tools. On top of this harness, On-policy Data Evolution (ODE) runs a closed-loop data generator that refines itself across rounds from rollouts of the policy being trained. This per-round refinement makes each round's data target what the current policy still needs to learn. The same framework supports both diverse supervised fine-tuning data and policy-aware reinforcement learning data curation, covering the full training lifecycle of the target agent. Across 8 multimodal deep search benchmarks, ODE improves the Qwen3-VL-8B agent from 24.9% to 39.0% on average, surpassing Gemini-2.5 Pro in standard agent-workflow setting (37.9%). At 30B, ODE raises the average score from 30.6% to 41.5%. Further analyses validate the effectiveness of image-bank reuse, especially on complex tasks requiring iterative visual refinement, while rollout-feedback evolution yields more grounded SFT traces and better policy-matched RL tasks than static synthesis.
- Abstract（参考訳）: マルチモーダル・ディープ・サーチは、テキストや視覚的コンテキストの進化に対して、検索、ツールの使用、視覚的推論をチェーンすることで、オープンワールドの問題を解決するためにエージェントを必要とする。
2つのボトルネックが現在のシステムを制限する。
まず、既存のツール利用ハーネスは、検索、ブラウジング、変換によって返される画像を一時的な出力として扱うため、中間的な視覚的エビデンスを後続のツールで再消費することはできない。
第二に、トレーニングデータは、通常、ターゲットエージェントの進化能力を追跡することができない固定されたキュレーションレシピによって構築される。
これらの課題に対処するために、まずイメージバンク参照プロトコルを中心とした視覚ネイティブエージェントを導入し、ツールが返却したすべてのイメージをアドレス可能な参照として登録し、後続のツールによって中間的な視覚的証拠を再利用する。
このハーネスの上に、On-policy Data Evolution(ODE)はクローズドループデータジェネレータを実行し、トレーニング中のポリシーのロールアウトからラウンド全体にわたって洗練する。
このラウンドごとの改良により、各ラウンドのデータターゲットは、現在のポリシーがまだ学ぶ必要があるものとなる。
同じフレームワークは、さまざまな教師付き微調整データとポリシー対応強化学習データキュレーションの両方をサポートし、ターゲットエージェントの完全なトレーニングライフサイクルをカバーする。
8つのマルチモーダルディープサーチベンチマークで、ODEはQwen3-VL-8Bエージェントを平均24.9%から39.0%に改善し、標準のエージェントワークフロー設定(37.9%)でGemini-2.5 Proを上回った。
30Bでは平均得点を30.6%から41.5%に引き上げている。
さらに、画像バンクの再利用の有効性、特に反復的な視覚的改善を必要とする複雑なタスクにおいて、ロールアウトフィードバックの進化は静的合成よりも、より基礎的なSFTトレースとポリシーに整合したRLタスクをもたらす。
関連論文リスト
- WeAgent-MMGenEdit: A Full-Stack Recipe for Multimodal Agentic Image Generation and Editing [51.8784267764917]
WeAgent-MMGenEditはマルチモーダルハーネス、スケーラブルなデータ構築パイプライン、包括的なベンチマーク、エージェントポリシーとイメージバックエンドのためのポストトレーニングメソッドを含むフルスタックのレシピである。
最初にWeAgent-Harnessを紹介した。これは、永続的なエビデンス管理と、検索したマルチモーダルエビデンスを高密度キャリアにまとめる専用の検証と統合ツールである。これを用いて、高速な合成とエージェント軌道収集のためのスケーラブルなパイプラインを開発し、23Kの教師付きトラジェクトリと14.7KのRLタスクを3層検証チェックリストで生成する。
論文 参考訳（メタデータ） (2026-09-04T14:12:03Z) - WeAgent-MMSearch: Native Text-Vision Interaction for Multimodal Search Agents [53.426679066400844]
WeAgent-Harnessは、ネイティブテキストビジョンインタラクションと実行時リカバリをサポートするマルチモーダルエージェントハーネスである。
WeAgent-MMSearchは,データ構築,エージェントポストトレーニング,マルチモーダルロールアウトにまたがる統合システムである。
また、150タスクの人間認証ベンチマークであるVisTarget-Benchを紹介します。
論文 参考訳（メタデータ） (2026-08-28T08:28:43Z) - ProMSA:Progressive Multimodal Search Agents for Knowledge-Based Visual Question Answering [26.55005240500685]
ProMSAは知識に基づく視覚質問応答(KB-VQA)のためのプログレッシブマルチモーダル検索エージェントである
画像検索ペアを与えられたエージェントは、明示的なツールコール予算の下で画像検索、テキスト検索、または停止を反復的に選択し、冗長な検索を避けるために重複を回避する。
E-VQAとInfoSeekの実験は、強力なRAGとエージェントベースラインよりも一貫したゲインを示し、検索とエンドツーエンドの精度を改善した。
論文 参考訳（メタデータ） (2026-06-26T11:23:18Z) - MTA-Agent: An Open Recipe for Multimodal Deep Search Agents [51.180338423927985]
MLLM(Multi-hop large language model)は、視覚的理解において強力な能力を示しているが、複雑な多段階推論において制限されている。
証拠ベースQA合成のためのマルチホップツール拡張エージェント(MTA-Agent)を提案する。
MTA-Agentは、視覚的およびテキストソースから証拠を検索し、検証するためのツールとそのパラメータを自動的に選択する。
論文 参考訳（メタデータ） (2026-04-07T19:01:45Z) - AgentIR: Reasoning-Aware Retrieval for Deep Research Agents [76.29382561831105]
ディープリサーチエージェントは、各検索の前に明示的な自然言語推論を生成する。
Reasoning-Aware Retrievalは、クエリと一緒にエージェントの推論トレースを埋め込む。
DR-Synthは、標準的なQAデータセットからDeep Researchレトリバーのトレーニングデータを生成する。
AgentIR-4Bは、オープンウェイトエージェントであるTongyi-DeepResearchで68%の精度を達成する。
論文 参考訳（メタデータ） (2026-03-04T18:47:26Z) - From Self-Evolving Synthetic Data to Verifiable-Reward RL: Post-Training Multi-turn Interactive Tool-Using Agents [23.583947864141162]
EigenDataは階層的なマルチエージェントエンジンで、ツール基底の対話と実行可能なインスタンスごとのチェッカーを合成する。
合成データに基づいて、まずユーザモデルを微調整し、GRPOスタイルのトレーニングを適用するRLレシピを開発する。
以上の結果から,高価なアノテーションを使わずに,複雑なツールの動作をブートストラップするためのスケーラブルな経路が示唆された。
論文 参考訳（メタデータ） (2026-01-30T06:01:23Z) - Trajectory2Task: Training Robust Tool-Calling Agents with Synthesized Yet Verifiable Data for Complex User Intents [52.30603055218294]
Trajectory2Taskは,3つの現実的なユーザシナリオの下で大規模なツール使用を研究するための,検証可能なデータ生成パイプラインである。
有効なツールコールトラジェクトリを、制御されたインテント適応を伴うユーザ向けタスクに変換する。
我々は、生成された複雑なユーザシナリオタスクに対して、7つの最先端のLCMをベンチマークし、頻繁な障害を観察する。
論文 参考訳（メタデータ） (2026-01-28T00:36:13Z) - Training Long-Context, Multi-Turn Software Engineering Agents with Reinforcement Learning [29.605396813225386]
マルチターン対話型タスクにおけるエージェントの訓練に強化学習をどのように利用できるかを示す。
本手法は,オープンウェイトモデルを用いた多ターン対話タスクのための有能エージェントの訓練のための実践的アプローチを提供する。
論文 参考訳（メタデータ） (2025-08-05T14:30:47Z) - DMC-VB: A Benchmark for Representation Learning for Control with Visual Distractors [13.700885996266457]
行動クローニングやオフライン強化学習(RL)を通じて収集されたデータから学習することは、ジェネラリストエージェントをスケールするための強力なレシピである。
オフラインRLエージェントの堅牢性を評価するため,DeepMind Control Visual Benchmark (DMC-VB) をDeepMind Control Suiteで収集した。
そこで,本研究では,事前学習のための表現学習手法を評価するための3つのベンチマークを提案し,最近提案したいくつかの手法の実験を行った。
論文 参考訳（メタデータ） (2024-09-26T23:07:01Z) - Retrieval-Augmented Reinforcement Learning [63.32076191982944]
過去の経験のデータセットを最適な行動にマップするために、ネットワークをトレーニングします。
検索プロセスは、現在のコンテキストで有用なデータセットから情報を取得するために訓練される。
検索強化R2D2はベースラインR2D2エージェントよりもかなり高速に学習し,より高いスコアを得ることを示す。
論文 参考訳（メタデータ） (2022-02-17T02:44:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。