論文の概要: MMSearch-OPD: Easy Made Hard, Hard Made Learnable for Long-Horizon Multimodal Search Agents

• arxiv url: http://arxiv.org/abs/2610.22240v1
• Date: Thu, 15 Oct 2026 17:16:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.220381
• Title: MMSearch-OPD: Easy Made Hard, Hard Made Learnable for Long-Horizon Multimodal Search Agents
• Title（参考訳）: MMSearch-OPD: 長距離マルチモーダル検索エージェントにとって簡単で難易度の高い学習方法
• Abstract要約: MMSearch-OPDを導入し, 制御可能なデータ改質と共同強化学習, オンライン蒸留を併用した。 我々のRefineパイプラインは、既存の単純なマルチモーダル質問から導かれる推論チェーンのターゲット拡張を実行する。 実験では、データ洗練と共同訓練によるさらなる改善が示され、より強力な長距離マルチモーダル深層探索能力が示される。
• 参考スコア（独自算出の注目度）: 13.675110370191632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal deep search is moving from short queries to long-horizon investigations that continually acquire evidence. However, training such agents remains constrained by limited challenging training questions and insufficient process feedback. We introduce MMSearch-OPD, combining controllable data refinement with joint reinforcement learning (RL) and on-policy distillation (OPD). Our Refine pipeline performs targeted expansion of reasoning chains derived from existing simple multimodal questions. Parameterized transformations control search depth and cross-modal evidence requirements while reusing existing image--question pairs. For training, answer rewards and lightweight behavior penalties guide RL, while the reward gap modulates token-level teacher guidance on imperfect student trajectories. An exponentially decaying distillation coefficient reduces teacher dependence as training proceeds. Experiments show gains from data refinement and further improvements from joint training after SFT, indicating stronger long-horizon multimodal deep search capabilities.
• Abstract（参考訳）: マルチモーダルディープサーチは、短いクエリから、証拠を継続的に取得する長期調査へと移行している。 しかし、そのようなエージェントの訓練は、限られた挑戦的なトレーニング質問とプロセスフィードバックの不足によって制限され続けている。 MMSearch-OPDを導入し、制御可能なデータ精錬と共同強化学習(RL)とオンライン蒸留(OPD)を組み合わせた。 我々のRefineパイプラインは、既存の単純なマルチモーダル質問から導かれる推論チェーンのターゲット拡張を実行する。 パラメータ変換は、既存の画像探索ペアを再利用しながら、探索深度とクロスモーダルエビデンス要求を制御する。 トレーニングでは,回答報酬と軽量行動罰則がRLを導く一方で,報酬ギャップは不完全な学生軌跡に関するトークンレベルの教師指導を変調する。 指数関数的に減衰する蒸留係数は、訓練が進むにつれて教師の依存を減少させる。 実験の結果,SFT後のデータ改善と共同訓練による更なる改善が示され,より強力な長距離多モード深層探索能力が示された。

関連論文リスト

• SearchMaster: Grounded and Regulated Self-Play for Search Agents [57.537666863340284]
  検索エージェントの訓練には高品質な検索データが必要である。 既存のパイプラインは、人手によるタスクや専門家によるデモンストレーション、より強力な教師モデルに依存していることが多い。 本稿では,ローカル検索環境における検索タスクから,単一のLLMをトレーニングするセルフプレイフレームワークであるSearchMasterを提案する。
  論文  参考訳（メタデータ） (2026-08-03T07:29:11Z)
• OpenSearch-VL: An Open Recipe for Frontier Multimodal Search Agents [50.79529228477821]
  エージェント強化学習を用いたフロンティアマルチモーダルディープサーチエージェントの完全オープンソースレシピであるOpenSearch-VLを紹介した。 まず、ウィキペディアパスのサンプリング、ファジィエンティティの書き換え、ソース・アンカーの視覚的グラウンドリングを通じて、高品質なトレーニングデータを構築するための専用パイプラインをキュレートした。 さらに,テキスト検索,画像検索,OCR,収穫,研削,超解像,視点補正を統一する多様なツール環境を設計する。
  論文  参考訳（メタデータ） (2026-05-06T17:50:38Z)
• PRAISE: Prefix-Based Rollout Reuse in Agentic Search Training [28.912613644535668]
  本稿では,エージェント検索訓練におけるデータ効率向上のためのフレームワークPRAISEを提案する。 本手法は,検索ポリシー学習とプレフィックス応答評価の両方に,単一の共有モデルを用いる。 マルチホップQAベンチマークの実験では、PRAISEは強いベースラインよりも一貫してパフォーマンスを改善している。
  論文  参考訳（メタデータ） (2026-04-04T10:23:46Z)
• IntentRL: Training Proactive User-intent Agents for Open-ended Deep Research via Reinforcement Learning [54.21689544323704]
  Deep Research (DR)エージェントは、パラメトリック知識を超えてLarge Language Models (LLM)を拡張する。 リアルタイムの会話アシスタントとは異なり、DRは計算に高価で時間を要する。 IntentRLは、長期研究を始める前に、潜在ユーザ意図を明らかにするためにプロアクティブエージェントを訓練するフレームワークである。
  論文  参考訳（メタデータ） (2026-02-03T12:43:09Z)
• BMGQ: A Bottom-up Method for Generating Complex Multi-hop Reasoning Questions from Semi-structured Data [8.52473384574856]
  本稿では,半構造化知識ソースから高難易度,訓練可能なマルチホップ質問を自動生成するフレームワークを提案する。 このシステムは、自然言語推論(NLI)に基づく関係型付けと多様性を意識した拡張を通じて、多様な、論理的にラベル付けされたエビデンスクラスタを成長させる。
  論文  参考訳（メタデータ） (2025-10-28T07:43:15Z)
• DeepDive: Advancing Deep Search Agents with Knowledge Graphs and Multi-Turn RL [60.47878242100153]
  我々は、ディープサーチエージェントを進化させるためにDeepDiveを提示する。 オープンな知識グラフから複雑で難解な質問を自動的に合成する戦略を提案する。 深層探索によるLLMの長距離推論を強化するために, エンドツーエンドのマルチターン強化学習を適用した。
  論文  参考訳（メタデータ） (2025-09-12T17:52:35Z)
• Reinforcement Learning Teachers of Test Time Scaling [21.551446057221185]
  LMを推論する主要なユースケースは、新しい学生を蒸留し、将来のRLイテレーションを冷静に開始する教師として機能することである。 我々は,RLの探究課題を回避するために,RLT(Reinforcement-Learned Teachers)の新たなクラスを育成する枠組みを導入する。 RLTは、各問題に対する質問と解決の両方で促され、生徒に合った詳細な説明で単に「接続する」ことを任務とする。
  論文  参考訳（メタデータ） (2025-06-10T02:53:24Z)
• ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning [74.65632662894086]
  本稿では,強化学習を通じてLLMをReason with Searchに学習するフレームワークであるReSearchを提案する。 提案手法では,検索操作を推論チェーンの不可欠な要素として扱う。 分析によると、ReSearchは自然にリフレクションや自己訂正のような高度な推論機能を引き出す。
  論文  参考訳（メタデータ） (2025-03-25T09:00:58Z)
• LamRA: Large Multimodal Model as Your Advanced Retrieval Assistant [63.28378110792787]
  LamRAは大規模マルチモーダルモデルに高度な検索と再ランク機能を持たせるために設計された多機能フレームワークである。 検索には、言語のみの事前学習とマルチモーダル・インストラクション・チューニングからなる2段階のトレーニング戦略を採用する。 再格付けには、ポイントワイドとリストワイドの両方のジョイントトレーニングを採用し、検索性能をさらに向上させる2つの方法を提供している。
  論文  参考訳（メタデータ） (2024-12-02T17:10:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。