論文の概要: Long-MDR: Long-Context Reinforcement Learning for Multimodal Deep-Research Agents

• arxiv url: http://arxiv.org/abs/2610.05195v1
• Date: Sun, 04 Oct 2026 13:08:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 22:42:58.648168
• Title: Long-MDR: Long-Context Reinforcement Learning for Multimodal Deep-Research Agents
• Title（参考訳）: マルチモーダルディープリサーチエージェントのためのLong-MDR:Long-Context Reinforcement Learning
• Abstract要約: これは、128kコンテキストと75のツール・インタラクション・ターンでトレーニングされた初めてのオンラインマルチモーダルディープ・リサーチRL研究である。 この設定に特化して設計された3成分トレーニングレシピであるLong-MDRを紹介する。 RLで訓練されたLong-MDR-9Bは、比較した7B-9Bエージェントの中で6つのベンチマークのうち5つで第1位です。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The next generation of multimodal research agents must reason over long-lived research histories rather than short model completions. During a single task, an agent may repeatedly search the web, inspect visual evidence, revisit earlier hypotheses, and accumulate tens of thousands of tokens of multimodal context. Despite this trend, online RL for multimodal research agents remains largely confined to shorter contexts and interaction horizons. We push online RL training to 128k context and 75+ tool-interaction turns. To our knowledge, this is the first online multimodal deep-research RL study trained at 128k context, and the first trained with a 75 tool-turn horizon. Scaling to this regime exposes several practical limitations of conventional RL training. Early in training, weak policies make poor use of large interaction budgets, causing expensive rollouts with little reward improvement. Later, policy entropy can collapse before performance has saturated, prematurely ending useful learning. We introduce Long-MDR, a three-component training recipe designed specifically for this setting: On-Policy Distillation Warmup, Progressive Horizon Expansion, and Entropy-Triggered Rescue. Together, these techniques improve both the learning efficiency and stability of long-horizon RL, enabling continued gains in a regime where direct training is slow and costly. At a 50-turn evaluation budget, our RL-trained Long-MDR-9B ranks first on five of six benchmarks among the compared 7B-9B agents.
• Abstract（参考訳）: 次世代のマルチモーダル研究エージェントは、短いモデル完成よりも長期間の研究履歴を推論しなければならない。 1つのタスクの間、エージェントは繰り返しウェブを検索し、視覚的証拠を検査し、仮説を再検討し、マルチモーダルコンテキストの何万ものトークンを蓄積する。 この傾向にもかかわらず、マルチモーダル研究エージェントのオンラインRLは、多くの場合、より短い文脈と相互作用の地平線に限られている。 オンラインのRLトレーニングを128kのコンテキストにプッシュし、75以上のツール-インタラクションを切り替えます。 私たちの知る限り、これは128kのコンテキストでトレーニングされた初めてのオンラインマルチモーダルディープリサーチRL研究であり、75のツールターン水平線でトレーニングされた初めてのものです。 この体制へのスケーリングは、従来のRLトレーニングのいくつかの実践的な制限を明らかにする。 訓練の初期段階では、弱いポリシーは大きな相互作用予算をあまり利用せず、高いロールアウトを引き起こし、報奨がほとんどない。 後に、政策エントロピーは、パフォーマンスが飽和する前に崩壊し、早期に有用な学習を終了する。 この設定のために設計された3成分のトレーニングレシピであるLong-MDRを紹介した。 これらの技術は, 長期RLの学習効率と安定性を両立させ, 直接訓練が遅く, コストがかかる体制下での継続的な向上を可能にした。 50ターンの評価予算では、RLで訓練されたLong-MDR-9Bが、比較した7B-9Bエージェントの中で6つのベンチマークのうち5つにランクインした。

関連論文リスト

• REGEN: Replay-recycling for Expert-to-Generalist distillation with Offline Reinforcement Learning [5.0321327064523595]
  オフラインRLを用いたエキスパート・ジェネリスト蒸留のための再生リサイクル(REGEN: Replay-Recycling for Expert-to-Generalist Distillation)を提案する。 複数の教師モデルから蒸留する代わりに、REGENはリプレイメモリをリサイクルすることでジェネラリストを訓練する。 オンラインRLは、ワンオフ学習の段階ではなく、データ合成の過程に転換する可能性がある。
  論文  参考訳（メタデータ） (2026-07-21T13:36:23Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• IntentRL: Training Proactive User-intent Agents for Open-ended Deep Research via Reinforcement Learning [54.21689544323704]
  Deep Research (DR)エージェントは、パラメトリック知識を超えてLarge Language Models (LLM)を拡張する。 リアルタイムの会話アシスタントとは異なり、DRは計算に高価で時間を要する。 IntentRLは、長期研究を始める前に、潜在ユーザ意図を明らかにするためにプロアクティブエージェントを訓練するフレームワークである。
  論文  参考訳（メタデータ） (2026-02-03T12:43:09Z)
• OffSeeker: Online Reinforcement Learning Is Not All You Need for Deep Research Agents [68.79728889531806]
  最先端のパフォーマンスは通常、オンライン強化学習(RL)に依存します。 オフライントレーニングを効果的に行うために設計された、完全なオープンソーススイートを紹介します。 当社の中核的なコントリビューションはDeepForgeです。DeepForgeは、大量の前処理なしで大規模な研究クエリを生成する、使えるタスク合成フレームワークです。
  論文  参考訳（メタデータ） (2026-01-26T13:13:59Z)
• On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models [73.10315509190623]
  最近の強化学習技術は、言語モデルにおいて顕著な推論改善をもたらした。 ポストトレーニングが、事前トレーニング中に取得したものを超えて、モデルの推論能力を真に拡張するかどうかは不明だ。 プレトレーニング,ミッドトレーニング,およびRLベースのポストトレーニングの因果的貢献を分離する,完全に制御された実験フレームワークを開発した。
  論文  参考訳（メタデータ） (2025-12-08T18:12:10Z)
• Advancing Multimodal Reasoning: From Optimized Cold Start to Staged Reinforcement Learning [28.92744927199283]
  ReVisual-R1は、MathVerse、MathVision、WeMath、LogicVista、DynaMath、AIME2024、AIME2025といった挑戦的なベンチマークにおいて、オープンソースの7B MLLMの間で新しい最先端技術を実現している。
  論文  参考訳（メタデータ） (2025-06-04T17:51:08Z)
• RAGEN: Understanding Self-Evolution in LLM Agents via Multi-Turn Reinforcement Learning [125.96848846966087]
  対話型エージェントとしての大規模言語モデル(LLM)のトレーニングには,ユニークな課題がある。 強化学習は静的タスクの進行を可能にする一方で、マルチターンエージェントRLトレーニングは未探索のままである。 本稿では、軌道レベルのエージェントRLのための一般的なフレームワークであるStarPOを提案し、LLMエージェントのトレーニングと評価のためのモジュールシステムであるRAGENを紹介する。
  論文  参考訳（メタデータ） (2025-04-24T17:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。