論文の概要: Boosting Deepresearch and LongContext Ability with Self-Generated Deepresearch Rollouts Traces

• arxiv url: http://arxiv.org/abs/2609.20844v1
• Date: Wed, 05 Aug 2026 07:03:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.684565
• Title: Boosting Deepresearch and LongContext Ability with Self-Generated Deepresearch Rollouts Traces
• Title（参考訳）: 自己生成型DeepResearch RolloutsトレースによるDeepResearchとLongContext能力の向上
• Abstract要約: Deepresearch(DR)エージェントは、マルチターン検索と訪問を通じて現実世界のWeb環境と対話する。 DRエージェント強化学習(DR-RL)の後にも、モデルが残っていた予測誤差の61.6%は、長文理解の不十分さによるものである。 データギャップを埋めるために、DRロールアウトをLongContext-QA(DR-to-Long)に提案する。
• 参考スコア（独自算出の注目度）: 36.92677489016578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deepresearch (DR) agents interact with real-world web environments through multi-turn search and visit, causing their contexts to grow rapidly over time. We observe that, even after DR Agentic Reinforcement Learning (DR-RL), 61.6% of the model's remaining prediction errors can still be attributed to insufficient long-context understanding, including longcontext hallucination and failures in cross-document evidence integration. It motivates us to further break the bottleneck of DR-RL by strengthening the model's long-context ability. However, effective LongContext training requires more than simply increasing context length. To bridge the data gap, we propose `DR Rollouts to LongContext-QA (DR-to-Long)'. The method repurposes DR-RL trajectories, which naturally contain search histories, visited webpages, evidence snippets, and final-answer supervision. It then replaces the compact snippets and webpage summaries in each trajectory with the full contents of their corresponding URLs, producing substantially longer multi-document contexts while preserving the original evidence relationships. Building on DR-to-Long, we introduce DLD (DR -> LongQA -> DR)-RL. DLD-RL first performs a short DR-RL stage to collect rollout trajectories, which are then converted into LongQA instances at zero annotation cost. The model is subsequently optimized with LongQA-RL to strengthen LongContext ability, followed by full DR-RL to continue improving its DR capability. Experiments show that DLD-RL outperforms standard DR-RL by 7.3% on three Deepresearch benchmarks and improves performance by 13.5% on three long-context benchmarks.
• Abstract（参考訳）: Deepresearch(DR)エージェントは、マルチターン検索と訪問を通じて現実世界のWeb環境と対話し、時間とともにコンテキストが急速に成長する。 DRエージェント強化学習(DR-RL)の後でも、61.6%のモデルが残っていた予測誤差は、長文の幻覚や文書間の証拠統合の失敗など、長文の理解が不十分なためといえよう。 DR-RLのボトルネックをさらに突破する動機は、モデルの長期コンテキスト能力を強化することである。 しかし、効果的なLongContextトレーニングは、単にコンテキストの長さを増やす以上のものを必要とします。 データギャップを埋めるため、「DR Rollouts to LongContext-QA (DR-to-Long)」を提案する。 本手法は,自然に検索履歴を含むDR-RLトラジェクトリを再利用し,Webページ,エビデンススニペット,最終回答管理を行う。 次に、各トラジェクトリ内のコンパクトなスニペットとWebページの要約を対応するURLの完全な内容に置き換え、元のエビデンス関係を保ちながら、はるかに長いマルチドキュメントコンテキストを生成する。 DR-to-Long上に構築したDLD (DR -> LongQA -> DR)-RLについて述べる。 DLD-RLはまず短いDR-RLステージを実行し、ロールアウトトラジェクトリを収集し、その後アノテーションのコストゼロでLongQAインスタンスに変換する。 モデルがLongQA-RLで最適化され、LongContext能力が強化され、DR-RLが改良され、DR能力が向上した。 実験の結果、DLD-RLは3つのDeepresearchベンチマークで標準DR-RLを7.3%上回り、3つの長文ベンチマークで13.5%改善している。

関連論文リスト

• Recursive Value Learning for Long-Horizon Offline Goal-Conditioned RL [8.461665774019183]
  Divide-and-Conquer RLは,各トラジェクトリセグメントを平衡二分木に分解し,葉から根への値のトレーニングを行う。 DCRLは多様な目標達成タスクにまたがって、以前のフラットオフラインGCRLメソッドよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2026-09-02T07:45:16Z)
• Beyond Reward Engineering: A Data Recipe for Long-Context Reinforcement Learning [10.60628314003646]
  長文推論は、大規模言語モデルにとって不可欠な機能である。 結果に基づく最小限のGRPO設定と組み合わせた単純なデータレシピだけでは、長文推論を大幅に改善するのに十分であることを示す。
  論文  参考訳（メタデータ） (2026-06-17T09:07:42Z)
• Document Reconstruction Unlocks Scalable Long-Context RLVR [60.74632963522131]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の機能強化(長文)のための重要なパラダイムとなっている。 我々は,LLMの長期的文脈能力を高めるための教師なしのアプローチについて検討し,重度の人的アノテーションや教師モデルの監督の必要性を排除した。 提案手法の有効性をRULERとLongBenchv2の2つのベンチマークで検証した。
  論文  参考訳（メタデータ） (2026-02-09T03:23:23Z)
• LongR: Unleashing Long-Context Reasoning via Reinforcement Learning with Dense Utility Rewards [57.993003392037174]
  LongRは動的"Think-and-Read"メカニズムを統合することで、長時間コンテキストのパフォーマンスを向上させるフレームワークである。 LongRは様々なRLアルゴリズムのパフォーマンスを継続的に向上する。
  論文  参考訳（メタデータ） (2026-02-05T15:26:47Z)
• IntentRL: Training Proactive User-intent Agents for Open-ended Deep Research via Reinforcement Learning [54.21689544323704]
  Deep Research (DR)エージェントは、パラメトリック知識を超えてLarge Language Models (LLM)を拡張する。 リアルタイムの会話アシスタントとは異なり、DRは計算に高価で時間を要する。 IntentRLは、長期研究を始める前に、潜在ユーザ意図を明らかにするためにプロアクティブエージェントを訓練するフレームワークである。
  論文  参考訳（メタデータ） (2026-02-03T12:43:09Z)
• LoongRL: Reinforcement Learning for Advanced Reasoning over Long Contexts [21.07202581368365]
  より進んだ長文推論のためのデータ駆動型RL法であるLoongRLを紹介する。 KeyChainは、短いマルチホップQAを高微分長文タスクに変換する合成手法である。 Qwen2.5-7Bと14Bでは、LongRLは長文マルチホップQAの精度を+23.5%、+21.1%向上させる。
  論文  参考訳（メタデータ） (2025-10-22T08:35:28Z)
• LongReward: Improving Long-context Large Language Models with AI Feedback [54.3321542678909]
  LongRewardは、4次元の長文モデル応答に対して報酬を与える新しい方法である。 実験の結果,LongRewardはモデル長文性能を大幅に向上するだけでなく,短い命令に従う能力も向上することがわかった。
  論文  参考訳（メタデータ） (2024-10-28T17:50:42Z)
• A Long Way to Go: Investigating Length Correlations in RLHF [59.49656695716066]
  本稿では, 応答長の最適化がRLHFの重要な要因であることを示す。 報酬の改善は、他の機能ではなく、レスポンス長の増加によって大きく引き起こされると思います。 純粋に長さベースの報酬でさえ、教師付き微調整モデルよりも下流のRLHFの改善を再現する。
  論文  参考訳（メタデータ） (2023-10-05T17:38:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。