論文の概要: Planner-Centric Reinforcement Learning for Deep Research with Structure-Aware Reward

• arxiv url: http://arxiv.org/abs/2605.30824v1
• Date: Fri, 29 May 2026 04:18:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.383102
• Title: Planner-Centric Reinforcement Learning for Deep Research with Structure-Aware Reward
• Title（参考訳）: 構造を考慮した深層研究のためのプランナー中心強化学習
• Abstract要約: DecomposeRは、研究計画を表すプランナー中心のディープリサーチフレームワークであり、型付き有向非巡回グラフ(DAG)である。 プランナー強化学習(RL)はまず,研究計画を改善するためにグラフ構造とクエリ分解を学習し,回答者強化学習(RL)は,学習計画に基づいて分岐レベルの実行と最終合成を学習する。 実験によると、DecomposeRは、計画と回答能力の改善により、人気のあるロングフォームベンチマークにおいて、強力なオープンベースラインよりも5.1-8.0ポイント改善されている。
• 参考スコア（独自算出の注目度）: 4.833783769369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep research tasks require LLMs to plan what to investigate, retrieve evidence, and synthesize long-form answers across multiple branches of inquiry. Existing training paradigms either rely on short-form verifiable QA as a proxy or optimize monolithic long trajectories, which makes planning and execution difficult to disentangle and yields weak credit assignment for the planning process. We propose DecomposeR, a planner-centric deep research framework that represents research plans as typed directed acyclic graphs (DAGs), allowing planning to be made explicit, structured, and rewardable. We train a Qwen3-8B model in two stages: planner reinforcement learning (RL) first learns graph structure and query decomposition to improve research planning, and answerer reinforcement learning (RL) then learns branch-level execution and final synthesis conditioned on the learned plan. By assigning rewards to explicit planner tokens and structured components rather than to a flat trajectory, DecomposeR enables finer-grained optimization of planning while reducing the ambiguity of end-to-end training. Experiments show that DecomposeR-8B improves over strong comparable open baselines by 5.1-8.0 points on popular long-form benchmarks due to improved planning and answering capabilities.
• Abstract（参考訳）: 深い研究課題は、LLMが調査を計画し、証拠を回収し、複数の調査分野にまたがってロングフォームな回答を合成することである。 既存のトレーニングパラダイムは、プロキシとして短い形式の検証可能なQAに頼るか、モノリシックな長い軌跡を最適化する。 提案するDecomposeRは,研究計画をDAG(Typed Direct Acyclic graphs)として表現する,プランナ中心のディープリサーチフレームワークである。 プランナー強化学習(RL)はまず,研究計画を改善するためにグラフ構造とクエリ分解を学習し,回答者強化学習(RL)は,学習計画に基づいて分岐レベルの実行と最終合成を学習する。 DecomposeRは、明確なプランナートークンや構造化コンポーネントに、フラットな軌道ではなく、報酬を割り当てることで、プランニングのよりきめ細かい最適化を可能にし、エンドツーエンドのトレーニングのあいまいさを低減します。 実験の結果、DecomposeR-8Bは強力なオープンベースラインよりも5.1-8.0ポイント向上していることがわかった。

関連論文リスト

• PlanningBench: Generating Scalable and Verifiable Planning Data for Evaluating and Training Large Language Models [52.48858778580074]
  計画は大規模言語モデル(LLM)の基本的な機能である PlanningBenchは、評価とトレーニングの両方のためのスケーラブルで多様な検証可能な計画データを生成するためのフレームワークである。
  論文  参考訳（メタデータ） (2026-05-20T08:10:15Z)
• Distilling Reasoning Without Knowledge: A Framework for Reliable LLMs [0.0]
  本稿では,実際の検索と回答の合成からプランニングを分離するモジュラーフレームワークを提案する。 ライトウェイトな学生プランナーは、教師-学生フレームワークを介して訓練され、構造化された分解を生成する。 提案手法をSEAL-0(SEAL-0)で評価した。
  論文  参考訳（メタデータ） (2026-03-15T16:06:54Z)
• Agentic Planning with Reasoning for Image Styling via Offline RL [66.10749901925941]
  直接的なプロンプトベースの編集は複雑な変換では失敗するが、なぜなら曖昧で主観的なプロンプトは、画像に何を変更するべきかを微妙に理解する必要がしばしばあるからである。 ツールベースのエージェントRLポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-07T11:14:37Z)
• Plan Then Retrieve: Reinforcement Learning-Guided Complex Reasoning over Knowledge Graphs [52.16166558205338]
  Graph-RFTは、"plan-KGsearch-and-Websearch-during-think"パラダイムを備えた、2段階強化KGQAフレームワークである。 これにより、LLMは、不完全な知識条件下で、KGやWebソース間で自律的な計画と適応的なスケジューリングを行うことができる。
  論文  参考訳（メタデータ） (2025-10-23T16:04:13Z)
• DeepPlanner: Scaling Planning Capability for Deep Research Agents via Advantage Shaping [74.34061104176554]
  我々は、ディープリサーチエージェントの計画能力を効果的に向上するエンドツーエンドのRLフレームワークであるDeepPlannerを提案する。 提案手法は,高エントロピートークンの大幅な更新を割り当てるエントロピーに基づく用語を用いてトークンレベルの優位性を形作るとともに,計画集約ロールアウトに対するサンプルレベルの優位性を選択的に向上させる。
  論文  参考訳（メタデータ） (2025-10-14T20:47:05Z)
• PLAN-TUNING: Post-Training Language Models to Learn Step-by-Step Planning for Complex Problem Solving [66.42260489147617]
  大規模言語モデルから合成タスク分解を蒸留するフレームワークであるPLAN-TUNINGを紹介する。 複雑な推論を改善するために、教師付きおよび強化学習の目的を通したプランチューン細管モデル。 本分析は,計画軌道が複雑な推論能力をいかに改善するかを示す。
  論文  参考訳（メタデータ） (2025-07-10T07:30:44Z)
• Large Language Models for Planning: A Comprehensive and Systematic Survey [29.168219253281453]
  大規模言語モデル(LLM)は、特定の計画タスクにおいて顕著なパフォーマンスを示している。 本稿では,LLMをベースとした計画の総合的なレビューを行う。
  論文  参考訳（メタデータ） (2025-05-26T08:44:53Z)
• HyperTree Planning: Enhancing LLM Reasoning via Hierarchical Thinking [109.09735490692202]
  提案するHyperTree Planning(HTP)は,高木構造プランニングアウトラインを構成する新しい推論パラダイムである。 実験ではHTPの有効性を実証し、Gemini-1.5-ProによるTravelPlannerベンチマークで最先端の精度を実現し、o1-previewよりも3.6倍の性能向上を実現した。
  論文  参考訳（メタデータ） (2025-05-05T02:38:58Z)
• DHP: Discrete Hierarchical Planning for Hierarchical Reinforcement Learning Agents [2.1438108757511958]
  本稿では,連続距離推定を離散的到達性チェックに置き換え,サブゴールの実現可能性を評価する手法を提案する。 25室のナビゲーション環境での実験では、100%の成功率を示している。 この方法は運動量に基づく制御タスクにも一般化され、再計画には$log N$ステップしか必要としない。
  論文  参考訳（メタデータ） (2025-02-04T03:05:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。