論文の概要: Reinforcement Learning with Decomposed Subtasks

• arxiv url: http://arxiv.org/abs/2609.27035v2
• Date: Thu, 24 Sep 2026 22:17:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.039103
• Title: Reinforcement Learning with Decomposed Subtasks
• Title（参考訳）: 分解したサブタスクによる強化学習
• Abstract要約: 分割サブタスク(RLDS)を用いた強化学習の導入 RLDSは、軌道報酬をサブタスク毎の株式に分割するスカラーGRPOの利点の代替である。 我々は、FrozenLake、HotpotQA、ScienceWorld、DeepResearchの4つのベンチマークを評価した。
• 参考スコア（独自算出の注目度）: 1.2132884030603328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group Relative Policy Optimization (GRPO) and related policy-gradient methods for training language model agents collapse an entire multi-turn rollout into a single scalar trajectory reward before it enters the policy update. When the task composes distinct skills, especially under sparse and delayed environmental feedback, this collapsing is lossy: the optimizer must implicitly infer which competency drove the outcome and how that should change behavior. We argue the right primitive is not a better scalar but a decomposition: trajectory reward should be split along subtasks before it enters the policy update. We introduce Reinforcement Learning with Decomposed Subtasks (RLDS), whose core is Subtask-Decomposed Advantage Estimation (SDAE): a replacement for the scalar GRPO advantage that splits trajectory reward into per-subtask shares on a fixed taxonomy, computes a group-relative advantage per subtask, and distributes per-token credit by weighting each subtask's advantage by its importance, concentrating it around the step where a reflection marks that subtask's execution as consequential. We evaluate on four agentic benchmarks: FrozenLake (sparse grid navigation), HotpotQA (multi-hop QA, one retrieval tool), ScienceWorld (long-horizon embodied science), and DeepResearch (long-form research, four tools, composite rubric reward). Heterogeneity diagnostics emitted during training show where decomposition pays off - gains scale with subtask heterogeneity, largest on the high-heterogeneity tasks ScienceWorld (+11.5 points, paired-bootstrap 95% CI [+9.8, +13.3]) and FrozenLake (+9.8 points, [+7.0, +12.8]), and within noise on HotpotQA and DeepResearch, where the diagnostics predicted little to recover. ScienceWorld is also more compute-efficient under RLDS than scalar GRPO (-10.9% wall-clock per step), as long rollouts amortize the fixed reflect-and-grade overhead.
• Abstract（参考訳）: Group Relative Policy Optimization (GRPO) および関連する言語モデルエージェントのためのポリシー段階の手法は、ポリシー更新に入る前に、マルチターンロールアウト全体を単一のスカラー軌道報酬に分解する。 タスクが、特に緩やかで遅延した環境フィードバックの下で、異なるスキルを構成するとき、この崩壊は失われる:最適化者は、どの能力が結果を導いたか、どのように行動を変えるべきかを暗黙的に推測しなければならない。 我々は、正しいプリミティブはより良いスカラーではなく分解であると主張する: トラジェクティブ報酬は、ポリシー更新に入る前にサブタスクに沿って分割されるべきである。 本稿では,各サブタスクの利点を重み付け,各サブタスクの重要度を重み付け,サブタスクの実行を列挙する反射点を重み付け,各サブタスクに対するグループ相対的優位性を計算することで,トラジェクティブ報酬を固定された分類上のサブタスク毎の共有に分割するスカラーGRPOの利点の代替として,サブタスク分割アドバンテージ推定(SDAE)が中心となるReinforcement Learning with Decomposed Subtasks(RLDS)を紹介した。 エージェントの4つのベンチマークとして,FrozenLake(スパースグリッドナビゲーション),HotpotQA(マルチホップQA,1つの検索ツール),ScienceWorld(ロングホライゾンエボダイドサイエンス),DeepResearch(ロングフォームリサーチ,4つのツール,複合ルーリック報酬)を評価した。 ScienceWorld (+11.5 points, paired-bootstrap 95% CI [+9.8, +13.3]) と FrozenLake (+9.8 points, [+7.0, +12.8]) と、HotpotQA と DeepResearch のノイズの中では、診断はほとんど回復しない。 サイエンスワールドはスカラーGRPO(ステップあたり10.9%のウォールクロック)よりもRTDSの方が計算効率が良い。

関連論文リスト

• Explore More, Drift Less: Outcome-Only Reinforcement Learning Can Suffice for Long-Horizon Interactive Agents [3.3656546156010942]
  強化学習(Reinforcement learning)は、エンド・オブ・タスクの検証のみで判断される長距離対話型タスクのための訓練後エージェントの自然な方法である。 最近の作業は、より密度の高い報酬、SFTプリエント、スキルライブラリ、キュレートされたメモリ、マルチエージェントオーケストレーションによるトレーニングの周辺を補っている。 我々は、CANOPYという、両者を直接攻撃する最小限のプロトコルを提示する: 自然信号が現れるまで、同じタスクの探索をスケールし、すべての更新を政治上、KLアンコールし、エージェント自身のアクショントークンに制限する。
  論文  参考訳（メタデータ） (2026-09-01T13:44:40Z)
• Meta-Learned Reward Shaping for Reinforcement Learning from Human Feedback [0.0]
  本稿では,タスク認識型シェーピング機能をメタ学習するMeRLa(Meta-Learned Reward Shaping)を紹介する。 学習された形状は、政策の最適性を維持する複合報酬を生成する。 MeRLaは、プロセスベースと原則ベースの強化報酬と組み合わせることで、そのメリットを維持している。
  論文  参考訳（メタデータ） (2026-07-28T02:09:26Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• FlowRL: Matching Reward Distributions for LLM Reasoning [69.88820066093798]
  大規模言語モデル(LLM)強化学習(RL)において、報酬を最大化する代わりに、フローバランシングによる全報酬分布をマッチングするフローRLを提案する。 我々はスカラー報酬を学習可能な分割関数を用いて正規化対象分布に変換し、その後、ポリシーと対象分布との逆KL分散を最小化する。
  論文  参考訳（メタデータ） (2025-09-18T17:56:36Z)
• Scalable Submodular Policy Optimization via Pruned Submodularity Graph [2.8672152503836]
  強化学習(RL)では、エージェントが可能なアクションのセットを介して環境と対話し、未知の分布から報酬が生成される。 ここでの課題は、ある時間ステップ後の報酬が最大化されるような、最適な一連のアクションを見つけることである。
  論文  参考訳（メタデータ） (2025-07-18T11:42:07Z)
• Hierarchical Reinforcement Learning as a Model of Human Task Interleaving [60.95424607008241]
  我々は、強化学習によって駆動される監督制御の階層モデルを開発する。 このモデルは、タスクインターリービングの既知の経験的効果を再現する。 その結果、階層的RLがタスクインターリービングのもっともらしいモデルとして支持された。
  論文  参考訳（メタデータ） (2020-01-04T17:53:28Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。