論文の概要: Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.23181v1
• Date: Fri, 16 Oct 2026 09:17:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.840242
• Title: Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning
• Title（参考訳）: 長軸エージェント強化学習のための木組み後部蒸留法
• Abstract要約: TreeOPSDは、長距離エージェント強化学習のための、批判のない、木を意識した後部自己蒸留フレームワークである。 複数の競合ベンチマークとモデルスケールでエージェント機能を改善する。
• 参考スコア（独自算出の注目度）: 60.75091491636976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards has become a scalable post-training paradigm for large language models. However, training agents over long-horizon interactions presents two challenges: using only terminal rewards makes turn-level credit assignment sparse and high-variance, while sequential mini-batch updates on a fixed rollout batch introduce policy staleness as the current policy drifts from the behavior policy. Existing approaches obtain denser credit via learned critics, process reward models, or on-policy distillation, but they rely on a value network, step-level annotations, or a stronger external teacher that increase training complexity. Meanwhile, importance sampling and clipping mitigate policy drift, but they do not specify a finite target that stops sequential updates from overshooting. In this work, we introduce TreeOPSD, a critic-free, tree-aware posterior self-distillation framework for long-horizon agentic reinforcement learning. Treating each interaction turn as a tree node, TreeOPSD branches alternative continuations from shared prefixes and recursively backs up terminal rewards into implicit turn-level credit. It then maps each credit to a closed-form, bounded teacher distribution parameterized by the likelihood ratio relative to the frozen behavior policy. Minimizing the divergence between this teacher and the student policy recovers the policy-gradient direction as the tangent at the behavior policy while bounding updates toward a finite target across sequential mini-batches. Empirically, TreeOPSD improves agentic capabilities across several competitive benchmarks and model scales, especially for long-horizon tasks, e.g., raising the average accuracy of Qwen3-30B-A3B-Thinking-2507 by 4.97 points over GRPO on the Deep Research setting.
• Abstract（参考訳）: 検証可能な報酬を伴う強化学習は、大規模言語モデルのためのスケーラブルなポストトレーニングパラダイムとなっている。 しかし、長期的相互作用に対するトレーニングエージェントは、ターンレベルのクレジット代入がスパースかつ高分散化される端末報酬のみを使用することで、固定ロールアウトバッチのシーケンシャルなミニバッチ更新は、現在のポリシーが行動方針から逸脱するにつれて、ポリシーの安定化をもたらす。 既存のアプローチは、学習した批評家、プロセス報酬モデル、あるいはオンライン蒸留を通じてより深い信用を得るが、それらは価値ネットワーク、ステップレベルのアノテーション、あるいはトレーニングの複雑さを増大させる強力な外部教師に依存している。 一方、重要サンプリングとクリッピングはポリシーのドリフトを緩和するが、逐次更新をオーバーシュートから停止する有限ターゲットは指定しない。 本研究では,長距離エージェント強化学習のための,批判のない,木を意識した後部自己蒸留フレームワークであるTreeOPSDを紹介する。 各インタラクションをツリーノードとして扱うことで、TreeOPSDは共有プレフィックスからの代替の継続を分岐し、端末報酬を暗黙のターンレベルクレジットに再帰的にバックアップする。 すると、各クレジットを凍結行動ポリシーに対する確率比でパラメータ化された閉形式の有界教師分布にマッピングする。 この教師と学生政策のばらつきを最小化することは、一連のミニバッチにまたがる有限目標に向けて更新をバウンディングしながら、行動方針における接点としての政策段階的な方向性を回復させる。 実験的に、TreeOPSDはいくつかの競合ベンチマークやモデルスケール、特に長距離タスクにおいてエージェント能力を改善し、例えば、Deep ResearchのGRPOよりもQwen3-30B-A3B-Thinking-2507の平均精度を4.97ポイント向上させた。

関連論文リスト

• Hierarchical Time-aware Bootstrapping for Off-Policy Subgoal Value Learning [3.805976359799901]
  HIROは、サブゴールレバーベリングを通じてリプレイデータを適応するが、ラベルの変更後、値更新はサブゴールではなく、レバーベリングされたサブゴールをターゲットにする。 本稿では,タスク報酬の蓄積を維持しつつ,現在の低レベル政策の下で特定サブゴールを評価する階層型時間対応ブートストラッピングを提案する。
  論文  参考訳（メタデータ） (2026-10-04T18:33:23Z)
• SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation [24.836022752759035]
  検証可能な報酬付き強化学習(RLVR)は,様々なタスクにおいて大規模言語モデル(LLM)を改善するための標準パラダイムとなっている。 我々は,自己指導型政策最適化(SIPO)と対照的な自己指導型政策最適化(SIPO)を提案する。
  論文  参考訳（メタデータ） (2026-09-29T05:15:41Z)
• ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning [53.48426046511836]
  検証可能な報酬(RLVR)からの強化学習は、複数のポリシー更新のロールアウトを頻繁に再利用する。 本稿では,クリッピングをスムーズな2分岐シーケンスレベルカーネルに置き換えるReSPO(Reshaped Sequence Policy Optimization)を提案する。 本研究では,ReSPO が早期訓練中に長い肯定的推論軌道から効果的に学習できることを実証する。
  論文  参考訳（メタデータ） (2026-09-28T15:38:29Z)
• Multi-step Proximal Policy Improvement in Offline Reinforcement Learning [15.88392414749782]
  我々は,選択された幾何学的幾何を持つ確率多様体としてポリシーをモデル化することで,オフラインアクター更新の幾何学的ビューを開発する。 逐次的再集中型近位ステップを構成するプラグイン改良機構であるMPI(Multi-step proximal Policy Improvement)を提案する。 MPIは、データセットのサポートを超えて、各リファインメントにおける近位制御を維持しながら、コントロールポリシーの改善を可能にする。
  論文  参考訳（メタデータ） (2026-09-03T13:37:39Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
  強化学習は、教師付き学習よりも構造的に難しい。 本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
  論文  参考訳（メタデータ） (2026-05-12T16:44:47Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。