論文の概要: Hierarchical Time-aware Bootstrapping for Off-Policy Subgoal Value Learning
- arxiv url: http://arxiv.org/abs/2610.05446v1
- Date: Sun, 04 Oct 2026 18:33:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 13:48:54.428275
- Title: Hierarchical Time-aware Bootstrapping for Off-Policy Subgoal Value Learning
- Title（参考訳）: オフ・ポリティカル・サブゴナル・バリュー学習のための階層的時間認識型ブートストラップ
- Abstract要約: HIROは、サブゴールレバーベリングを通じてリプレイデータを適応するが、ラベルの変更後、値更新はサブゴールではなく、レバーベリングされたサブゴールをターゲットにする。
本稿では,タスク報酬の蓄積を維持しつつ,現在の低レベル政策の下で特定サブゴールを評価する階層型時間対応ブートストラッピングを提案する。
- 参考スコア（独自算出の注目度）: 3.805976359799901
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Off-policy hierarchical reinforcement learning must estimate the values of high-level decisions while the low-level policy changes. HIRO adapts replay data through subgoal relabeling, but after a label change, the value update targets the relabeled subgoal instead of the subgoal the high-level policy originally needed to update. We propose Hierarchical Time-aware Bootstrapping (HTB), which evaluates specified subgoals under the current low-level policy while retaining accumulated task rewards. Remaining execution time distinguishes subgoal continuation from a new high-level decision. Together with primitive-action conditioning, it enables off-policy Bellman updates based on the stationary environment transition law. HTB combines these one-step updates with multi-step suffix returns and truncated relabeling, reducing dependence on intermediate value estimates. A shared value component supports learning across actions, while nonnegative residuals constrain upward corrections relative to that component. At a fixed mixture weight of 0.95, HTB achieves 32.8% AntFall success versus 9.6% for matched local HIRO over five paired seeds at 10M environment steps. Ablations identify contributions from recursive continuation and mixed supervision; fixed-policy tests show more accurate predictions for actions whose returns were excluded from fitting.
- Abstract（参考訳）: 政治的非階層的な強化学習は、低レベルの政策が変化している間に、高レベルの決定の価値を見積もる必要がある。
HIROは、サブゴールレバーベリングを通じてリプレイデータを適応するが、ラベル変更後、値更新はサブゴールではなく、レバーベリングされたサブゴールをターゲットにする。
本稿では,階層型時間対応ブートストラッピング(HTB)を提案する。
残り実行時間は、新しいハイレベルな決定とサブゴナルな継続を区別する。
プリミティブ・アクション・コンディショニングと合わせて、定常環境遷移法に基づく非政治的なベルマン更新を可能にする。
HTBは、これらのワンステップ更新とマルチステップの接尾辞リターンと切り離されたレバーベリングを組み合わせることで、中間値推定への依存を減らす。
共有値コンポーネントはアクション間の学習をサポートし、非負残差はそのコンポーネントに対して上向きの補正を制約する。
固定混合重量0.95では、HTBは32.8%のAntFallを成功させ、10M環境段階の5対の種子に対してマッチした局所HIROの9.6%を達成している。
アブレーションは再帰的継続と混合監視からの貢献を識別し、固定政治テストは、リターンが適合から除外されたアクションに対してより正確な予測を示す。
関連論文リスト
- Role-Adaptive Policy Optimization for Offline Reinforcement Learning [15.88392414749782]
オフライン強化学習における政策規則化は、不確実な価値推定に依存することに対する政策改善のバランスをとる。
本稿では,役割適応型政策最適化(RAPO, Role-Adaptive Policy Optimization)を提案する。
論文 参考訳（メタデータ） (2026-09-30T16:53:45Z) - Free Everywhere, Exact on Trees: PPO's Dropped Correction Buys Sample Efficiency Under Aggressive Reuse [0.0]
本研究では,各状態が正確に1つの履歴に到達した履歴インジェクティブ・ダイナミクスの下では,各状態ビジュアライゼーション比がサンプルプレフィックスに沿ったステップごとのポリシー比の積と等しいことを示す。
クリッピングが既に再利用バイアスを含んでいる場合、全会一致で行われる修正は、有害である。
論文 参考訳（メタデータ） (2026-09-30T12:41:43Z) - MeshHeal: Two-Timescale Self-Healing for Gray Failures in Decentralized LLM Agent Networks [60.95806999869478]
MeshHealは、完全に分散化された自己修復フレームワークである。
能力にマッチしたピアレビューを2つのタイムスケールに分けている。
1タスクあたり51kのトータルモデルトークンを使用して0.839の劣化位相精度を達成し、最強のベースラインでは1タスクあたり115kの0.807の精度を達成した。
論文 参考訳（メタデータ） (2026-09-24T04:29:37Z) - Granularity-Adaptive Credit Assignment for Long-Horizon LLM Agent Reinforcement Learning [7.885980895039013]
我々は、正しい解決法は国家に依存していると論じ、不確実性に基づく臨界性プロキシに従って粒度が続く批判のない推定器であるGACAを提案する。
GACAは、自己のロールアウトがすでに記録している負のログライクな記録によって各ステップをスコアし、そのスコアで成長するステップ毎の重みと2つのアドバンテージをブレンドする。
ALFWorldとWebShopでは、GACAはGRPOとGiGPOよりも1.5Bと7Bのスケールでタスクの成功を改善する。
論文 参考訳（メタデータ） (2026-09-11T04:19:44Z) - Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
強化学習は、教師付き学習よりも構造的に難しい。
本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
論文 参考訳（メタデータ） (2026-05-12T16:44:47Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - Bayesian Conservative Policy Optimization (BCPO): A Novel Uncertainty-Calibrated Offline Reinforcement Learning with Credible Lower Bounds [1.2183405753834562]
オフライン強化学習(RL)は、ログ化された遷移の固定バッチから決定ポリシーを学ぶことを目的としている。
本稿では,不確実性を即興的に保守的な政策改善に変換する統一的な枠組みであるEmphBayesian conservative Policy Optimization (BCPO)を提案する。
BCPOは環境/価値モデルよりも階層的なベイズ的後縁を維持し、アクション値に基づいてエンフレッシブルな下界(LCB)を構築し、明示的なKL正規化の下でポリシー更新を行う。
論文 参考訳（メタデータ） (2026-03-06T01:46:02Z) - Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
VGPOは時間次元とグループ次元の両方で値の推定を再定義する。
スパース端末の報酬を密度の高いプロセス認識値推定に変換する。
標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
論文 参考訳（メタデータ） (2025-12-13T16:31:26Z) - Relative Entropy Pathwise Policy Optimization [66.03329137921949]
そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。
安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
論文 参考訳（メタデータ） (2025-07-15T06:24:07Z) - Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。
本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。
この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
論文 参考訳（メタデータ） (2021-10-12T17:05:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。