論文の概要: Iterative Gumbel Planning for Continuous Control
- arxiv url: http://arxiv.org/abs/2611.02236v1
- Date: Sun, 01 Nov 2026 21:52:23 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:28:15.367316
- Title: Iterative Gumbel Planning for Continuous Control
- Title（参考訳）: 継続的制御のための反復ガンベル計画
- Abstract要約: 連続ガウスへの入賞者反応蒸留は,テキスト投影誤差と段階的に拡大する勾配傾向を誘導することを示した。
我々は,検索候補と自然に政策支援を整合させるテキストbfIterative Gumbel Planning (IGP)を提案する。
IGPはDMControlおよびHuoidBench上で最先端の集約性能とサンプル効率を達成する。
- 参考スコア（独自算出の注目度）: 49.82882141491629
- License:
- Abstract: Search-based planning remains a powerful policy improvement paradigm in reinforcement learning, driving milestone successes in discrete domains. However, extending this paradigm to continuous control exposes a structural mismatch: search evaluates a finite set of action candidates, whereas continuous RL typically relies on Gaussian policies. We show that winner-action distillation into a continuous Gaussian induces a \textit{projection error} and a stepwise variance-expanding gradient tendency when the selected action is sufficiently far from the current mean. Empirically, this tendency is associated with elevated terminal variance and a return gap on the evaluated tasks. To address this, we propose \textbf{Iterative Gumbel Planning (IGP)}. By adopting a per-dimension factorized categorical policy, IGP naturally aligns the policy support with the search candidates, eliminating the projection error and reducing the residual approximation to a bounded discretization error. To bypass the combinatorial explosion of high-dimensional discrete action spaces, IGP pairs Gumbel Top-$K$ candidate sampling with an MPPI-style multi-round iterative search to refine the policy at each state. Empirically, IGP achieves state-of-the-art aggregate performance and sample efficiency on DMControl and HumanoidBench. Furthermore, it produces more stable action sequences with lower temporal variance, demonstrating its practical potential for real-world robotic deployment.
- Abstract（参考訳）: 検索ベースのプランニングは、強化学習における強力なポリシー改善パラダイムであり、個別のドメインでマイルストーンの成功を収めています。
しかし、このパラダイムを連続制御に拡張することは構造的ミスマッチを露呈する: 探索は有限個の作用候補を評価するが、連続RLは通常ガウスのポリシーに依存する。
連続ガウスへの入賞反応蒸留は, 選択された作用が現在の平均から十分に遠い場合に, 段階的に分散拡大勾配傾向を誘導することを示す。
経験的に、この傾向は、評価されたタスクにおける端末のばらつきの増大とリターンギャップと関連している。
そこで本稿では, IGP (textbf{Iterative Gumbel Planning) を提案する。
IGPは1次元因子化カテゴリーポリシーを採用することにより、自然に検索候補とポリシーサポートを整列し、投射誤差を排除し、残差近似を有界離散化誤差に還元する。
高次元離散作用空間の組合せ爆発を回避するために、GP対のGumbel Top-$K$候補サンプリングとMPPIスタイルの多ラウンド反復探索を併用し、各状態におけるポリシーを洗練させる。
IGPはDMControlとHumanoidBenchで最先端の集約性能とサンプル効率を実証的に達成する。
さらに、時間的変動の少ないより安定したアクションシーケンスを生成し、実世界のロボット展開の現実的な可能性を示す。
関連論文リスト
- Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。
我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。
7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
論文 参考訳（メタデータ） (2026-05-20T15:14:14Z) - Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。
制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
論文 参考訳（メタデータ） (2024-07-15T14:54:57Z) - Score-Aware Policy-Gradient and Performance Guarantees using Local Lyapunov Stability [2.180257135067774]
モデルベース強化学習(RL)のための政策段階的手法を提案する。
ネットワークにおけるマルコフ決定過程(MDP)から得られる定常分布のタイプを利用する。
我々は,SAGEに基づく政策段階が局所的に収束していることを示し,その後悔を得る。
論文 参考訳（メタデータ） (2023-12-05T14:44:58Z) - STEEL: Singularity-aware Reinforcement Learning [14.424199399139804]
バッチ強化学習(RL)は、事前収集されたデータを利用して最適なポリシーを見つけることを目的としている。
本稿では,状態空間と行動空間の両方に特異性を持たせる新しいバッチRLアルゴリズムを提案する。
悲観主義といくつかの技術的条件を利用して、提案したアルゴリズムに対する最初の有限サンプル後悔保証を導出する。
論文 参考訳（メタデータ） (2023-01-30T18:29:35Z) - On the Hidden Biases of Policy Mirror Ascent in Continuous Action Spaces [23.186300629667134]
重み付きパラメータ化の下でのポリシー勾配アルゴリズムの収束性について検討する。
我々の主要な理論的貢献は、このスキームが一定のステップとバッチサイズに収束することである。
論文 参考訳（メタデータ） (2022-01-28T18:54:30Z) - Robust and Adaptive Temporal-Difference Learning Using An Ensemble of
Gaussian Processes [70.80716221080118]
本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。
OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。
1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
論文 参考訳（メタデータ） (2021-12-01T23:15:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。