論文の概要: Steering Generative Reinforcement Learning into Stable Robotic Controller

• arxiv url: http://arxiv.org/abs/2606.16572v1
• Date: Mon, 15 Jun 2026 11:16:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 18:36:05.056096
• Title: Steering Generative Reinforcement Learning into Stable Robotic Controller
• Title（参考訳）: 安定ロボット制御系におけるステアリング生成強化学習
• Authors: Yixuan Wang, Shutong Ding, Ke Hu, Tianxiang Gui, Jingya Wang, Ye Shi,
• Abstract要約: SteerGenPOは、トレーニングされた生成ポリシーを堅牢な決定論的ロボットコントローラに操る、潜在空間強化学習フレームワークである。 我々は6つのIsaac LabベンチマークとUnitree G1ロコモーションタスクでSteerGenPOを評価した。
• 参考スコア（独自算出の注目度）: 40.70263465163786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion and flow-based generative policies provide a powerful policy class for reinforcement learning by inducing rich stochastic exploration through iterative action generation. However, the stochasticity of diffusion policies is not suitable for stable and precise control in high-dimensional robotic systems, where small action variations can accumulate into inconsistent motion and reduced robustness. To address this issue, we propose SteerGenPO, a latent-space reinforcement learning framework that steers a trained generative policy into a robust deterministic robotic controller. The key idea is to replace stochastic latent sampling of the trained generative policy with a learned latent actor that predicts a state-dependent latent input for the generative policies. This separates exploration and control: stochastic generative sampling provides diverse action proposals during policy learning, while deterministic latent steering provides stable and adaptive control at deployment. We evaluate SteerGenPO on six Isaac Lab benchmarks and a Unitree G1 locomotion task. The results show SteerGenPO improves over both classical RL and generative RL baselines, while its deterministic latent steering produces more stable inference-time behaviors and more reliable command responses.
• Abstract（参考訳）: 拡散とフローに基づく生成ポリシーは、反復行動生成を通じてリッチ確率探索を誘導することにより強化学習のための強力なポリシークラスを提供する。 しかし、高次元ロボットシステムでは、小さな動作の変動が不整合運動に蓄積され、ロバスト性が低減されるため、拡散ポリシーの確率性は安定かつ精密な制御には適さない。 この問題に対処するため、我々は、トレーニングされた生成ポリシーを堅牢な決定論的ロボットコントローラに操る潜在空間強化学習フレームワークであるSteerGenPOを提案する。 鍵となる考え方は、訓練された生成ポリシーの確率的潜時サンプリングを、生成ポリシーに対する状態依存潜時入力を予測する学習潜時アクターに置き換えることである。 確率的生成的サンプリングは、ポリシー学習中に多様なアクション提案を提供するが、決定論的潜在的ステアリングは、デプロイ時に安定かつ適応的な制御を提供する。 我々は6つのIsaac LabベンチマークとUnitree G1ロコモーションタスクでSteerGenPOを評価した。 その結果、SteerGenPOは古典的RLベースラインと生成的RLベースラインの両方を改良し、決定論的潜在的ステアリングはより安定な推論時挙動とより信頼性の高いコマンド応答を生成することがわかった。

関連論文リスト

• Deep Reinforcement Learning for Robotic Manipulation under Distribution Shift with Bounded Extremum Seeking [42.278434352794676]
  強化学習はロボット操作において高い性能を示してきたが、テスト条件がトレーニング分布と異なる場合、学習ポリシーは性能が低下することが多い。 この制限は、特にプッシュ・アンド・ピック・アンド・プレイス(push and pick-and-place)のような、目標の変化、接触条件の変化、あるいはロボットのダイナミクスによって、推論時にシステムのアウト・オブ・ディストリビューションを駆動できるような、コンタクトリッチなタスクにおいて重要である。 本稿では,これらの条件下での堅牢性向上を図るために,強化学習と有界極限を組み合わせたハイブリッドコントローラについて検討する。
  論文  参考訳（メタデータ） (2026-04-01T16:59:01Z)
• Controllable Exploration in Hybrid-Policy RLVR for Multi-Modal Reasoning [88.42566960813438]
  CalibRLは、制御可能な探索と専門家のガイダンスをサポートするハイブリッド政治RLVRフレームワークである。 CalibRLは政策エントロピーを誘導的に増加させ、目標分布を明らかにする。 ドメイン内設定とドメイン外設定の両方を含む8つのベンチマークの実験は、一貫した改善を示している。
  論文  参考訳（メタデータ） (2026-02-22T07:23:36Z)
• Efficiently Learning Robust Torque-based Locomotion Through Reinforcement with Model-Based Supervision [14.246416873754905]
  モデルに基づく二足歩行と残留強化学習を統合した制御フレームワークを提案する。 提案手法は, ランダム化条件におけるロバスト性の向上と一般化を実証する。
  論文  参考訳（メタデータ） (2026-01-22T16:56:52Z)
• On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning [61.38273866396522]
  ビジョン・ランゲージ・アクションモデルが汎用ロボット学習の強力なパラダイムとして登場した。 現在の手法は、シミュレーションや物理世界の展開に挑戦するには相変わらず適していない。 本稿では,VLA フレームワークのテスト時間強化学習について紹介する。
  論文  参考訳（メタデータ） (2026-01-11T01:51:30Z)
• Integrating DeepRL with Robust Low-Level Control in Robotic Manipulators for Non-Repetitive Reaching Tasks [0.24578723416255746]
  ロボット工学では、現代の戦略は学習に基づくもので、複雑なブラックボックスの性質と解釈可能性の欠如が特徴である。 本稿では, 深部強化学習(DRL)に基づく衝突のない軌道プランナと, 自動調整型低レベル制御戦略を統合することを提案する。
  論文  参考訳（メタデータ） (2024-02-04T15:54:03Z)
• Training and Evaluation of Deep Policies using Reinforcement Learning and Generative Models [67.78935378952146]
  GenRLはシーケンシャルな意思決定問題を解決するためのフレームワークである。 強化学習と潜在変数生成モデルの組み合わせを利用する。 最終方針訓練の性能に最も影響を与える生成モデルの特徴を実験的に決定する。
  論文  参考訳（メタデータ） (2022-04-18T22:02:32Z)
• Robust Deep Reinforcement Learning for Quadcopter Control [0.8687092759073857]
  本研究では、ロバスト・マルコフ決定プロセス(RMDP)を用いてドローン制御ポリシーを訓練する。 それは、ある環境から別の環境への政策移行の間の潜在的なギャップを扱うための悲観的な最適化を選択する。 訓練された制御ポリシーは、クワッドコプターの位置制御のタスクでテストされる。
  論文  参考訳（メタデータ） (2021-11-06T16:35:13Z)
• Robust Reinforcement Learning using Adversarial Populations [118.73193330231163]
  強化学習(Reinforcement Learning, RL)は、コントローラ設計に有効なツールであるが、堅牢性の問題に対処できる。 一つの逆数を使うことは、逆数の標準的なパラメトリゼーションの下での動的変動に一貫して堅牢性をもたらすわけではないことを示す。 本稿では,ロバスト RL の定式化に対する人口ベース増進法を提案する。
  論文  参考訳（メタデータ） (2020-08-04T20:57:32Z)
• Evolutionary Stochastic Policy Distillation [139.54121001226451]
  本稿では,GCRS課題を解決するための進化的政策蒸留法(ESPD)を提案する。 ESPDは、政策蒸留(PD)技術により、ターゲットポリシーを一連の変種から学習することを可能にする MuJoCo制御系に基づく実験により,提案手法の学習効率が向上した。
  論文  参考訳（メタデータ） (2020-04-27T16:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。