論文の概要: Sufficiency of Zeroth-Order Reward Shaping for Policy Gradient in Stabilization Control

• arxiv url: http://arxiv.org/abs/2609.34695v1
• Date: Mon, 28 Sep 2026 09:15:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 03:40:35.966208
• Title: Sufficiency of Zeroth-Order Reward Shaping for Policy Gradient in Stabilization Control
• Title（参考訳）: 安定化制御における政策グラディエントに対するゼロ次リワード整形の有効性
• Abstract要約: 本研究では,0階目(設定)と1階目(速度)の情報に着目し,安定化制御問題について検討する。 報奨関数は、目標関連座標よりもゼロ次完全でなければならないが、低散逸仮定の下では、第一次状態は依然として必要である。
• 参考スコア（独自算出の注目度）: 20.199020529612326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reward shaping is fundamental to modern robotic control with deep reinforcement learning (RL), yet practitioners still rely heavily on heuristic principles borrowed from classical optimal control and trajectory optimization. Existing methods rarely distinguish reward terms that are intrinsic to the control objective from numerical regularizers, leading to brittle hyperparameter tuning. To determine which quantities a reward must contain, we study the stabilization control problem with a focus on zeroth-order (configuration) and first-order (velocity) information. We theoretically and empirically demonstrate that policy gradient methods can successfully solve stabilization tasks without first-order reward terms, adding such terms can instead introduce severe sensitivity as their scale grows. Conversely, our findings confirm that reward functions must be zeroth-order complete over goal-relevant coordinates, while the first-order state remains necessary in the policy observation under our low-dissipation assumptions. Overall, these results provide actionable and principled guidance for reward design in robotic RL.
• Abstract（参考訳）: リワード整形は、深層強化学習(英語版)(RL)による近代的なロボット制御の基礎であるが、実践者は依然として古典的な最適制御と軌道最適化から借用されたヒューリスティックな原理に大きく依存している。 既存の手法では、制御対象に固有の報酬項を数値正規化器と区別することは滅多になく、不安定なハイパーパラメータチューニングに繋がる。 報酬がどの量を含む必要があるかを決定するため、ゼロ次(設定)と1次(速度)の情報に焦点をあてて安定化制御問題を考察する。 理論的かつ実証的に、政策勾配法は1次報酬項を使わずに安定化タスクを解くことができ、その代わりに、その規模が大きくなるにつれて、重度の感度を導入することができる。 逆に,報奨関数は目標関連座標よりもゼロ次完全であることが確認され,一方,低散逸仮定の下での政策観察には1次状態が依然として必要である。 全体として、これらの結果はロボットRLにおける報酬設計のための実用的で原則化されたガイダンスを提供する。

関連論文リスト

• Robust Validation to Geometric Perturbations for Autonomous Pose Estimation [0.8062121966457854]
  視覚に基づくナビゲーションと自律着陸では、機械学習コンポーネントは動的操作条件下で厳格な検証を必要とする。 標準勾配に基づくポーズ推定は、ポーズ推定に失敗し、しばしば単純なランダムサンプリングベースラインよりも悪いパフォーマンスを示す。 我々はGLO(Global Lipschitzian)におけるロバストネス推定を再構成する。 これは、幾何学的検証を連続キーポイント回帰とディープオブジェクト検出に拡張する最初の研究である。
  論文  参考訳（メタデータ） (2026-08-21T13:08:37Z)
• Uncertainty-Aware LLM-Guided Policy Shaping for Sparse-Reward Reinforcement Learning [2.384534878752428]
  校正された大言語モデルを強化学習訓練ループに統合するフレームワークである,不確実性を考慮した LLM-Guided Policy Shaping (ULPS) を提案する。 ULPS は A* ベースのオラクルを用いて最適な記号軌道を合成し、BERT ベースの言語モデルを微調整する。 成功率、報酬効率、サンプルの複雑さを、無誘導、非校正、標準のRLベースラインで一貫した改善を観察する。
  論文  参考訳（メタデータ） (2026-06-04T19:46:45Z)
• Soft Deterministic Policy Gradient with Gaussian Smoothing [6.622208195193136]
  我々は、滑らかなベルマン方程式を用いて、ソフト決定論的政策勾配(Soft-DPG)を導出する。 我々はこの枠組みを深層強化学習アルゴリズムにインスタンス化し、ソフトディープ決定主義政策勾配(Soft DDPG)と呼ぶ。
  論文  参考訳（メタデータ） (2026-05-07T13:21:01Z)
• ADARL: Adaptive Low-Rank Structures for Robust Policy Learning under Uncertainty [28.291179179647795]
  我々は、ロバスト性を改善する二段階最適化フレームワークであるtextbfAdaptive Rank Representation (AdaRL) を提案する。 下位レベルでは、AdaRLは、センチュロイドモデルの周りにあるワッサーシュタイン球からサンプリングされた力学を用いて、固定ランク制約の下でポリシー最適化を行う。 上層では、偏微分トレードオフのバランスをとるためにランクを適応的に調整し、ポリシーパラメータを低階多様体に投影する。
  論文  参考訳（メタデータ） (2025-10-13T20:05:34Z)
• Rediscovering Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning [55.59724323303857]
  本稿では,3つのコンポーネントによる探索と利用のバランスをとるフレームワークを提案する。 複数の数学的推論ベンチマークの実験は、AERが一貫してベースラインを上回り、推論精度と探索能力の両方を改善していることを示している。
  論文  参考訳（メタデータ） (2025-10-13T03:10:26Z)
• Distributionally Robust Control with End-to-End Statistically Guaranteed Metric Learning [5.309590159815129]
  我々は、新しいエンドツーエンド有限ホライズン・ワッサーシュタイン DRC フレームワークを提案する。 これは、異方性ワッサースタインメトリクスの学習と下流制御タスクを閉ループ方式で統合する。 提案手法は,最先端手法と比較して,クローズドループ性能とロバスト性に優れることを示す。
  論文  参考訳（メタデータ） (2025-10-11T13:40:49Z)
• Learning Optimal Deterministic Policies with Stochastic Policy Gradients [62.81324245896716]
  政策勾配法(PG法)は連続強化学習(RL法)問題に対処する手法として成功している。 一般的には、収束(ハイパー)政治は、決定論的バージョンをデプロイするためにのみ学習される。 本稿では,サンプルの複雑性とデプロイされた決定論的ポリシのパフォーマンスのトレードオフを最適化するために,学習に使用する探索レベルの調整方法を示す。
  論文  参考訳（メタデータ） (2024-05-03T16:45:15Z)
• Actor-Critic based Improper Reinforcement Learning [61.430513757337486]
  我々は,未知のマルコフ決定プロセスに対して,学習者に100万ドルのベースコントローラを付与する不適切な強化学習環境を考える。 本稿では,(1)ポリシーグラディエントに基づくアプローチ,(2)単純なアクター・クリティカル・スキームとNatural Actor-Criticスキームを切り替えるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-19T05:55:02Z)
• Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
  未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。 制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T14:53:55Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。