論文の概要: Global Convergence of Policy Gradient for Entropy Regularized Linear-Quadratic Control with multiplicative noise

• arxiv url: http://arxiv.org/abs/2510.02896v1
• Date: Fri, 03 Oct 2025 11:03:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.356088
• Title: Global Convergence of Policy Gradient for Entropy Regularized Linear-Quadratic Control with multiplicative noise
• Title（参考訳）: 乗法雑音を考慮したエントロピー正規化線形数値制御のためのポリシー勾配の大域的収束
• Authors: Gabriel Diaz, Lucky Li, Wenhao Zhang,
• Abstract要約: 強化学習(Reinforcement Learning, RL)は、動的環境におけるシーケンシャルな意思決定のための強力なフレームワークとして登場した。 本稿では,RLを用いたエントロピー規則化クアドラ(LQC)の制御について検討する。 サンプルベース正規化ポリシーグラディエント(SBRPG)という新しいモデル自由RLアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 7.339958589013675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning (RL) has emerged as a powerful framework for sequential decision-making in dynamic environments, particularly when system parameters are unknown. This paper investigates RL-based control for entropy-regularized Linear Quadratic control (LQC) problems with multiplicative noises over an infinite time horizon. First, we adapt the Regularized Policy Gradient (RPG) algorithm to stochastic optimal control settings, proving that despite the non-convexity of the problem, RPG converges globally under conditions of gradient domination and near-smoothness. Second, based on zero-order optimization approach, we introduce a novel model free RL algorithm: Sample-Based Regularized Policy Gradient (SB-RPG). SB-RPG operates without knowledge of system parameters yet still retains strong theoretical guarantees of global convergence. Our model leverages entropy regularization to accelerate convergence and address the exploration versus exploitation trade-off inherent in RL. Numerical simulations validate the theoretical results and demonstrate the efficacy of SB-RPG in unknown-parameters environments.
• Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)は、特にシステムパラメータが不明な場合に、動的環境におけるシーケンシャルな意思決定のための強力なフレームワークとして登場した。 本稿では、無限時間地平線上の乗法雑音を伴うエントロピー規則化線形二次制御(LQC)問題に対するRLに基づく制御について検討する。 まず、正規化ポリシー勾配(RPG)アルゴリズムを確率論的最適制御設定に適用し、問題の非凸性にもかかわらず、RPGは勾配支配とほぼ平滑な条件下で世界中に収束することを示した。 第2に、ゼロオーダー最適化アプローチに基づいて、サンプルベース正規化ポリシー勾配(SB-RPG)という新しいモデル自由RLアルゴリズムを導入する。 SB-RPGは、システムパラメータの知識がなくても動作するが、大域収束の強い理論的保証を保っている。 我々のモデルはエントロピー正則化を利用して収束を加速し、RL固有のエクスプロイトトレードオフに対する探索に対処する。 数値シミュレーションにより, 未知パラメータ環境におけるSB-RPGの有効性が検証された。

関連論文リスト

• Full error analysis of policy gradient learning algorithms for exploratory linear quadratic mean-field control problem in continuous time with common noise [0.0]
  政策勾配学習(PG)について検討し,まずモデルベース環境での収束を実証する。 モデルフリー環境では,2点勾配推定を用いたPGアルゴリズムの線形収束とサンプル複雑性を大域的に証明する。 この設定では、パラメータ化された最適ポリシーは、状態と人口分布のサンプルから学習される。
  論文  参考訳（メタデータ） (2024-08-05T14:11:51Z)
• Sublinear Regret for a Class of Continuous-Time Linear-Quadratic Reinforcement Learning Problems [10.404992912881601]
  拡散に対する連続時間線形四元数(LQ)制御のクラスに対する強化学習(RL)について検討した。 モデルパラメータの知識にも,その推定にも依存しないモデルフリーアプローチを適用し,RLアルゴリズムを設計して,適切なポリシパラメータを直接学習する。
  論文  参考訳（メタデータ） (2024-07-24T12:26:21Z)
• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• Efficiently Training Deep-Learning Parametric Policies using Lagrangian Duality [55.06411438416805]
  制約付きマルコフ決定プロセス(CMDP)は、多くの高度な応用において重要である。 本稿では,パラメトリックアクターポリシーを効率的に訓練するための2段階深度決定規則(TS-DDR)を提案する。 現状の手法と比較して, 解の質を高め, 数桁の計算時間を削減できることが示されている。
  論文  参考訳（メタデータ） (2024-05-23T18:19:47Z)
• Optimal scheduling of entropy regulariser for continuous-time linear-quadratic reinforcement learning [9.779769486156631]
  ここで、エージェントは最適な緩和ポリシーに従って分散されたノイズ制御を生成することで環境と相互作用する。 この探索-探索トレードオフはエントロピー正則化の強さによって決定される。 どちらの学習アルゴリズムも、$mathcalO(sqrtN)$(対数係数まで)を$N$のエピソードよりも高く、文献から最もよく知られた結果と一致することを証明している。
  論文  参考訳（メタデータ） (2022-08-08T23:36:40Z)
• Gaussian Process-based Min-norm Stabilizing Controller for Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
  本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。 この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
  論文  参考訳（メタデータ） (2020-11-14T01:27:32Z)
• CRPO: A New Approach for Safe Reinforcement Learning with Convergence Guarantee [61.176159046544946]
  安全強化学習(SRL)問題では、エージェントは期待される全報酬を最大化し、一定の制約の違反を避けるために環境を探索する。 これは、大域的最適ポリシーを持つSRLアルゴリズムの最初の分析である。
  論文  参考訳（メタデータ） (2020-11-11T16:05:14Z)
• Adaptive Control and Regret Minimization in Linear Quadratic Gaussian (LQG) Setting [91.43582419264763]
  我々は不確実性に直面した楽観主義の原理に基づく新しい強化学習アルゴリズムLqgOptを提案する。 LqgOptはシステムのダイナミクスを効率的に探索し、モデルのパラメータを信頼区間まで推定し、最も楽観的なモデルのコントローラをデプロイする。
  論文  参考訳（メタデータ） (2020-03-12T19:56:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。