論文の概要: Wasserstein Policy Gradient for Entropy-Regularized Linear-Quadratic Control

• arxiv url: http://arxiv.org/abs/2608.07433v1
• Date: Fri, 07 Aug 2026 17:17:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.578867
• Title: Wasserstein Policy Gradient for Entropy-Regularized Linear-Quadratic Control
• Title（参考訳）: エントロピー規則化線形量子制御のためのワッサーシュタイン政策勾配
• Abstract要約: ワッサーシュタイン政策勾配(WPG)は、状態条件の行動法則を行動空間の輸送によって更新する。 エントロピー規則化されたリニアクワッドラティック(LQ)制御について検討した。
• 参考スコア（独自算出の注目度）: 7.683866416886673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wasserstein policy gradient (WPG) updates state-conditional action laws by transport in the action space. We study entropy-regularized discounted linear-quadratic (LQ) control. A Bellman verification argument shows that the unrestricted problem has a linear-Gaussian optimal policy, and the discounted-occupancy-weighted statewise Wasserstein gradient is tangent to this policy class. WPG therefore reduces exactly to a finite-dimensional ODE for the feedback gain and action covariance. We prove that this ODE is globally well posed and converges exponentially from every admissible initialization. For each fixed LQ problem, the exponent has a positive limit as the entropy temperature tends to zero and contains no perturbative factor of the form $\exp(-c/τ)$, while retaining the usual dependence on the conditioning of the control problem.
• Abstract（参考訳）: ワッサーシュタイン政策勾配(WPG)は、状態条件の行動法則を行動空間の輸送によって更新する。 エントロピー規則化されたリニアクワッドラティック(LQ)制御について検討した。 ベルマンの検証論は、制限のない問題は線形ガウス的最適ポリシーを持ち、割引された占有量重み付け状態のワッサーシュタイン勾配は、このポリシークラスに接していることを示している。 したがって、WPGはフィードバックゲインとアクション共分散に対して、正確に有限次元のODEに還元する。 我々は、このODEが全世界的によく仮定され、許容できるすべての初期化から指数関数的に収束することを証明した。 各固定 LQ 問題に対して、指数はエントロピー温度が 0 になる傾向があるため正の極限を持ち、制御問題の条件付けに通常の依存を保ちながら $\exp(-c/τ)$ という形の摂動因子を含まない。

関連論文リスト

• Global Convergence of Wasserstein Policy Gradient for Entropy-Regularized Reinforcement Learning [7.683866416886673]
  Wasserstein Policy gradient (WPG)は、強化学習のためのポリシー最適化手法である。 エントロピー規則化 RL のベルマン構造を利用して WPG に対する大域収束理論を開発する。 解析により、エントロピー正則化 RL は通常の平坦な意味では凸ではないが、ベルマン再帰は好ましいポリアック-ロジャシエヴィチ型幾何を誘導することを示した。
  論文  参考訳（メタデータ） (2026-05-25T17:42:59Z)
• A note on convergence of Wasserstein policy optimization [1.4576165959001435]
  Wasserstein Policy Optimization (WPO) は、連続的な行動空間におけるポリシーを最適化するためにWassersteinの勾配流を利用する強化学習アルゴリズムである。 エントロピー規則化されたマルコフ決定過程の枠組みにおけるWPOは線形に収束する。
  論文  参考訳（メタデータ） (2026-05-21T15:32:39Z)
• Achieve Performatively Optimal Policy for Performative Reinforcement Learning [55.983627302691424]
  本研究は,0階次FrankWolfe- (0FW) アルゴリズムを提案する。 実験結果から, 所望のPOポリシを求める場合, 既存の近似よりも0FWの方が有効であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-06T01:56:31Z)
• The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models [99.98293908799731]
  本稿では,LLMによる推論,すなわち政策エントロピーの崩壊において,RLのスケーリングの大きな障害を克服することを目的としている。 実際には、エントロピーHと下流性能Rの間の変換方程式R=-a*eH+bを確立する。 Clip-Cov と KL-Cov という2つの単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:38:45Z)
• Optimal Rates of Convergence for Entropy Regularization in Discounted Markov Decision Processes [6.415644997939936]
  マルコフ決定過程におけるエントロピー正則化による誤差について検討する。 この誤差は逆正則化強度で指数関数的に減少することを示す。 私たちは分析をエントロピーを超えた設定に拡張します。
  論文  参考訳（メタデータ） (2024-06-06T15:20:37Z)
• Entropy annealing for policy mirror descent in continuous time and space [2.8255028200738455]
  本研究では,エントロピー正則化が出口時間制御問題に対する政策手法の収束に及ぼす影響について検討する。 本稿では,真の勾配であっても,エントロピー正則化が政策最適化をどのように改善するかを説明する。
  論文  参考訳（メタデータ） (2024-05-30T17:02:18Z)
• The Role of Baselines in Policy Gradient Optimization [83.42050606055822]
  Emphstateのバリューベースラインが、オン・ポリティクスを可能にしていることを示す。 世界的な最適な政策勾配(NPG)に収束する。 O (1/t) レート勾配でのポリシー。 値ベースラインの主な効果は、その分散ではなく、更新のアグレッシブさをthabfreduceすることにある。
  論文  参考訳（メタデータ） (2023-01-16T06:28:00Z)
• Convergence of policy gradient methods for finite-horizon exploratory linear-quadratic control problems [3.8661825615213012]
  有限水平連続時間探索線形四元数制御(LQC)問題に対する政策勾配法(PG法)の大域的線形収束について検討する。 本稿では,離散時間ポリシーを持つ新しいPG法を提案する。このアルゴリズムは連続時間解析を活用し,動作周波数の異なる線形収束性を実現する。
  論文  参考訳（メタデータ） (2022-11-01T17:31:41Z)
• Global Convergence of Over-parameterized Deep Equilibrium Models [52.65330015267245]
  ディープ均衡モデル(Deep equilibrium model, DEQ)は、入射を伴う無限深度重み付きモデルの平衡点を通して暗黙的に定義される。 無限の計算の代わりに、ルートフィンディングで直接平衡点を解き、暗黙の微分で勾配を計算する。 本稿では,無限深度重み付きモデルの非漸近解析における技術的困難を克服する新しい確率的枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-27T08:00:13Z)
• Deep Learning Approximation of Diffeomorphisms via Linear-Control Systems [91.3755431537592]
  我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。 対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
  論文  参考訳（メタデータ） (2021-10-24T08:57:46Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
  我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
  論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。