論文の概要: Fast Regularized Policy Mirror Descent with One-Step TD Updates

• arxiv url: http://arxiv.org/abs/2609.39837v1
• Date: Wed, 30 Sep 2026 14:33:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.895562
• Title: Fast Regularized Policy Mirror Descent with One-Step TD Updates
• Title（参考訳）: ワンステップTD更新による高速規則化政策鏡の撮影
• Abstract要約: 政策ミラー降下(PMD)は、正規化マルコフ決定過程(MDP)における高速収束を享受する 時間差 (TD) を1回更新し, 持続的批判を伴ってPMDを解析した。 我々のサンプル複雑度保証は、軌道リセット、生成モデルアクセス、ネストされたポリシー評価ループなしで保持できる。
• 参考スコア（独自算出の注目度）: 3.4173456717058084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Policy mirror descent (PMD) enjoys fast convergence in regularized Markov decision processes (MDPs), but existing guarantees often rely on exact or increasingly accurate policy evaluation. We analyze PMD coupled with a persistent critic advanced by one temporal-difference (TD) update. For finite discounted MDPs, we establish global linear convergence in value for exact coordinate-wise Bellman updates, with any positive constant actor stepsize and arbitrary finite critic initialization. The proof combines a resolvent-based auxiliary distribution with a decaying Bellman-violation correction and a potential weighted by inverse coordinate weights. We then study stochastic TD-PMD with general strongly convex mirror maps under a single off-policy Markov trajectory. With suitably chosen constant stepsizes and a finite-batch TD update, the method achieves an expected value gap of $ε$ after $\widetilde{O}(1/((1-γ)^5 \widetildeσ_b ε))$ transitions. The stochastic analysis relies on the trajectory-wise Lipschitz continuity of the regularizer, derived from uniform bounds on vertex Bregman divergences, together with a visitation-weighted resolvent estimate for signed critic-error propagation that yields an inverse-linear dependence on behavior coverage $\widetildeσ_b$. In contrast to many prior guarantees for regularized policy optimization, our sample-complexity guarantee holds without trajectory resets, generative-model access, or nested policy-evaluation loops. Numerical results are consistent with the theoretical convergence analysis.
• Abstract（参考訳）: 政策ミラー降下(PMD)は、規則化されたマルコフ決定プロセス(MDP)において急速に収束するが、既存の保証は、正確な、あるいはより正確な政策評価に依存していることが多い。 時間差 (TD) を1回更新し, 持続的批判を伴ってPMDを解析した。 有限割引 MDP に対して、正の定数アクターのステップサイズと任意の有限批判初期化を伴い、正確な座標ワイドベルマン更新に対する大域的線形収束値を確立する。 この証明は、分解剤をベースとした補助分布と、崩壊するベルマン振動補正と、逆座標重みによって重み付けられたポテンシャルを組み合わせたものである。 次に, 一般凸鏡写像を用いた確率的TD-PMDを, 1つのオフポリチ・マルコフ軌道の下で研究する。 適度に選択された定数のステップ化と有限バッチのTD更新により、この方法は$\widetilde{O}(1/((1-γ)^5 \widetildeσ_b ε))$transitionsの後、$ε$の期待値ギャップを達成できる。 確率論的解析は、正則化器の軌道方向のリプシッツ連続性(英語版)に依存し、これは頂点ブレグマンの発散点上の一様境界から導かれるものであり、符号付き批判・エラー伝播に対する訪問重み付き分解試薬の推定は、振る舞いのカバレッジに逆線形に依存する$\widetildeσ_b$である。 規則化されたポリシー最適化に対する多くの以前の保証とは対照的に、我々のサンプル複雑性保証は軌道リセット、生成モデルアクセス、ネストされたポリシー評価ループなしで保持される。 数値計算結果は理論収束解析と一致している。

関連論文リスト

• Unregularized Convergence of Single-Loop, Entropy-Regularized Natural Actor-Critic [3.756550107432323]
  エントロピー正則化は自然政策勾配法の安定化と加速に広く用いられている。 我々は1ループのエントロピー規則化自然アクター・クライトを解析する。 非中心的な批評家を訓練することで、トレーニング方針が決定論に近づいたとしても、我々の批判的追跡は安定し続けることができる。
  論文  参考訳（メタデータ） (2026-08-20T03:08:33Z)
• Distributional Soft Bellman Operator under the Cramér Geometry [19.762345326138536]
  本稿では,DSPIの政策評価ステップに関連する,クラメール幾何学的ベルマンの不動点について検討する。 これは、DSPIスタイルのアルゴリズムにおいて、近似批評家、評価誤差、および批判損失設計を研究するための基準点を提供する。
  論文  参考訳（メタデータ） (2026-07-20T12:44:30Z)
• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• A Single Deep Preference-Conditioned Policy for Learning Pareto Coverage Sets [0.4369550829556578]
  非線形スカラー化下での優先-解決対応の特異性と連続性について検討した。 この問題を解決するために,スムーズなTchebycheffスカラー化を単調な効用として用いた。 各更新は、以前のポリシーを参考に、Kullback-Leibler-regularized MDPの解決と等価であることを示す。
  論文  参考訳（メタデータ） (2026-05-09T13:35:50Z)
• Stopping Rules for Stochastic Gradient Descent via Anytime-Valid Confidence Sequences [51.56484100374058]
  凸最適化のための勾配降下(SGD)の停止規則について検討した。 我々は、投影されたSGDの重み付き平均準最適度に対して、任意の有意、データ依存の高信頼シーケンスを開発する。 これらは、厳格でタイムユニフォームなパフォーマンス保証と、有限時間$varepsilon$-optimality証明書である。
  論文  参考訳（メタデータ） (2025-12-15T09:26:45Z)
• Last Iterate Convergence in Monotone Mean Field Games [24.486052525745574]
  平均場ゲーム(MFG)は、無限個のエージェント間の相互作用をモデル化する。 既存のアルゴリズムは厳密な単調性を必要とするか、平均的な反復の収束を保証するだけである。 本稿では,少数のMDステップによるPP更新を概ね実装した近似プロキシ・ポイント(mathtAPP$)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-07T15:28:18Z)
• A Finite-Sample Analysis of an Actor-Critic Algorithm for Mean-Variance Optimization in a Discounted MDP [1.0923877073891446]
  政策評価のために線形関数近似(LFA)を用いた時間差分学習アルゴリズムを解析する。 我々は、(i) を平均二乗の意味で保持し、(ii) を尾の反復平均化の下で高い確率で導く有限サンプル境界を導出する。 これらの結果は、強化学習におけるリスクに敏感なアクター批判法に対する有限サンプル理論的保証を確立する。
  論文  参考訳（メタデータ） (2024-06-12T05:49:53Z)
• Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
  本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:15:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。