論文の概要: Markovian Nonconvex ADMM for Reinforcement Learning: Bellman-Resolvent Stability Beyond Smooth Blocks
- arxiv url: http://arxiv.org/abs/2609.36859v1
- Date: Tue, 29 Sep 2026 07:03:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.254046
- Title: Markovian Nonconvex ADMM for Reinforcement Learning: Bellman-Resolvent Stability Beyond Smooth Blocks
- Title（参考訳）: 強化学習のためのマルコフ非凸ADMM:平滑ブロックを超えたベルマン分解安定性
- Abstract要約: 分解された複雑性は、製品の安定性を決定するのに使える乗算器を提供することができることを示す。
また、ディスカウントされたカバレッジは、グローバルに最適な正確なポイントをもたらすことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We identify and study a structural mechanism for Markovian nonconvex ADMM in reinforcement learning. Using finite discounted MDPs as a canonical proving ground, we show that the discounted Bellman resolvent $(I-γP_π)^{-1}$ can provide the multiplier stability that classical nonconvex ADMM analyses often obtain from a designated smooth block. Starting from this mechanism, we establish convergence under controlled Markov sampling and then under stochastic observations using an empirical Bellman surrogate that jointly represents the random residual and its Jacobian. Markov mixing, initialization drift, observation noise, and decaying bias enter as one operator perturbation, avoiding unbiased product and double sampling requirements. When the perturbations are square summable, the true KKT residual converges almost surely to zero. Under a finite conditional fourth moment condition, a companion iterate satisfies $ \mathbb{E}[\widetilde G_{K+1}] \le A/T+(B/T)\sum_{k<T}m_k^{-1}, $ which becomes $O(T^{-1}+T/N)$ for total Markov sample budget $N$, giving $O(ε^{-1})$ iteration complexity and $O(ε^{-2})$ sample complexity for squared KKT accuracy $ε$. Beyond stationarity, discounted occupancy coverage yields $J^\star-J(π)=O(\sqrt G)$ for direct tabular policies, so covered exact KKT points are globally optimal, while a statewise quadratic Bellman-improvement condition sharpens the relation to $O(G)$. Finally, nonlinear policy, projected Bellman, and explicit occupancy formulations exhibit the same chain of operator invertibility, dual representation, and multiplier stability. This supports discounted operator invertibility as a reusable structural principle for primal-dual reinforcement learning.
- Abstract（参考訳）: 強化学習におけるマルコフ非凸ADMMの構造機構の同定と検討を行った。
有限割引 MDP を標準証明場として、割引ベルマン分解剤 $(I-γP_π)^{-1}$ が、古典的非凸 ADMM 解析が指定された滑らかなブロックからしばしば得られる乗算安定性を与えることを示す。
このメカニズムから、制御されたマルコフサンプリングの下で収束を確立し、次にランダム残基とそのヤコビアンを共役的に表す経験的ベルマン代理を用いて確率的観察を行う。
マルコフ混合、初期化ドリフト、観測ノイズ、減衰バイアスは1つの演算子摂動として入力され、不偏積と二重サンプリング要求を回避する。
摂動が平方和可能であるとき、真のKKT残差はほぼ確実にゼロに収束する。
有限条件の第四モーメント条件の下では、共役イテレートは$ \mathbb{E}[\widetilde G_{K+1}] \le A/T+(B/T)\sum_{k<T}m_k^{-1}, $ を $O(T^{-1}+T/N)$ とする。
定常性以外にも、割引された占有率のカバレッジは、直表のポリシーに対して$J^\star-J(π)=O(\sqrt G)$となるので、カバーされた正確なKKTポイントは、大域的に最適であり、状態的に2次ベルマン改善条件は、$O(G)$との関係を鋭くする。
最後に、非線形ポリシー、射影ベルマン、および明示的占有定式化は、作用素の可逆性、双対表現、乗算安定性の同じ連鎖を示す。
これは、原始二重強化学習のための再利用可能な構造原理として、演算子の可逆性を割引する。
関連論文リスト
- Stochastic Inertial Krasnosel'skii-Mann Iteration Achieves Near-Optimal Sample Complexity [66.59610645394376]
実空間における非拡大作用素の固定点を求めるための単純慣性クラスノセル・スキーマン法(iKM)を解析する。
KM(Bravo and Cominetti, 2024)に慣性外挿を2つ加えるだけで, 1回に1回, バイアスのあるオラクルに1回呼び出すことができる。
また、KM[Bravo Cominetti, 2024]に対する、よく知られた$O(-4)$ランダムイテレート保証を改善している。
論文 参考訳（メタデータ） (2026-09-22T23:57:59Z) - Stability and Generalization of Straight-Through Estimators for Training Two-Layer Quantized Neural Networks [16.84694273405234]
ヒンジロスを伴う2層2層活性化ネットワークを訓練するための恒常的ストレートスルー推定器(STE)について検討した。
我々の中心的な問題は、アルゴリズム安定性が不連続なSTEトレーニングルールによって生成される推定器の統計的一般化を説明することができるかどうかである。
論文 参考訳（メタデータ） (2026-09-06T07:12:16Z) - A Finite Sample Analysis for Quantile Temporal Difference Learning in Distributional Reinforcement Learning [18.875039998204848]
分散強化学習における同期量子時間差分学習(QTD)のグローバル有限サンプル保証を確立する。
大域的な比較論は、報酬累積分布関数の順序単調性と分布ベルマン作用素の$W_infty$収縮に基づいて、局所近傍に任意に安定性をもたらす。
論文 参考訳（メタデータ） (2026-08-27T16:16:09Z) - High-Probability PL-SGD with Markovian Noise: Optimal Mixing and Tail Dependence [41.64418624570687]
マルコフ連鎖によって試料が生成された場合,ポリアク・オジャシエヴィチ(PL)条件を満たす目的の1次法について検討した。
ライトテール設定では、標準成長エンベロープスケールの通常のグラディエントD(SGD)に対して、以前の均一時間高確率境界を$widetildeO(t_mix/k)$とする。
我々は、この混合時間に対する線形依存が、持続的2で駆動される二次目的物上の一致する$(2 t_mix/k)$下界によって最適であることを示す。
論文 参考訳（メタデータ） (2026-06-24T19:00:56Z) - Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。
一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。
グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
論文 参考訳（メタデータ） (2026-02-26T15:27:53Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Discrete Double-Bracket Flows for Isotropic-Noise Invariant Eigendecomposition [7.186083931122418]
本研究では,行列ベクトル積 (MVP) のオラクルによる行列フリー固有分解について検討した。
標準的な近似法では、安定性を$|C_k|$に結合する固定ステップを使用するか、あるいは更新の消滅によって遅くなる適応ステップを使用する。
対角化目標と入力-状態安定性解析のための厳密なサドルと、トレースフリーな摂動の下での複雑さのスケーリングを$O(|C_e|2 / (2))$とすることで、グローバル収束を確立する。
論文 参考訳（メタデータ） (2026-02-14T13:09:29Z) - Stabilizing Fixed-Point Iteration for Markov Chain Poisson Equations [49.702772230127465]
有限状態マルコフ鎖を$n$状態と遷移行列$P$で研究する。
すべての非退化モードが実周辺不変部分空間 $mathcalK(P)$ によってキャプチャされ、商空間 $mathbbRn/mathcalK(P) 上の誘導作用素が厳密に収縮し、ユニークな商解が得られることを示す。
論文 参考訳（メタデータ） (2026-01-31T02:57:01Z) - Near-Optimal Clustering in Mixture of Markov Chains [74.3828414695655]
我々は、長さ$H$の軌跡を、大きさ$S$の有限状態空間上の未知のエルゴードマルコフ鎖の1つによって生成される、$T$ trajectories of length $H$の問題を研究する。
我々は、連鎖の遷移核間の重み付きKL分散によって支配されるクラスタリングエラー率に基づいて、インスタンス依存で高い確率の低い境界を導出する。
次に,新しい2段階クラスタリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-06-02T05:10:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。