論文の概要: A Unified Analysis of Importance-Corrected Momentum Actor-Critic over a Markovian Trajectory
- arxiv url: http://arxiv.org/abs/2610.33477v1
- Date: Sat, 24 Oct 2026 06:03:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.338413
- Title: A Unified Analysis of Importance-Corrected Momentum Actor-Critic over a Markovian Trajectory
- Title（参考訳）: マルコフ軌道上の重要補正モーメントアクター臨界の統一解析
- Abstract要約: 本稿では,パスワイズ最小二乗時間差批判と重要度補正モーメントアクターを組み合わせた総合的アクター批判手法を提案する。
批評家はニュートン=シュルツの逆転によって1フレーム当たりのリッジ正規化システムを解き、段階的ではなく、混合時間に関する知識も無く、ランク条件も不要である。
ICMアクター批判法に対する最初の有限時間境界を1つのマルコフ軌道に沿って正規化および非正規化ステップで確立する。
- 参考スコア（独自算出の注目度）: 30.54839918142419
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a generic actor-critic method that combines a ridge-regularized pathwise least-squares temporal-difference (LSTD) critic with importance-corrected momentum (ICM) actors. The critic solves a ridge-regularized system per frame by Newton-Schulz inversion and needs no stepsize, no knowledge of the mixing time, and no rank condition. Averaging stochastic policy gradients over frames of $T$ consecutive transitions, the ICM actors incur a frame-dependent gradient bias of order $\frac{1}{T}$. To our knowledge, we establish the first finite-time bounds for ICM actor-critic methods with normalized and unnormalized steps along a single Markovian trajectory. Up to a stationary-to-discounted distribution mismatch, the averaged gradient norm over $K$ updates is bounded by ${\cal O}(K^{-1/3}+\frac{1}{T})$ for normalized steps and by ${\cal O}(K^{-1/4}+\frac{1}{T})$ for unnormalized steps. We specialize these bounds to Muon, normalized stochastic gradient descent (SGD) with momentum, SGD with momentum, and AdaNorm, and compare them in the nuclear norm. With a dimension-free stepsize, Muon confines the factor $\min\{m,n\}^{1/2}$ associated with an $m\times n$ actor parameter matrix to the noise and correction terms. The comparison also characterizes when orthogonalization guarantees a larger noiseless ascent than normalization: exactly when the gradient's nuclear rank exceeds the spectral-to-Frobenius curvature ratio.
- Abstract（参考訳）: 本稿では,LSTD (ridge-regularized pathwise least-squares temporal-difference) とICM ( importance-corrected momentum) を併用したアクター批判手法を提案する。
批評家はニュートン=シュルツの逆転によって1フレーム当たりのリッジ正規化システムを解き、段階的ではなく、混合時間に関する知識も無く、ランク条件も不要である。
平均的な確率的ポリシー勾配は、$T$連続遷移のフレーム上で、IMMアクターは$\frac{1}{T}$のフレーム依存勾配バイアスを発生させる。
我々の知る限り、我々は1つのマルコフ軌道に沿った正規化および非正規化ステップを持つICMアクター批判法に対する最初の有限時間境界を確立する。
K$の更新に対する平均勾配ノルムは、正規化ステップは${\cal O}(K^{-1/3}+\frac{1}{T})$、非正規化ステップは${\cal O}(K^{-1/4}+\frac{1}{T})$で制限される。
我々はこれらの境界をミューオン、運動量を持つ正規化確率勾配降下(SGD)、運動量を持つSGD、そして原子核ノルムで比較する。
次元のないステップサイズで、Muonはノイズと補正項に$m\times n$アクターパラメータ行列を関連付ける因子 $\min\{m,n\}^{1/2}$ を限定する。
この比較はまた、直交化が正規化よりも大きなノイズのない昇華を保証するとき、すなわち勾配の核位がスペクトル-フォロニウス曲率を超えるときに特徴付けられる。
関連論文リスト
- When Momentum Helps Polyak--Ruppert Averaging [75.70186756364649]
有限ランの到達速度と、それらがどの程度並列化できるかを特徴付ける。
加法雑音を伴う強凸二次群に対しては、オンライン・オフライン橋の証明を行う。
論文 参考訳（メタデータ） (2026-10-20T10:29:50Z) - Randomized Momentum Transport with Cheap Predictors [43.7624716532625]
モーメント法は運動量に輸送補正を加えることで勾配を追跡する。
ランダム化された運動量輸送を導入し、確率で補正する。
修正の4分の1をクエリすると、MNIST1Dで18ドルから43%の最終的なトレーニング損失が減少し、CIFAR-10上でのHessian-vectorトランスポートのテスト精度が1.5ドルポイント向上する。
論文 参考訳（メタデータ） (2026-10-09T16:04:53Z) - A Single-Loop, Constant-Batch First-Order Penalty Method for Stochastic Bilevel Optimization [66.48718943929202]
非強凸二値問題の場合、既存の一階法はネストループに依存するのが一般的である。
2つの相補成分を組み合わせたSingle-loop Constant-1次ペナルティ法(ICOS)を提案する。
論文 参考訳（メタデータ） (2026-10-05T19:26:20Z) - Unregularized Convergence of Single-Loop, Entropy-Regularized Natural Actor-Critic [3.756550107432323]
エントロピー正則化は自然政策勾配法の安定化と加速に広く用いられている。
我々は1ループのエントロピー規則化自然アクター・クライトを解析する。
非中心的な批評家を訓練することで、トレーニング方針が決定論に近づいたとしても、我々の批判的追跡は安定し続けることができる。
論文 参考訳（メタデータ） (2026-08-20T03:08:33Z) - Accelerated and Stable Convergence with Anchored Optimistic Method [39.242061448272615]
min-max最適化における単調変分不等式の一次解法について検討した。
本稿では,2段階の楽観的更新とHalpern反復にインスパイアされたアンカリング項を組み合わせた一般化最適化手法(GOMA)のファミリーを提案する。
論文 参考訳（メタデータ） (2026-06-19T15:26:10Z) - Robust stochastic first order methods in heavy-tailed noise via medoid mini-batch gradient sampling [1.439518478021091]
1次最適化フレームワークを考えると、各イテレーションで$K$独立分散データポイントサンプル(すなわち、d.d.)が描画される。
本稿では,ロバストDescent GradientMiniという新しい一階勾配アルゴリズムを提案する。
実験結果から, R-SGD-Mini とそのクリッピング変異体は, Median-of-Means 法と比較して一貫した性能を示した。
論文 参考訳（メタデータ） (2026-05-08T12:01:25Z) - Orth-Dion: Eliminating Geometric Mismatch in Distributed Low-Rank Spectral Optimization [12.526290684448425]
低ランク勾配圧縮は、ランク-r$要素による更新を表現することで、分散トレーニングにおける通信を減少させる。
列正規化を正しい因子のQR直交化に置き換えるOrth-Dionを提案する。
大規模言語モデルの事前トレーニング実験は、予測された$sqrtr$スケーリングを検証し、Orth-DionがDionの通信コストでMuonへの収束ギャップを閉じていることを示す。
論文 参考訳（メタデータ） (2026-05-07T23:37:37Z) - Convergence Rate Analysis of LION [54.28350823319057]
LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。
従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
論文 参考訳（メタデータ） (2024-11-12T11:30:53Z) - Optimal and instance-dependent guarantees for Markovian linear stochastic approximation [47.912511426974376]
標準スキームの最後の繰り返しの2乗誤差に対して、$t_mathrmmix tfracdn$の非漸近境界を示す。
マルコフ雑音による政策評価について,これらの結果のまとめを導出する。
論文 参考訳（メタデータ） (2021-12-23T18:47:50Z) - A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。
Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
論文 参考訳（メタデータ） (2020-03-05T01:56:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。