論文の概要: A Polyak-Ruppert Central Limit Theorem for SA-Adam with Momentum and Non-Convergent Adaptive Preconditioning

• arxiv url: http://arxiv.org/abs/2606.17364v1
• Date: Mon, 15 Jun 2026 23:43:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.176631
• Title: A Polyak-Ruppert Central Limit Theorem for SA-Adam with Momentum and Non-Convergent Adaptive Preconditioning
• Title（参考訳）: モーメントと非収束適応プレコンディショニングを備えたSA-Adamに対するPolyak-Ruppert中心極限理論
• Authors: Sunyoung An, Xiaoming Huo,
• Abstract要約: プレコンディショニング、運動量、重量の減衰(アダムとアダムW)を組み合わせた適応エンジンは、ポリャク=ルパート平均化の下で、1パス推論の候補エンジンである。 我々は、(局所安定化の下で)正のドリフト安定性、非自律性ポリアーク・ラッパートCLT、および射影恒等性を証明した。 SA-Adam (sub-linearly vanishing momentum gain, $in gradient,1)$;sub-linear regime is essential, not constant-$$ deployed Adam。
• 参考スコア（独自算出の注目度）: 12.805268849262243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adaptive optimizers combining preconditioning, momentum, and weight decay (Adam and AdamW) are, under Polyak-Ruppert averaging, candidate engines for one-pass inference. Does the averaged iterate keep the classical Polyak-Ruppert central limit theorem (CLT), with sandwich covariance $H^{-1}SH^{-1}$ (Hessian $H$, gradient covariance $S$), under momentum and non-convergent preconditioning? The preconditioner-only analysis does not carry over: with momentum the canonical decomposition collapses to a tautology. Treating the augmented state (iterate, momentum buffer) as a time-varying linear stochastic approximation (SA), we prove (under local stabilization) positive drift stability, a non-autonomous Polyak-Ruppert CLT, and a projection identity. The upshot: the iterate-marginal covariance is exactly the plain stochastic gradient descent (SGD) sandwich $H^{-1}SH^{-1}$, so the adaptivity is asymptotically invisible. This holds for SA-Adam (sub-linearly vanishing momentum gain, $γ\in(α,1)$; the sub-linear regime is essential), not constant-$β$ deployed Adam. Coupled $L_2$ weight decay yields the ridge-penalized sandwich, extending one-pass inference to regularized problems.
• Abstract（参考訳）: プレコンディショニング、モーメント、およびウェイト崩壊(アダムとアダムW)を組み合わせた適応最適化器は、ポリャク=ルパート平均化の下で、1パス推論の候補エンジンである。 平均的な反復は古典的ポリアック=ルパート中央極限定理 (CLT) をサンドイッチ共分散$H^{-1}SH^{-1}$ (ヘッセン$H$, 勾配共分散$S$) で運動量と非収束プレコンディショニングで保持する。 プレコンディショナーのみの分析は、運動量とともに、正準分解はタウトロジーに崩壊する。 拡張状態を時間変化線形確率近似(SA)として扱い、(局所安定化の下で)正のドリフト安定性、非自律性ポリアーク・ルパート CLT、および射影アイデンティティを証明した。 アップショット: 反復対数共分散は、正確には平面確率勾配降下(SGD)サンドイッチ$H^{-1}SH^{-1}$であるので、適応性は漸近的に見えない。 これはSA-アダム(準線型消滅運動量ゲイン、$γ\in(α,1)$; 準線型状態は必須である)に対して、定数-β$展開アダムに対して成り立つ。 結合した$L_2$の重量減衰は、リッジペナル化サンドイッチを生成し、一パス推論を正規化問題に拡張する。

関連論文リスト

• Is Spurious Correlation Removal Always Learnable? [56.28155520961125]
  不変学習は、構造が統計的に識別可能であっても失敗することがある。 ブラックボックスサンプリング可能な教師付きスパースリカバリプリミティブの下では、実証可能な多次元環境が存在する。 合成および実際のデータセットは、予測されたギャップと遷移を示し、単純な多様性診断を動機付ける。
  論文  参考訳（メタデータ） (2026-06-11T05:49:43Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• When Does $\ell_2$-Boosting Overfit Benignly? High-Dimensional Risk Asymptotics and the $\ell_1$ Implicit Bias [15.113649527486276]
  良性オーバーフィッティングが線形レートで失敗することを示します。 この局所化機構は信号の存在下で持続するべきであるが、正確な信号-雑音分解は未解決の問題である。
  論文  参考訳（メタデータ） (2026-05-07T14:14:09Z)
• When Does Dynamic Preconditioning Preserve the Polyak-Ruppert CLT? A Stabilization Threshold [12.805268849262243]
  ウォルド型オンライン推論は、安定化率が閾値を超える動的プレコンディション付き平均SGDに対して有効である。 我々は、上界で使われるレート仮説のクラスにおいて、それを弱めることはできないことを証明した。
  論文  参考訳（メタデータ） (2026-04-26T02:14:19Z)
• Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise [17.899443444882888]
  不等式事前条件勾配降下(SPSGD)に対する最悪のケース複雑性理論を開発する。 正規化は問題パラメータが未知の場合には$mathcalO(T-fracp-13p-2)$,$mathcalO(T-fracp-12p)$で1次定常点への収束を保証する。 対照的に、プリコンディショナーと勾配推定との統計的依存により、クリッピングが最悪の場合に収束しないことが証明される。
  論文  参考訳（メタデータ） (2026-02-13T19:29:17Z)
• Simple Convergence Proof of Adam From a Sign-like Descent Perspective [58.89890024903816]
  我々は、Adamが以前の$cal O(fracln TTs14)$よりも$cal O(frac1Ts14)$の最適なレートを達成することを示す。 我々の理論分析は、収束を保証する重要な要因として運動量の役割に関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-07-08T13:19:26Z)
• Convergence Rates of Stochastic Gradient Descent under Infinite Noise Variance [14.06947898164194]
  ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。 SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。 その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
  論文  参考訳（メタデータ） (2021-02-20T13:45:11Z)
• Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
  学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。 i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
  論文  参考訳（メタデータ） (2020-07-16T06:44:44Z)
• On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration [115.1954841020189]
  The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。 一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
  論文  参考訳（メタデータ） (2020-04-09T17:54:18Z)
• A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
  我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
  論文  参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。