論文の概要: A Full Adam Theorem for Spectral Heavy-Tail Onset
- arxiv url: http://arxiv.org/abs/2609.12996v1
- Date: Fri, 10 Jul 2026 20:21:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.510217
- Title: A Full Adam Theorem for Spectral Heavy-Tail Onset
- Title（参考訳）: スペクトル重機オンセットのための全アダム理論
- Abstract要約: 閉ガウスシュタイン・ハーマイト教師-学生状態進化モデルにおいて、スペクトル重テールオンセットに対する完全なアダム定理を証明する。
アダムの運動量と分母からスペクトル打撃法までの各ステップは閉状態進化モデルの中で形式化される。
- 参考スコア（独自算出の注目度）: 0.5076419064097734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We prove a full Adam theorem for spectral heavy-tail onset in a closed Gaussian Stein-Hermite teacher-student state-evolution model. The theorem begins with the actual full-batch Adam recurrences, derives the population gradient by Stein-Hermite calculus, proves finite-width covariance concentration, converts multi-step Adam momentum into an exact non-centered Gaussian sign kernel, controls the diagonal Adam denominator by a basis-homogenization theorem, derives a regularly varying projected update response from a Hermite edge-transfer theorem, pushes the response through the exact Gram update, and proves approximate-target KL contraction with matching upper and lower hitting bounds. The final law is (τ_\varepsilon=Θ(Δ_1^{-γ}d^ρ\log(Ψ_0/\varepsilon))), where (Δ_1) is the first spike-bulk spectral gap. The result is full in the following precise sense: every step from Adam's momentum and denominator to the spectral hitting law is formalized inside the closed state-evolution model. We also prove that a stronger arbitrary-gradient Adam theorem is impossible, and that exact two-step linear-network loss dynamics do not identify factor spectra or heavy-tail hitting times.
- Abstract（参考訳）: 閉ガウスシュタイン・ハーマイト教師-学生状態進化モデルにおいて、スペクトル重テールオンセットに対する完全なアダム定理を証明する。
この定理は実際のフルバッチのアダム再帰から始まり、スタイン・ハーマイト計算による人口勾配を導出し、有限幅の共分散の濃度を証明し、多段アダム運動量を正確な非中心ガウス符号核に変換し、基底均質化定理により対角アダム分母を制御し、ヘルミートエッジ変換定理から定期的に変化する予測された更新応答を導出し、正確なグラマー更新を通じて応答をプッシュし、上と下の境界に一致する近似ターゲットKL収縮を証明している。
最終法則は (τ_\varepsilon= ) (Δ_1^{-γ}d^ρ\log(\_0/\varepsilon)) であり、ここでは (Δ_1) が最初のスパイクバルクスペクトルギャップである。
アダムの運動量と分母からスペクトル打つ法則への全てのステップは閉状態進化モデルの中で形式化される。
また、より強い任意の漸進的なアダム定理は不可能であり、正確な2ステップの線形ネットワーク損失ダイナミクスが因子スペクトルや重テールヒットタイムを特定できないことも証明した。
関連論文リスト
- Langevin dynamics along the zero set of real-analytic potentials [0.8947188600472255]
我々はランゲヴィン拡散 $dX_t = - nabla V(X_t) dt + sqrt2 dB_t$ を一般非負の実解析ポテンシャル $V$ と大きなパラメータ $$ とみなす。
ゼロ集合上の進化を制限する候補を導出する。
論文 参考訳（メタデータ） (2026-08-10T16:55:51Z) - Recursively Trained Diffusion Models: Limiting Collapse Distribution and Spectral Characterization [27.894241484593735]
生成モデルの再帰的トレーニングは、真のデータ分布から複合的なドリフトであるモデル崩壊を引き起こす可能性がある。
完全なスコア推定と正確なサンプリングを行っても,逆拡散の早期停止はデータ分布から進行的なドリフトを引き起こすことを示す。
低次よりも高速に高次誤差を収縮するモード依存の収縮速度で、理想的な特徴付けが堅牢であることを示す。
論文 参考訳（メタデータ） (2026-06-11T18:06:26Z) - Adam-HNAG: A Convergent Reformulation of Adam with Accelerated Rate [7.396660927040262]
アダムは経験的成功を強く達成しているが、その理論は決定論的完全バッチの設定においても不完全である。
本研究では、変数分割と演算子分割と曲率を考慮した勾配補正を組み合わせることにより、フルバッチAdamの収束再構成を開発する。
これにより、指数的に減衰するリャプノフ関数を持つ連続時間アダム・HNAGフローと、アダム-HNAGとアダム-HNAG-sという2つの離散的な方法が導かれる。
論文 参考訳（メタデータ） (2026-04-09T20:09:24Z) - Adam symmetry theorem: characterization of the convergence of the stochastic Adam optimizer [1.9015962471041752]
我々は、アダムが収束する単純二次強凸 SOP のクラスを、勾配ステップの数が無限大に増加するにつれて証明する。
特に、SOP の確率変数が対称分布でない標準的な場合、アダムが SOP の最小値に収束すると、アダムのステップの数が無限大に増加する。
論文 参考訳（メタデータ） (2025-11-10T03:45:32Z) - Simple Convergence Proof of Adam From a Sign-like Descent Perspective [58.89890024903816]
我々は、Adamが以前の$cal O(fracln TTs14)$よりも$cal O(frac1Ts14)$の最適なレートを達成することを示す。
我々の理論分析は、収束を保証する重要な要因として運動量の役割に関する新たな洞察を提供する。
論文 参考訳（メタデータ） (2025-07-08T13:19:26Z) - A Unified Analysis for Finite Weight Averaging [50.75116992029417]
Gradient Descent(SGD)の平均イテレーションは、SWA(Weight Averaging)、EMA(Exponential moving Average)、LAWA(Latest Weight Averaging)といったディープラーニングモデルのトレーニングにおいて、経験的な成功を収めている。
本稿では、LAWAを有限重み平均化(FWA)として一般化し、最適化と一般化の観点からSGDと比較して、それらの利点を説明する。
論文 参考訳（メタデータ） (2024-11-20T10:08:22Z) - High Probability Convergence of Adam Under Unbounded Gradients and
Affine Variance Noise [4.9495085874952895]
我々はAdamが高い確率で定常点に収束できることを示し、$mathcalOleft(rm poly(log T)/sqrtTright)$を座標ワイドな「アフィン」ノイズ分散の下で表す。
また、Adamの閉包は$mathcalOleft(rm poly(left T)right)$の順序でノイズレベルに適応していることも明らかにされている。
論文 参考訳（メタデータ） (2023-11-03T15:55:53Z) - Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳（メタデータ） (2023-04-27T06:27:37Z) - Topological Quantum Gravity of the Ricci Flow [62.997667081978825]
我々は、リッチフローの幾何学理論に関連する位相量子重力理論の族を示す。
まず、BRST量子化を用いて空間計量のみに対する「原始的」トポロジカルリーフシッツ型理論を構築する。
葉保存時空対称性をゲージすることで原始理論を拡張する。
論文 参考訳（メタデータ） (2020-10-29T06:15:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。