論文の概要: The Hidden Ratio in Adam: Stable Structure, Compression, and Sign Dynamics
- arxiv url: http://arxiv.org/abs/2609.35392v1
- Date: Mon, 28 Sep 2026 15:21:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 05:57:13.268705
- Title: The Hidden Ratio in Adam: Stable Structure, Compression, and Sign Dynamics
- Title（参考訳）: アダムの隠れ比率:安定構造、圧縮、およびサインダイナミクス
- Abstract要約: Adam氏は、現代のディープニューラルネットワークのトレーニングのデフォルトである。
我々は、Adamを2つのEMA崩壊率が等しい結合$$レジームで研究する。
その適応力学は, ほぼ安定な振る舞いで変換比で表現できることを示す。
- 参考スコア（独自算出の注目度）: 23.69556147433212
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adam is the default optimizer for training modern deep neural networks, yet its adaptive behavior remains poorly understood due to the complex interaction between its first- and second-moment exponential moving averages (EMAs). We study Adam in the tied-$β$ regime, where the two EMA decay rates are equal, and show that its adaptive dynamics can be expressed through a transformed ratio with approximately scale-stable behavior. Empirically, this transformed ratio exhibits a stable, heavy-tailed distribution across tasks, model scales, and training stages, in contrast to the variability of raw moment magnitudes. This empirical stability has both practical and conceptual consequences. First, we derive a recurrence for the transformed ratio, yielding a reparameterization of Adam that replaces the second moment with a compressible state. Leveraging its stable distribution, we show that a fixed 4-bit codebook is sufficient in our experiments to store this state without auxiliary scaling, achieving performance competitive with full-precision Adam. Second, the transformed ratio view clarifies Adam's connection to sign-based methods: Adam reduces to sign-based momentum modulated by the transformed ratio, and replacing it with a constant recovers Signum as a limiting case. This perspective further provides a simple rule for transferring learning rates between the two methods. Together, these results suggest that tied-$β$ Adam admits a simple and approximately stable ratio structure underlying its adaptive behavior and demonstrate its utility for both analysis and efficient implementation.
- Abstract（参考訳）: アダムは現代のディープニューラルネットワークをトレーニングするためのデフォルトのオプティマイザであるが、第1モーメントと第2モーメント指数移動平均(EMA)の間の複雑な相互作用のため、適応的な振る舞いは理解されていない。
我々はAdamを2つのEMA崩壊率が等しい結合-$β$レジームで研究し、その適応力学がおよそのスケール安定な挙動で変換比で表現可能であることを示す。
経験的に、この変換比は、生のモーメントマグニチュードのばらつきとは対照的に、タスク、モデルスケール、トレーニングステージにまたがる安定した重み付き分布を示す。
この経験的安定性は、実用的および概念的な結果の両方をもたらす。
まず、変換された比の繰り返しを導出し、第2モーメントを圧縮可能な状態に置き換えるアダムの再パラメータ化を導出する。
安定分布を活用することで,本実験では4ビットコードブックの固定化が,補助スケーリングを伴わずにこの状態を保存し,完全精度のAdamと競合する性能を実現するのに十分であることを示す。
アダムは、変換された比で変調された符号ベースの運動量に還元し、定数でシグナムをリカバリする。
この観点はさらに、2つの方法間で学習率を伝達するための単純なルールを提供する。
これらの結果は、結合-β$Adamはその適応的挙動の根底にある単純でほぼ安定な比構造を認め、解析と効率的な実装の両方にその有用性を示すことを示唆している。
関連論文リスト
- When Interference Graphs Evolve: Doubly Robust Estimation of Dynamic Peer Effects [1.049126606580198]
我々は,自己治療,時間的に集約されたピア露光,および課題後の進化の要約によって潜在的な結果をインデックスする制御されたコントラストフレームワークを導入する。
時間分解確率と正規化オーグメンテーションを組み合わせた動的ネットワーク二重ロバスト推定器DynaNet-DRを開発した。
論文 参考訳（メタデータ） (2026-08-27T14:32:40Z) - Adam-SHANG: A Convergent Adam-Type Method for Stochastic Smooth Convex Optimization [6.759434764396595]
モーメント,適応型プレコンディショニング,曲率-コンディショナー補正を結合するリアプノフ誘導型アダム方式を提案する。
予測された崩壊を検証する実験は、ディープラーニングタスクにおけるAdamとAdamWに対する競争力のあるトレーニングパフォーマンスを示す。
論文 参考訳（メタデータ） (2026-05-13T01:46:23Z) - Adapt or Forget: Provable Tradeoffs Between Adam and SGD in Nonstationary Optimization [0.0]
本研究では,非定常目標下でのAdamの理論的解析を行い,Adam-preconditioned mean-gradient operatorの適応的な強い単調性の下でのユークリッド追跡と,一般の$L$-smooth目的下での高確率な定常性保証とを分離する。
ノイズに支配されたレシエーションでは、第一モーメント平均化と適応的プレコンディショニングは高い確率誤差を改善することができるが、ドリフトに支配されたレシエーションでは、第一モーメント情報とプレコンディショナーの摂動は非定常性のコストを複雑化し、バニラはより小さなトラッキングフロアを達成することができる。
論文 参考訳（メタデータ） (2026-05-05T20:04:20Z) - Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
マルチモーダル学習は、しばしば低品質データの課題に悩まされる。
コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。
私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
論文 参考訳（メタデータ） (2026-05-05T14:48:52Z) - Adam-HNAG: A Convergent Reformulation of Adam with Accelerated Rate [7.396660927040262]
アダムは経験的成功を強く達成しているが、その理論は決定論的完全バッチの設定においても不完全である。
本研究では、変数分割と演算子分割と曲率を考慮した勾配補正を組み合わせることにより、フルバッチAdamの収束再構成を開発する。
これにより、指数的に減衰するリャプノフ関数を持つ連続時間アダム・HNAGフローと、アダム-HNAGとアダム-HNAG-sという2つの離散的な方法が導かれる。
論文 参考訳（メタデータ） (2026-04-09T20:09:24Z) - CAdam: Confidence-Based Optimization for Online Learning [41.022196390765714]
更新を決定する前に,各パラメータ次元の運動量と勾配の整合性を評価する信頼度に基づく最適化戦略であるCAdamを導入する。
CAdamはAdamと比較してモデル性能を大幅に向上させ、システム全体の商品量(GMV)を大幅に増加させた。
大規模なA/Bテストでは、CAdamはAdamと比較してモデル性能を大幅に向上させ、システム全体の商品量(GMV)を大幅に増加させた。
論文 参考訳（メタデータ） (2024-11-29T12:00:27Z) - Time-series Generation by Contrastive Imitation [87.51882102248395]
モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。
推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
論文 参考訳（メタデータ） (2023-11-02T16:45:25Z) - Semantic Self-adaptation: Enhancing Generalization with a Single Sample [45.111358665370524]
セマンティックセグメンテーションのための自己適応型アプローチを提案する。
整合正則化を用いて畳み込み層のパラメータを入力画像に微調整する。
実験により, 自己適応は訓練時のモデル正規化の確立した実践を補完する可能性が示唆された。
論文 参考訳（メタデータ） (2022-08-10T12:29:01Z) - Understanding the Generalization of Adam in Learning Neural Networks
with Proper Regularization [118.50301177912381]
我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。
凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
論文 参考訳（メタデータ） (2021-08-25T17:58:21Z) - Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
Adamはディープラーニングアプリケーションに広く使われている最適化手法である。
我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。
画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
論文 参考訳（メタデータ） (2020-11-24T09:28:53Z) - MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of
Gradients [112.00379151834242]
本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。
これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
論文 参考訳（メタデータ） (2020-06-21T21:47:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。