論文の概要: On the Principles Behind Neural Network Optimizers

• arxiv url: http://arxiv.org/abs/2608.16760v1
• Date: Mon, 17 Aug 2026 16:07:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.789685
• Title: On the Principles Behind Neural Network Optimizers
• Title（参考訳）: ニューラルネットワーク最適化の原理について
• Abstract要約: この論文はアダムの原則的根拠を発展させ、新しい原則的構造を動機付けている。 ヘッセン構造はトレーニングに沿って近ブロック対角前処理器へと進化する。 この構造がアダムの対角プレコンディショナーを効果的にすることを証明する。
• 参考スコア（独自算出の注目度）: 4.4366291058606535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable optimization is central to neural network (NN) training, yet Adam, the default optimizer for modern LLMs, rests on a fragile foundation. This thesis develops a principled grounding for Adam and motivates new designs. First, we revisit Adam's divergence--convergence debate and show the existence of a problem-dependent phase transition: with properly chosen, batch-size-dependent hyperparameters, Adam converges, whereas under small-$β_2$ regimes it can diverge. Second, we investigate why Adam substantially outperforms SGD on Transformers through Hessian structure. We find that the Hessian evolves toward a near-block-diagonal form along training, accompanied by strong block heterogeneity. We prove that this structure makes Adam's diagonal preconditioner effective. We further show that this special Hessian structure originates from consecutive multiplications of large matrix variables, and we provide a rigorous analysis based on random matrix theory. Finally, these insights motivate Adam-mini, a new optimizer that reduces Adam's memory footprint by 50\% while preserving its performance. Our results also have broader implications beyond Adam: they reveal new local structures in matrix-based nonconvex problems, and also help understand and improve recent NN optimizers, such as Muon.
• Abstract（参考訳）: 信頼性の高い最適化はニューラルネットワーク(NN)トレーニングの中心だが、現代のLLMのデフォルトオプティマイザであるAdamは脆弱な基盤にある。 この論文はアダムの原則的な根拠を発展させ、新しいデザインを動機付けている。 まず、アダムの発散-収束の議論を再考し、問題依存の相転移の存在を示す:適切に選択されたバッチサイズ依存のハイパーパラメータでは、アダムは収束する。 第二に、Adamがヘッセン構造を通してトランスフォーマー上でSGDを著しく上回っている理由について検討する。 ヘッセンは, 強いブロックの不均一性を伴うほぼブロック対角形へと進化する。 この構造がアダムの対角プレコンディショナーを効果的にすることを証明する。 さらに、この特別なヘッセン構造は、大きな行列変数の連続的な乗法に由来することを示し、ランダム行列理論に基づく厳密な解析を提供する。 最後に、これらの洞察は、Adamのメモリフットプリントを50%削減し、パフォーマンスを維持できる新しいオプティマイザであるAdam-miniを動機付けている。 行列ベースの非凸問題における新しい局所構造を明らかにし、Muonのような最近のNNオプティマイザの理解と改善を支援する。

関連論文リスト

• Adam Converges in Nonsmooth Nonconvex Optimization [3.8357180714081327]
  アダムは広く実装され、影響力のある近代バイアスの1つである。 我々は,Adam の速度に対する最初の有限時間解析を iTe ステップで行い,さらなる修正を加えない。
  論文  参考訳（メタデータ） (2026-06-21T04:00:35Z)
• MAdam: Metric-Aware Multi-Objective Adam [12.820085175292377]
  解答者の意図とカップリングの実行との間には,2つの系統的なギャップが存在する。 textbfMAdam(Metric-Aware Multi-Objective Adam)は,解決器と変更の双方を残したドロップインラッパーである。 マダムはすべての解決者家族に対してアダムよりも一貫して改善する。
  論文  参考訳（メタデータ） (2026-06-02T17:00:15Z)
• Combining Adam and its Inverse Counterpart to Enhance Generalization of Deep Learning Optimizers [57.049014152026864]
  ニューラルネットワークのトレーニングでは、適応モーメント推定(Adam)は通常、高速に収束するが、最適以下の一般化性能を示す。 平らなミニマを見つける能力を高めるため、逆アダム(InvAdam)という新しい変種を提案する。 InvAdamは1階と2階のモーメントの要素ワイド乗算を計算し、Adamは2つのモーメントの要素ワイド除算を計算する。
  論文  参考訳（メタデータ） (2026-03-07T09:15:30Z)
• Muon Outperforms Adam in Tail-End Associative Memory Learning [118.98991042050532]
  機能埋め込みにかかわらず,Muonはクラス間のバランスの取れた学習を一貫して達成している。 我々の経験的観察と理論的分析により、ムオンの核となる利点が明らかとなり、その更新規則は線形連想記憶の外積構造と一致している。
  論文  参考訳（メタデータ） (2025-09-30T10:04:08Z)
• AdamS: Momentum Itself Can Be A Normalizer for LLM Pretraining and Post-training [22.58304858379219]
  我々は,大規模言語モデル(LLM)の事前学習とポストトレーニングのための,Adamの簡易かつ効果的な代替手段であるAdamSを紹介した。 新たな分母、すなわち運動量と現在の勾配の重み付き和の根を利用することにより、AdamSは第二モーメント推定の必要性を排除している。 AdamSは効率が良く、SGDのメモリと計算フットプリントと運動量とを一致させ、優れた最適化性能を提供する。
  論文  参考訳（メタデータ） (2025-05-22T08:16:48Z)
• CAdam: Confidence-Based Optimization for Online Learning [41.022196390765714]
  更新を決定する前に,各パラメータ次元の運動量と勾配の整合性を評価する信頼度に基づく最適化戦略であるCAdamを導入する。 CAdamはAdamと比較してモデル性能を大幅に向上させ、システム全体の商品量(GMV)を大幅に増加させた。 大規模なA/Bテストでは、CAdamはAdamと比較してモデル性能を大幅に向上させ、システム全体の商品量(GMV)を大幅に増加させた。
  論文  参考訳（メタデータ） (2024-11-29T12:00:27Z)
• Closing the Gap Between the Upper Bound and the Lower Bound of Adam's Iteration Complexity [51.96093077151991]
  我々はAdamの新しい収束保証を導出し、$L$-smooth条件と有界雑音分散仮定のみを導出する。 本証明は,運動量と適応学習率の絡み合いを扱うために,新しい手法を利用する。
  論文  参考訳（メタデータ） (2023-10-27T09:16:58Z)
• Provable Adaptivity of Adam under Non-uniform Smoothness [79.25087082434975]
  アダムは急速に収束するため、実用的な用途で広く採用されている。 アダムの既存の収束解析は、有界な滑らかさの仮定に依存する。 本稿では,ランダムにリシャッフルされたAdamの学習率の低下に伴う収束について検討する。
  論文  参考訳（メタデータ） (2022-08-21T14:57:47Z)
• A Novel Convergence Analysis for Algorithms of the Adam Family [105.22760323075008]
  本稿ではAdam, AMSGrad, AdaboundなどのAdamスタイルの手法群に対する収束の一般的な証明を示す。 我々の分析は非常に単純で汎用的なので、より広範な非構成最適化問題の族を解くための収束を確立するために利用することができる。
  論文  参考訳（メタデータ） (2021-12-07T02:47:58Z)
• Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
  Adamはディープラーニングアプリケーションに広く使われている最適化手法である。 我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。 画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2020-11-24T09:28:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。