論文の概要: Factored One-sided Adam-Moment for Practical and Scalable SOAP
- arxiv url: http://arxiv.org/abs/2611.16905v1
- Date: Thu, 12 Nov 2026 14:59:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.493485
- Title: Factored One-sided Adam-Moment for Practical and Scalable SOAP
- Title(参考訳): 実用的でスケーラブルなSOAPのためのファクタード片側Adam-Moment
- Abstract要約: 我々は、Facted One-sided Adam-MomentがAdamWのほぼ効率でSOAPの利益を維持できることを示します。
私たちの経験的な結果は、強いSOAPとMuonが、大規模言語モデル(LLM)事前トレーニングの規模で検証損失を基礎にしているという主張を支持します。
結果は124Mから76000Mのパラメータから成り立ち、SOAPの利益がSOAPのコストを必要としないことを示す。
- 参考スコア(独自算出の注目度): 60.835595632259604
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Second-order optimizers (e.g., Shampoo, SOAP) have emerged as compelling alternatives to Adam/AdamW and promise faster per-step convergence than AdamW in transformer training. However, they still remain costly in practice, and even SOAP still pays substantial optimizer-state memory and eigendecomposition overhead. We ask whether the benefits of SOAP can be retained at nearly the efficiency of AdamW. In this paper, we answer yes with a lightweight SOAP variant, Factored One-sided Adam-Moment (FOAM). The path to practical impact is twofold: first, FOAM employs input-only preconditioning, dropping the output-side Kronecker factor to reduce memory and remove one eigendecomposition. The Kronecker structure of the Hessian shows that this is exact for a diagonal output-side curvature and nearly lossless for a near-diagonal one, as we observe empirically. Second, FOAM replaces SOAP's dense rotated second moment with a factored Adam-moment estimator based on row-by-column statistics. Under the K-FAC Fisher assumption with a diagonal output curvature, this estimator exactly recovers SOAP's dense second moment, and we measure only a 15-20% K-FAC violation, with negligible effect on the update. Our empirical results support the claim that FOAM matches strong SOAP and Muon baselines in validation loss across scales of large language model (LLM) pre-training, uses half of SOAP's optimizer state, runs at Muon-class wall-clock time, and retains robustness across a three-fold learning-rate range. The results hold from 124M to 760M parameters, demonstrating that SOAP's gains need not require SOAP's cost. Code: https://github.com/naver-ai/foam
- Abstract(参考訳): 2階目のオプティマイザ(例えば、シャンプー、SOAP)は、Adam/AdamWに代わる魅力的な代替品として登場し、トランスフォーマートレーニングにおいてAdamWよりも高速なステップ毎の収束を約束しています。
しかし、実際にはコストがかかるままであり、SOAPでさえ、かなりの最適化されたステートメモリと固有分解オーバーヘッドを支払っています。
我々は、SOAPの利点がAdamWのほぼ効率で維持できるかどうか尋ねる。
本稿では、軽量SOAP版であるFacted One-sided Adam-Moment (FOAM)でイエスに答える。
まず、FOAMは入力のみのプリコンディショニングを採用し、出力側のKronecker因子をドロップしてメモリを削減し、1つの固有分解を取り除く。
ヘッセンのクロネッカー構造は、これは対角線の出力側曲率に対して正確であり、我々が経験的に観察する限り、ほぼ対角線に近いものに対して損失がないことを示している。
次に、FOAMは、列ごとの統計に基づいて、SOAPの密度の高い第2モーメントをAdam-Moment推定器に置き換えます。
対角的な出力曲率を持つK-FAC Fisherの仮定の下で、この推定器はSOAPの密度の高い第2モーメントを正確に回復し、15~20%のK-FAC違反のみを計測する。
私たちの経験的な結果は、FOAMが大規模な言語モデル(LLM)事前トレーニングの規模での検証損失において強いSOAPとMuonのベースラインと一致し、SOAPのオプティマイザステートの半分を使用し、ムオンクラスのウォールクロック時間で動作し、3倍の学習範囲にわたって堅牢性を維持しているという主張を支持します。
結果は124Mから76000Mのパラメータから成り立ち、SOAPの利益がSOAPのコストを必要としないことを示した。
コード:https://github.com/naver-ai/foam
関連論文リスト
- SOAP, Muon, and Beyond: Pushing LLM Pretraining Scales [48.03325171473355]
Muon や SOAP のような高次の LLM は、AdamW よりも高速な収束を提供するが、計算コストと数値安定性の課題は、大規模に採用されることが限られている。
我々は,大規模LLM事前訓練体制の実践的課題を克服するために,事前条件付き手法を適応し,強化する。
論文 参考訳(メタデータ) (2026-07-13T21:47:08Z) - SOAP-Bubbles: Structured Weight Uncertainty for Neural Networks [23.770076240391145]
構造化された重みの不確かさは、ディープラーニングの多くの面を改善することができるが、見積もりと実装の難しさは依然として高くつく。
私たちのキーとなるアイデアは、既存の対角共変変分法であるIVONをSOAPのプリコンディショナーの固有空間で実行することです。
結果として得られるメソッドはSOAPと同じコストで、パイプラインのトレーニングに大幅な変更は必要ありません。
論文 参考訳(メタデータ) (2026-06-22T13:56:59Z) - Understanding and Improving Shampoo and SOAP via Kullback-Leibler Minimization [22.631895671087534]
私たちは、SOAPレベル/イットランタイムを達成しながら、事前トレーニングにおいて、ShampooとSOAPのパフォーマンスに適合または超過するスキームを開発します。
KL-Shampooは一貫してSOAP、Shampoo、さらにはKL-SOAPよりも優れており、NN最適化における構造化メソッドを設計するための魅力的な基盤としてKLベースのアプローチを確立している。
論文 参考訳(メタデータ) (2025-09-03T14:55:15Z) - SOAP: Improving and Stabilizing Shampoo using Adam [10.191020824781756]
この研究はシャンプーとアダファクトの間の公式な関係を確立している。
AdafactorはAdamのメモリ効率の近似である。
シャンプーのプレコンディショナーの固有ベイズにおいて,シャンプーがAdafactorを実行することと等価であることを示す。
論文 参考訳(メタデータ) (2024-09-17T16:18:05Z) - Towards Communication-efficient Federated Learning via Sparse and Aligned Adaptive Optimization [90.08459757321405]
Federated Adam (FedAdam) アルゴリズムはアップリンク通信オーバーヘッドの3倍の増大に悩まされている。
我々はFedAdam-SSMと呼ばれる新しいスパースなFedAdamアルゴリズムを提案する。
我々は,FedAdam-SSMが訓練したモデルと集中型Adamの差異を最小化することにより,スペーシフィケーションエラーによる学習性能劣化を軽減するためにSSMを最適化する。
論文 参考訳(メタデータ) (2024-05-28T07:56:49Z) - Provable Adaptivity of Adam under Non-uniform Smoothness [79.25087082434975]
アダムは急速に収束するため、実用的な用途で広く採用されている。
アダムの既存の収束解析は、有界な滑らかさの仮定に依存する。
本稿では,ランダムにリシャッフルされたAdamの学習率の低下に伴う収束について検討する。
論文 参考訳(メタデータ) (2022-08-21T14:57:47Z) - Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
Adamはディープラーニングアプリケーションに広く使われている最適化手法である。
我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。
画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
論文 参考訳(メタデータ) (2020-11-24T09:28:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。