論文の概要: SWAN: SGD with Normalization and Whitening Enables Stateless LLM Training

• arxiv url: http://arxiv.org/abs/2412.13148v2
• Date: Mon, 23 Dec 2024 10:46:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 12:13:27.511650
• Title: SWAN: SGD with Normalization and Whitening Enables Stateless LLM Training
• Title（参考訳）: SWAN:ノーマライゼーションとホワイトニングを併用したSGDによるステートレスLLMトレーニング
• Authors: Chao Ma, Wenbo Gong, Meyer Scetbon, Edward Meeds,
• Abstract要約: Gradient Descent(SGD)は、トレーニング中に状態変数をトラッキングしないため、ステートレスで拡張性がある。 本研究では,SGDを非定常的に前処理することで,LLMのトレーニングを行うAdamと同じ性能が得られることを示す。 正規化は勾配を安定化させ,損失景観の局所的な曲率に反することを示す。これによってSWAN (SGD with Whitening and Normalization) が成立し,任意の状態を保存する必要がなくなる。
• 参考スコア（独自算出の注目度）: 16.037614012166063
• License:
• Abstract: Adaptive optimizers such as Adam (Kingma & Ba, 2015) have been central to the success of large language models. However, they often require to maintain optimizer states throughout training, which can result in memory requirements several times greater than the model footprint. This overhead imposes constraints on scalability and computational efficiency. Stochastic Gradient Descent (SGD), in contrast, is a stateless optimizer, as it does not track state variables during training. Consequently, it achieves optimal memory efficiency. However, its capability in LLM training is limited (Zhao et al., 2024b). In this work, we show that pre-processing SGD in a stateless manner can achieve the same performance as the Adam optimizer for LLM training, while drastically reducing the memory cost. Specifically, we propose to pre-process the instantaneous stochastic gradients using normalization and whitening. We show that normalization stabilizes gradient distributions, and whitening counteracts the local curvature of the loss landscape. This results in SWAN (SGD with Whitening And Normalization), a stochastic optimizer that eliminates the need to store any optimizer states. Empirically, SWAN has the same memory footprint as SGD, achieving $\approx 50\%$ reduction on total end-to-end memory compared to Adam. In language modeling tasks, SWAN demonstrates comparable or even better performance than Adam: when pre-training the LLaMA model with 350M and 1.3B parameters, SWAN achieves a 2x speedup by reaching the same evaluation perplexity using half as many tokens.
• Abstract（参考訳）: Adam (Kingma & Ba, 2015) のような適応型オプティマイザは、大規模な言語モデルの成功の中心となっている。 しかしながら、トレーニングを通じて最適化状態を維持する必要があり、結果としてモデルのフットプリントの何倍もメモリ要件が増大する可能性がある。 このオーバーヘッドはスケーラビリティと計算効率に制約を課します。 対照的に、SGD(Stochastic Gradient Descent)は、トレーニング中の状態変数をトラッキングしないため、ステートレスなオプティマイザである。 これにより、最適なメモリ効率が得られる。 しかし、LLMトレーニングの能力は限られている(Zhao et al , 2024b)。 本研究では,LLMトレーニングにおけるAdamオプティマイザと同じ性能を実現すると同時に,メモリコストを大幅に削減できることを示す。 具体的には,正規化と白化を用いた瞬時確率勾配の事前処理を提案する。 正規化は勾配分布を安定化させ, ホワイトニングは損失地形の局所曲率に反することを示す。 この結果、SWAN(SGD with Whitening And Normalization)は、任意のオプティマイザ状態を保存する必要をなくす確率的オプティマイザである。 SWAN のメモリフットプリントは SGD と同じで,Adam と比較すると,完全なエンドツーエンドメモリに対する $\approx 50\% の削減を実現している。 言語モデリングタスクでは、SWANはAdamと同等かそれ以上の性能を示している:350Mと1.3BパラメータでLLaMAモデルを事前訓練すると、SWANは半分のトークンを使って同じ評価の難易度に達することで2倍のスピードアップを達成する。

関連論文リスト

• FRUGAL: Memory-Efficient Optimization by Reducing State Overhead for Scalable Training [51.39495282347475]
  我々は、新しいメモリ効率最適化フレームワークであるtextbfF$ull-$textbfR$ank $textbfU$pdates with $textbfG$r$textbfA$dient sp$textbfL$ittingを紹介します。 当社のフレームワークは,GaLoreやBAdamなど,さまざまな低ランク更新選択技術と統合することが可能です。
  論文  参考訳（メタデータ） (2024-11-12T14:41:07Z)
• LDAdam: Adaptive Optimization from Low-Dimensional Gradient Statistics [37.21593513802284]
  大規模なモデルをトレーニングするためのメモリ効率のよい勾配であるLDAdamを紹介する。 LDAdamは,言語モデルの精密かつ効率的な微調整と事前学習を可能にする。
  論文  参考訳（メタデータ） (2024-10-21T15:31:06Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。 本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• MGDA Converges under Generalized Smoothness, Provably [27.87166415148172]
  多目的最適化(MOO)はマルチタスク学習など様々な分野で注目を集めている。 最近の研究は、理論解析を伴う効果的なアルゴリズムを提供しているが、それらは標準の$L$-smoothあるいは有界勾配仮定によって制限されている。 一般化された$ell$-smooth損失関数のより一般的で現実的なクラスについて研究し、$ell$は勾配ノルムの一般非減少関数である。
  論文  参考訳（メタデータ） (2024-05-29T18:36:59Z)
• Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
  大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。 本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。 提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
  論文  参考訳（メタデータ） (2024-01-29T18:43:49Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Robust Training of Neural Networks using Scale Invariant Architectures [70.67803417918854]
  SGDとは対照的に、Adamのような適応勾配法は、現代のディープネットワークの堅牢なトレーニングを可能にする。 この一般的なアプローチは、パラメータと損失の再スケーリングに頑健であることを示す。 我々は、単にバニラSGDで訓練された場合、Adamのような適応的な手法で訓練されたBERTに匹敵する性能を達成する、SIBERTと呼ばれるスケール不変バージョンのBERTを設計する。
  論文  参考訳（メタデータ） (2022-02-02T11:58:56Z)
• Correcting Momentum with Second-order Information [50.992629498861724]
  最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。 我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
  論文  参考訳（メタデータ） (2021-03-04T19:01:20Z)
• Scaling Distributed Training with Adaptive Summation [2.6210166639679]
  本稿では,従来の作業よりも早く収束するAdasum(適応和)と呼ばれる勾配を結合する新しい手法を提案する。 Adasumは実装が容易で、グラデーションを要約するのと同じくらい効率的で、オープンソースのツールキットHorovodに統合されている。
  論文  参考訳（メタデータ） (2020-06-04T15:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。