論文の概要: AdaLomo: Low-memory Optimization with Adaptive Learning Rate

• arxiv url: http://arxiv.org/abs/2310.10195v3
• Date: Thu, 6 Jun 2024 13:22:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-08 00:29:50.140894
• Title: AdaLomo: Low-memory Optimization with Adaptive Learning Rate
• Title（参考訳）: AdaLomo: 適応学習率による低メモリ最適化
• Authors: Kai Lv, Hang Yan, Qipeng Guo, Haijun Lv, Xipeng Qiu,
• Abstract要約: 大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
• 参考スコア（独自算出の注目度）: 59.64965955386855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models have achieved remarkable success, but their extensive parameter size necessitates substantial memory for training, thereby setting a high threshold. While the recently proposed low-memory optimization (LOMO) reduces memory footprint, its optimization technique, akin to stochastic gradient descent, is sensitive to hyper-parameters and exhibits suboptimal convergence, failing to match the performance of the prevailing optimizer for large language models, AdamW. Through empirical analysis of the Adam optimizer, we found that, compared to momentum, the adaptive learning rate is more critical for bridging the gap. Building on this insight, we introduce the low-memory optimization with adaptive learning rate (AdaLomo), which offers an adaptive learning rate for each parameter. To maintain memory efficiency, we employ non-negative matrix factorization for the second-order moment estimation in the optimizer state. Additionally, we suggest the use of a grouped update normalization to stabilize convergence. Our experiments with instruction-tuning and further pre-training demonstrate that AdaLomo achieves results on par with AdamW, while significantly reducing memory requirements, thereby lowering the hardware barrier to training large language models. The code is accessible at https://github.com/OpenLMLab/LOMO.
• Abstract（参考訳）: 大規模言語モデルは目覚ましい成功を収めたが、その広範なパラメータサイズはトレーニングにかなりのメモリを必要とするため、高い閾値を設定できる。 最近提案された低メモリ最適化(LOMO)はメモリフットプリントを削減するが、その最適化手法は確率勾配降下に似ており、ハイパーパラメータに敏感であり、最適でない収束を示す。 アダム最適化器の実証分析により、運動量と比較して、適応学習率の方がギャップを埋める上でより重要であることがわかった。 この知見に基づいて、各パラメータに対して適応学習率を提供する適応学習率(AdaLomo)を用いた低メモリ最適化を導入する。 メモリ効率を維持するために、最適化状態の2次モーメント推定に非負行列分解を用いる。 さらに、収束を安定させるためにグループ化された更新正規化を使うことを提案する。 本研究では,AdaLomoがAdamWと同等の結果を得るとともに,メモリ要求を大幅に低減し,大規模言語モデルの学習におけるハードウェア障壁を低くすることを示す。 コードはhttps://github.com/OpenLMLab/LOMOでアクセスできる。

関連論文リスト

• LDAdam: Adaptive Optimization from Low-Dimensional Gradient Statistics [37.21593513802284]
  大規模なモデルをトレーニングするためのメモリ効率のよい勾配であるLDAdamを紹介する。 LDAdamは,言語モデルの精密かつ効率的な微調整と事前学習を可能にする。
  論文  参考訳（メタデータ） (2024-10-21T15:31:06Z)
• Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models [33.911521719528686]
  微調整は、大きな言語モデルを下流タスクに適応させるには強力だが、多くの場合、大きなメモリ使用量をもたらす。 有望なアプローチはゼロ階勾配 (ZO) を使うことであり、これは第一階勾配 (FO) を置き換えると見積もられている。 本稿では,レイヤワイドスパース計算とメモリ効率の高いZO,LeZOを提案する。
  論文  参考訳（メタデータ） (2024-10-13T12:47:37Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。 本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Surge Phenomenon in Optimal Learning Rate and Batch Size Scaling [27.058009599819012]
  本稿では,Adamスタイルにおける最適学習率とバッチサイズとの関係について検討する。 最適学習率が最初に上昇し、バッチサイズが大きくなるにつれて低下することを示す。
  論文  参考訳（メタデータ） (2024-05-23T13:52:36Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)
• CAME: Confidence-guided Adaptive Memory Efficient Optimization [20.009302737137787]
  適応勾配法は大規模言語モデルの訓練において優れた性能を示した。 二次モーメント推定の維持には、メモリオーバーヘッドの増大を高いコストで維持する必要がある。 補助メモリ使用量の大幅な削減を実現するために、いくつかのメモリ効率が提案されているが、性能上のペナルティがある。 我々は,従来の適応手法のように高速収束,メモリ効率の低い2つの目標を同時に達成するために,CAMEを提案する。
  論文  参考訳（メタデータ） (2023-07-05T06:05:36Z)
• EMO: Episodic Memory Optimization for Few-Shot Meta-Learning [69.50380510879697]
  メタ学習のためのエピソード記憶最適化は、EMOと呼ばれ、脳の記憶から過去の学習経験を思い出す人間の能力にインスパイアされている。 EMOは、限られた数の例によって提供される勾配が非形式的である場合でも、パラメータを正しい方向に更新する。 EMOは、ほとんど数ショットの分類ベンチマークでうまくスケールし、最適化ベースのメタラーニング手法の性能を改善している。
  論文  参考訳（メタデータ） (2023-06-08T13:39:08Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Practical tradeoffs between memory, compute, and performance in learned optimizers [46.04132441790654]
  我々は、多くの学習や手作業で設計された機能に対して、メモリ、計算、パフォーマンスのトレードオフを特定し、定量化する。 分析を活用して、従来の作業よりも速く、より効率的に学習可能なものを構築するのです。
  論文  参考訳（メタデータ） (2022-03-22T16:36:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。