論文の概要: Addax: Utilizing Zeroth-Order Gradients to Improve Memory Efficiency and Performance of SGD for Fine-Tuning Language Models

• arxiv url: http://arxiv.org/abs/2410.06441v1
• Date: Wed, 9 Oct 2024 00:49:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 05:38:53.441203
• Title: Addax: Utilizing Zeroth-Order Gradients to Improve Memory Efficiency and Performance of SGD for Fine-Tuning Language Models
• Title（参考訳）: Addax: ゼロ階勾配を利用して、微調整言語モデルのためのSGDのメモリ効率と性能を改善する
• Authors: Zeman Li, Xinwei Zhang, Peilin Zhong, Yuan Deng, Meisam Razaviyayn, Vahab Mirrokni,
• Abstract要約: 本稿では,MeZOと統合することでIP-SGDのメモリ効率と性能を両立させる新しい手法であるAddaxを紹介する。 我々の実験では、メモリフットプリントに匹敵する精度と収束速度において、AddaxはMeZOを一貫して上回ります。
• 参考スコア（独自算出の注目度）: 35.84667536915878
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning language models (LMs) with the Adam optimizer often demands excessive memory, limiting accessibility. The "in-place" version of Stochastic Gradient Descent (IP-SGD) and Memory-Efficient Zeroth-order Optimizer (MeZO) have been proposed to address this. However, IP-SGD still requires substantial memory, and MeZO suffers from slow convergence and degraded final performance due to its zeroth-order nature. This paper introduces Addax, a novel method that improves both memory efficiency and performance of IP-SGD by integrating it with MeZO. Specifically, Addax computes zeroth- or first-order gradients of data points in the minibatch based on their memory consumption, combining these gradient estimates to update directions. By computing zeroth-order gradients for data points that require more memory and first-order gradients for others, Addax overcomes the slow convergence of MeZO and the excessive memory requirement of IP-SGD. Additionally, the zeroth-order gradient acts as a regularizer for the first-order gradient, further enhancing the model's final performance. Theoretically, we establish the convergence of Addax under mild assumptions, demonstrating faster convergence and less restrictive hyper-parameter choices than MeZO. Our experiments with diverse LMs and tasks show that Addax consistently outperforms MeZO regarding accuracy and convergence speed while having a comparable memory footprint. When fine-tuning OPT-13B with one A100 GPU, on average, Addax outperforms MeZO in accuracy/F1 score by 14% and runs 15x faster while using memory similar to MeZO. In our experiments on the larger OPT-30B model, on average, Addax outperforms MeZO in terms of accuracy/F1 score by >16 and runs 30x faster on a single H100 GPU. Moreover, Addax surpasses the performance of standard fine-tuning approaches, such as IP-SGD and Adam, in most tasks with significantly less memory requirement.
• Abstract（参考訳）: Adamオプティマイザを備えた微調整言語モデル(LM)は、しばしば過剰なメモリを必要とするため、アクセシビリティが制限される。 Stochastic Gradient Descent (IP-SGD) と Memory-Efficient Zeroth-order Optimizer (MeZO) の "in-place" バージョンが提案されている。 しかし、IP-SGDは依然としてかなりのメモリを必要とするため、MeZOは収束が遅く、最終性能が劣化する。 本稿では,MeZOと統合することでIP-SGDのメモリ効率と性能を両立させる新しい手法であるAddaxを紹介する。 具体的には、Addaxはメモリ消費に基づいてミニバッチ内のデータポイントの0階または1階の勾配を計算し、これらの勾配推定値を組み合わせて方向を更新する。 メモリの増大と他のメモリの1次勾配を必要とするデータポイントのゼロ階勾配を計算することで、AddaxはMeZOの緩やかな収束とIP-SGDの過剰なメモリ要求を克服する。 さらに、ゼロ階勾配は1階勾配の正則化器として機能し、モデルの最終性能をさらに向上させる。 理論的には、軽度の仮定の下でAddaxの収束を確立し、MeZOよりも高速な収束と制約の少ないハイパーパラメータ選択を示す。 多様なLMとタスクを用いた実験により,メモリフットプリントに匹敵する精度と収束速度において,AddaxはMeZOを一貫して上回っていることがわかった。 1つのA100 GPUでOPT-13Bを微調整すると、AddaxはMeZOの精度/F1スコアを14%上回り、MeZOと同様のメモリを使用しながら15倍速く動作する。 OPT-30Bモデルに対する我々の実験では、平均してAddaxはMeZOよりも精度/F1のスコアが16で、単一のH100 GPU上では30倍高速である。 さらに、AddaxはIP-SGDやAdamといった標準的な微調整アプローチよりも、メモリ要件が大幅に少ないほとんどのタスクでパフォーマンスを上回ります。

関連論文リスト

• HELENE: Hessian Layer-wise Clipping and Gradient Annealing for Accelerating Fine-tuning LLM with Zeroth-order Optimization [18.00873866263434]
  微調整された大きな言語モデル(LLM)は、大きなメモリ問題を引き起こす。 最近の研究であるMeZOは、ゼロ階最適化法(ZO)を用いてこの問題に対処している。 HELENEは、スケーラブルでメモリ効率の良い新しいプレコンディショナーである。
  論文  参考訳（メタデータ） (2024-11-16T04:27:22Z)
• Simultaneous Computation and Memory Efficient Zeroth-Order Optimizer for Fine-Tuning Large Language Models [33.911521719528686]
  微調整は、大きな言語モデルを下流タスクに適応させるには強力だが、多くの場合、大きなメモリ使用量をもたらす。 有望なアプローチはゼロ階勾配 (ZO) を使うことであり、これは第一階勾配 (FO) を置き換えると見積もられている。 本稿では,レイヤワイドスパース計算とメモリ効率の高いZO,LeZOを提案する。
  論文  参考訳（メタデータ） (2024-10-13T12:47:37Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。 本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Variance-reduced Zeroth-Order Methods for Fine-Tuning Language Models [17.027512781038617]
  Zeroth-order (ZO) 最適化手法は、メモリ効率の高いフォワードパスを推定に利用することができる。 ZO-SGDの適応であるMeZOは、ゼロショット学習とインコンテキスト学習を一貫して上回ることが示されている。 MeZO-SVRGは1次SGDに比べてメモリフットプリントが大幅に削減される。
  論文  参考訳（メタデータ） (2024-04-11T18:35:49Z)
• Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning [67.44661423463927]
  本稿では,ZOをパラメータの慎重に選択したサブセットにのみ適用するメモリ効率のゼロ階最適化手法であるSparse MeZOを紹介する。 その結果,Sparse-MeZO はオーバーヘッドを伴わずに,MeZO 上での性能と収束速度を安定的に向上することを示した。
  論文  参考訳（メタデータ） (2024-02-24T07:22:04Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
  微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。 本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
  論文  参考訳（メタデータ） (2023-05-27T02:28:10Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。