論文の概要: BAdam: A Memory Efficient Full Parameter Optimization Method for Large Language Models

• arxiv url: http://arxiv.org/abs/2404.02827v3
• Date: Fri, 15 Nov 2024 04:17:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:35:53.947059
• Title: BAdam: A Memory Efficient Full Parameter Optimization Method for Large Language Models
• Title（参考訳）: BAdam:大規模言語モデルのためのメモリ効率の良い全パラメータ最適化手法
• Authors: Qijun Luo, Hengxu Yu, Xiao Li,
• Abstract要約: BAdamは、ブロック座標降下(BCD)フレームワークをAdamの更新ルールで活用する最適化手法である。 BAdamは、大きな言語モデルの完全なパラメータ微調整に対するメモリ効率のよいアプローチを提供する。 私たちのコードは、任意のPyTorchベースのシステムに簡単に統合できます。
• 参考スコア（独自算出の注目度）: 4.265831047857601
• License:
• Abstract: This work presents BAdam, an optimization method that leverages the block coordinate descent (BCD) framework with Adam's update rule. BAdam offers a memory efficient approach to the full parameter finetuning of large language models. We conduct a theoretical convergence analysis for BAdam in the deterministic case. Experimentally, we apply BAdam to finetune the Llama 3-8B and Llama 3-70B models using a single RTX3090-24GB GPU and 4 A100-80GB GPUs, respectively. The results confirm BAdam's efficiency in terms of memory usage, running time, and optimization capability. Furthermore, the downstream performance evaluation based on MT-bench and math benchmarks shows that BAdam outperforms existing memory efficient baselines such as LoRA. It also demonstrates that BAdam can achieve comparable or even superior performance compared to Adam. Finally, the ablation study using SGD's update rule illustrates the suitability of BCD for finetuning LLMs. Our code can be easily integrated into any PyTorch-based codebase and is available at https://github.com/Ledzy/BAdam.
• Abstract（参考訳）: 本研究では、ブロック座標降下(BCD)フレームワークをAdamの更新ルールで活用する最適化手法であるBAdamを提案する。 BAdamは、大きな言語モデルの完全なパラメータ微調整に対するメモリ効率のよいアプローチを提供する。 決定論の場合, BAdam の理論的収束解析を行う。 実験では,1つのRTX3090-24GB GPUと4つのA100-80GB GPUを用いて,Llama 3-8BとLlama 3-70Bモデルを微調整するためにBAdamを適用した。 その結果,メモリ使用量,実行時間,最適化能力の観点から,BAdamの効率性を確認した。 さらに,MT-benchと数学ベンチマークに基づくダウンストリーム性能評価の結果,BAdamはLoRAなどの既存のメモリ効率のベースラインよりも優れていた。 また、BAdamはAdamと同等またはそれ以上のパフォーマンスを達成可能であることも示している。 最後に、SGDの更新規則を用いたアブレーション研究は、微調整LDMに対するBCDの適合性を示している。 私たちのコードは、任意のPyTorchベースのコードベースに簡単に統合することができ、https://github.com/Ledzy/BAdam.orgで利用可能です。

関連論文リスト

• Deconstructing What Makes a Good Optimizer for Language Models [7.9224468703944115]
  SGD,Adafactor,Adam,Lionなどの最適化アルゴリズムを自己回帰言語モデリングの文脈で比較する。 以上の結果から,SGDを除いて,これらのアルゴリズムは最適性能の両立が可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-10T18:11:40Z)
• MicroAdam: Accurate Adaptive Optimization with Low Space Overhead and Provable Convergence [35.17459630834073]
  我々は,理論収束保証を維持しつつ,メモリオーバーヘッドを特に最小化するAdamの新たな変種を提案する。 分散最適化から古典的エラーフィードバック機構の新たなインスタンスを用いて圧縮誤差を制御した。 提案手法は, AMSGradと競合することを保証するとともに, 実用性も良好であることを示す。
  論文  参考訳（メタデータ） (2024-05-24T14:25:23Z)
• Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
  大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。 本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。 提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
  論文  参考訳（メタデータ） (2024-01-29T18:43:49Z)
• AdaLomo: Low-memory Optimization with Adaptive Learning Rate [59.64965955386855]
  大規模言語モデルに対する適応学習率(AdaLomo)を用いた低メモリ最適化を提案する。 AdaLomoはAdamWと同等の結果を得ると同時に、メモリ要件を大幅に削減し、大きな言語モデルをトレーニングするためのハードウェア障壁を低くする。
  論文  参考訳（メタデータ） (2023-10-16T09:04:28Z)
• Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
  微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。 本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
  論文  参考訳（メタデータ） (2023-05-27T02:28:10Z)
• Provable Adaptivity of Adam under Non-uniform Smoothness [79.25087082434975]
  アダムは急速に収束するため、実用的な用途で広く採用されている。 アダムの既存の収束解析は、有界な滑らかさの仮定に依存する。 本稿では,ランダムにリシャッフルされたAdamの学習率の低下に伴う収束について検討する。
  論文  参考訳（メタデータ） (2022-08-21T14:57:47Z)
• Maximizing Communication Efficiency for Large-scale Training via 0/1 Adam [49.426602335460295]
  1ビット通信はモデルトレーニングのスケールアップに有効な手法であり、SGDで広く研究されている。 我々は2つの新しい手法により最先端の1ビットAdamを改善する0/1Adamを提案する。
  論文  参考訳（メタデータ） (2022-02-12T08:02:23Z)
• Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
  Adamはディープラーニングアプリケーションに広く使われている最適化手法である。 我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。 画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2020-11-24T09:28:53Z)
• EAdam Optimizer: How $\epsilon$ Impact Adam [7.0552555621312605]
  本稿では,Adamに対する定数$epsilon$の影響について論じる。 この発見に基づいて,Adam の新たな変種 EAdam を提案する。 当社の手法はAdamと比較して大幅に改善できる。
  論文  参考訳（メタデータ） (2020-11-04T06:39:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。