論文の概要: BAdam: A Memory Efficient Full Parameter Optimization Method for Large Language Models

• arxiv url: http://arxiv.org/abs/2404.02827v3
• Date: Fri, 15 Nov 2024 04:17:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:35:53.947059
• Title: BAdam: A Memory Efficient Full Parameter Optimization Method for Large Language Models
• Title（参考訳）: BAdam:大規模言語モデルのためのメモリ効率の良い全パラメータ最適化手法
• Authors: Qijun Luo, Hengxu Yu, Xiao Li,
• Abstract要約: BAdamは、ブロック座標降下(BCD)フレームワークをAdamの更新ルールで活用する最適化手法である。 BAdamは、大きな言語モデルの完全なパラメータ微調整に対するメモリ効率のよいアプローチを提供する。 私たちのコードは、任意のPyTorchベースのシステムに簡単に統合できます。
• 参考スコア（独自算出の注目度）: 4.265831047857601
• License:
• Abstract: This work presents BAdam, an optimization method that leverages the block coordinate descent (BCD) framework with Adam's update rule. BAdam offers a memory efficient approach to the full parameter finetuning of large language models. We conduct a theoretical convergence analysis for BAdam in the deterministic case. Experimentally, we apply BAdam to finetune the Llama 3-8B and Llama 3-70B models using a single RTX3090-24GB GPU and 4 A100-80GB GPUs, respectively. The results confirm BAdam's efficiency in terms of memory usage, running time, and optimization capability. Furthermore, the downstream performance evaluation based on MT-bench and math benchmarks shows that BAdam outperforms existing memory efficient baselines such as LoRA. It also demonstrates that BAdam can achieve comparable or even superior performance compared to Adam. Finally, the ablation study using SGD's update rule illustrates the suitability of BCD for finetuning LLMs. Our code can be easily integrated into any PyTorch-based codebase and is available at https://github.com/Ledzy/BAdam.
• Abstract（参考訳）: 本研究では、ブロック座標降下(BCD)フレームワークをAdamの更新ルールで活用する最適化手法であるBAdamを提案する。 BAdamは、大きな言語モデルの完全なパラメータ微調整に対するメモリ効率のよいアプローチを提供する。 決定論の場合, BAdam の理論的収束解析を行う。 実験では,1つのRTX3090-24GB GPUと4つのA100-80GB GPUを用いて,Llama 3-8BとLlama 3-70Bモデルを微調整するためにBAdamを適用した。 その結果,メモリ使用量,実行時間,最適化能力の観点から,BAdamの効率性を確認した。 さらに,MT-benchと数学ベンチマークに基づくダウンストリーム性能評価の結果,BAdamはLoRAなどの既存のメモリ効率のベースラインよりも優れていた。 また、BAdamはAdamと同等またはそれ以上のパフォーマンスを達成可能であることも示している。 最後に、SGDの更新規則を用いたアブレーション研究は、微調整LDMに対するBCDの適合性を示している。 私たちのコードは、任意のPyTorchベースのコードベースに簡単に統合することができ、https://github.com/Ledzy/BAdam.orgで利用可能です。

関連論文リスト

• Mistral 7B [62.17530433867458]
  Mistral 7Bはすべての評価ベンチマークでLlama 2 13B、推論、数学、コード生成でLlama 1 34Bを上回っている。 また、命令に従うように微調整されたモデルも提供します。 Mistral 7B -- Instructは、Llama 2 13Bを越え、人間と自動化ベンチマークの両方でチャットモデルを提供します。
  論文  参考訳（メタデータ） (2023-10-10T17:54:58Z)
• MiniSUPERB: Lightweight Benchmark for Self-supervised Speech Models [90.99663022952498]
  SuperBは自己教師付き学習(SSL)音声モデルの様々なタスクにおける一般化性を評価するために提案された。 SuperBは大規模なデータセットと多様なタスクのために高い計算コストを発生させる。 我々は,SUPERBに匹敵する結果のSSL音声モデルを効率よく評価する軽量ベンチマークであるMiniSUPERBを紹介する。
  論文  参考訳（メタデータ） (2023-05-30T13:07:33Z)
• Noise Is Not the Main Factor Behind the Gap Between SGD and Adam on Transformers, but Sign Descent Might Be [16.170888329408353]
  大規模なバッチを持つAdamの挙動は、運動量を持つ符号降下と類似していることが示される。 我々は,SGDとAdamのパフォーマンスギャップにおいて,重み付けノイズと重み付けノイズが重要な要因ではないことを示す。
  論文  参考訳（メタデータ） (2023-04-27T05:41:13Z)
• Provable Adaptivity of Adam under Non-uniform Smoothness [79.25087082434975]
  アダムは急速に収束するため、実用的な用途で広く採用されている。 アダムの既存の収束解析は、有界な滑らかさの仮定に依存する。 本稿では,ランダムにリシャッフルされたAdamの学習率の低下に伴う収束について検討する。
  論文  参考訳（メタデータ） (2022-08-21T14:57:47Z)
• Maximizing Communication Efficiency for Large-scale Training via 0/1 Adam [49.426602335460295]
  1ビット通信はモデルトレーニングのスケールアップに有効な手法であり、SGDで広く研究されている。 我々は2つの新しい手法により最先端の1ビットAdamを改善する0/1Adamを提案する。
  論文  参考訳（メタデータ） (2022-02-12T08:02:23Z)
• Understanding AdamW through Proximal Methods and Scale-Freeness [57.47324825501137]
  Adam は $ell$ regularizer Adam-$ell$ の一般化である。 AdamWは、Adam-$ell$の更新ルールからAdam-$ell$の勾配を分離する。 我々はAdamWがAdam-$ell$よりも有利であることを示し、ネットワークの勾配が複数のスケールを示すことを期待する度合いを示す。
  論文  参考訳（メタデータ） (2022-01-31T21:00:55Z)
• Adam$^+$: A Stochastic Method with Adaptive Variance Reduction [56.051001950733315]
  Adamはディープラーニングアプリケーションに広く使われている最適化手法である。 我々はAdam$+$(Adam-plusと発音する)という新しい方法を提案する。 画像分類,言語モデリング,自動音声認識など,さまざまなディープラーニングタスクに関する実証研究により,Adam$+$がAdamを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2020-11-24T09:28:53Z)
• EAdam Optimizer: How $\epsilon$ Impact Adam [7.0552555621312605]
  本稿では,Adamに対する定数$epsilon$の影響について論じる。 この発見に基づいて,Adam の新たな変種 EAdam を提案する。 当社の手法はAdamと比較して大幅に改善できる。
  論文  参考訳（メタデータ） (2020-11-04T06:39:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。