論文の概要: Full Parameter Fine-tuning for Large Language Models with Limited Resources

• arxiv url: http://arxiv.org/abs/2306.09782v1
• Date: Fri, 16 Jun 2023 11:37:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 14:11:33.981302
• Title: Full Parameter Fine-tuning for Large Language Models with Limited Resources
• Title（参考訳）: 限られた資源を持つ大言語モデルのための全パラメータ微調整
• Authors: Kai Lv, Yuqing Yang, Tengxiao Liu, Qinghui Gao, Qipeng Guo, Xipeng Qiu
• Abstract要約: 大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、トレーニングには大量のGPUリソースを必要としている。 我々は,メモリ使用量を削減するために,勾配とパラメータの更新を1ステップで融合する新しい計算,LOMO(LOw-Memory Optimization)を提案する。
• 参考スコア（独自算出の注目度）: 41.05569573467512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have revolutionized Natural Language Processing (NLP) but demand massive GPU resources for training. Lowering the threshold for LLMs training would encourage greater participation from researchers, benefiting both academia and society. While existing approaches have focused on parameter-efficient fine-tuning, which tunes or adds a small number of parameters, few have addressed the challenge of tuning the full parameters of LLMs with limited resources. In this work, we propose a new optimizer, LOw-Memory Optimization (LOMO), which fuses the gradient computation and the parameter update in one step to reduce memory usage. By integrating LOMO with existing memory saving techniques, we reduce memory usage to 10.8% compared to the standard approach (DeepSpeed solution). Consequently, our approach enables the full parameter fine-tuning of a 65B model on a single machine with 8 RTX 3090, each with 24GB memory.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、トレーニングには膨大なGPUリソースを必要とする。 LLMsトレーニングのしきい値の低下は、研究者のさらなる参加を促し、アカデミックと社会の両方に利益をもたらす。 既存のアプローチではパラメータ効率の細かいチューニングに重点を置いているが、限られたリソースで LLM の完全なパラメータをチューニングするという課題に対処する者はほとんどいない。 本研究では,メモリ使用量を削減するために,勾配計算とパラメータ更新を1ステップで融合した新しい最適化器LOMOを提案する。 LOMOを既存のメモリ節約技術と統合することにより、メモリ使用量を標準手法(DeepSpeedソリューション)と比較して10.8%に削減する。 提案手法により,RTX 3090が8台,メモリが24GBの1台のマシン上で,65Bモデルの全パラメータを微調整できる。

関連論文リスト

• Search for Efficient Large Language Models [52.98684997131108]
  大規模言語モデル(LLMs)は、人工知能研究の領域で長い間停滞してきた。 軽量プルーニング、量子化、蒸留がLLMの圧縮に取り入れられ、メモリの削減と推論の加速を狙った。 ほとんどのモデル圧縮技術は、最適アーキテクチャの探索を見越して重量最適化に重点を置いている。
  論文  参考訳（メタデータ） (2024-09-25T21:32:12Z)
• Scalable MatMul-free Language Modeling [8.672867887354977]
  MatMul操作は大規模言語モデルから完全に除去可能であることを示す。 提案するMatMulフリーモデルは,最先端のトランスフォーマーと同等の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-04T17:50:34Z)
• GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection [133.45193150403537]
  LLM(Large Language Models)のトレーニングは、重み付けやGPU状態の増大によって、メモリ上の重大な問題が発生する。 本研究では,メモリ効率のトレーニング戦略としてグラディエント・ローランド・プロジェクション(GaLore)を提案する。 私たちの8ビットのGaLoreは、BF16ベースラインと比較して、メモリを82.5%、トレーニング総メモリを63.3%削減します。
  論文  参考訳（メタデータ） (2024-03-06T07:29:57Z)
• Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
  大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。 本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。 提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
  論文  参考訳（メタデータ） (2024-01-29T18:43:49Z)
• HiFT: A Hierarchical Full Parameter Fine-Tuning Strategy [55.17502828915191]
  本稿では,各学習段階におけるパラメータのサブセットのみを更新する,新しい非独立なエンドツーエンドの階層的微調整戦略であるHiFTを提案する。 この結果から,HiFTはパラメータ効率の高いファインチューニングと標準のフルパラメータファインチューニングに匹敵する性能を達成できることが示された。
  論文  参考訳（メタデータ） (2024-01-26T21:14:32Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• QFT: Quantized Full-parameter Tuning of LLMs with Affordable Resources [37.265708531464746]
  大規模言語モデル(LLM)は、さまざまな自然言語処理タスクに顕著な影響を与えている。 これらのトレーニング済みモデルを下流データセットに微調整することで、さらなる大幅なパフォーマンス向上が達成されるが、このプロセスは異常なリソース要求のために困難だった。 性能を損なうことなくメモリ効率のよい微調整を可能にするLLMのための新しい量子フルパラメータチューニングフレームワークQFTを提案する。
  論文  参考訳（メタデータ） (2023-10-11T02:47:40Z)
• R2GenGPT: Radiology Report Generation with Frozen LLMs [47.72270349660438]
  R2GenGPTは、視覚的特徴をLLMの単語埋め込み空間と整合させる新しいソリューションである。 R2GenGPTは、軽量なビジュアルアライメントモジュールのみをトレーニングすることで、最先端(SOTA)のパフォーマンスを実現する。 我々のモデルは、SOTAレベルに近い性能を達成するために、500Mパラメータのみを訓練する。
  論文  参考訳（メタデータ） (2023-09-18T14:35:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。