論文の概要: LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models

• arxiv url: http://arxiv.org/abs/2310.08659v4
• Date: Tue, 28 Nov 2023 16:06:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 14:04:39.214041
• Title: LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models
• Title（参考訳）: LoftQ: 大規模言語モデルのための LoRA-Fine-Tuning-Aware 量子化
• Authors: Yixiao Li, Yifan Yu, Chen Liang, Pengcheng He, Nikos Karampatziakis, Weizhu Chen, Tuo Zhao
• Abstract要約: 我々は、事前訓練されたモデルに量子化とLoRA微調整を併用するシナリオに焦点を当てる。 本稿では,新しい量子化フレームワークであるLoftQ(LoRA-Fine-Tuning-Aware Quantization)を提案する。 実験の結果,本手法は有効であり,既存の量子化法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 104.23434818428062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Quantization is an indispensable technique for serving Large Language Models (LLMs) and has recently found its way into LoRA fine-tuning. In this work we focus on the scenario where quantization and LoRA fine-tuning are applied together on a pre-trained model. In such cases it is common to observe a consistent gap in the performance on downstream tasks between full fine-tuning and quantization plus LoRA fine-tuning approach. In response, we propose LoftQ (LoRA-Fine-Tuning-aware Quantization), a novel quantization framework that simultaneously quantizes an LLM and finds a proper low-rank initialization for LoRA fine-tuning. Such an initialization alleviates the discrepancy between the quantized and full-precision model and significantly improves generalization in downstream tasks. We evaluate our method on natural language understanding, question answering, summarization, and natural language generation tasks. Experiments show that our method is highly effective and outperforms existing quantization methods, especially in the challenging 2-bit and 2/4-bit mixed precision regimes. The code is available on https://github.com/yxli2123/LoftQ.
• Abstract（参考訳）: 量子化は、LLM(Large Language Models)を提供するのに必須のテクニックであり、最近LoRAファインチューニングへの道を見つけた。 本研究では、事前学習モデルに量子化とLoRA微調整を併用するシナリオに焦点を当てる。 このような場合、完全な微調整と量子化とLoRA微調整のアプローチで下流タスクのパフォーマンスの一貫性のあるギャップを観察することが一般的である。 LLMの量子化を同時に行う新しい量子化フレームワークであるLoftQ(LoRA-Fine-Tuning-Aware Quantization)を提案する。 このような初期化は量子化モデルと完全精度モデルの相違を緩和し、下流タスクの一般化を大幅に改善する。 本稿では,自然言語理解,質問応答,要約,自然言語生成タスクについて評価する。 実験により,本手法は既存の量子化法,特に2ビットと2/4ビットの混合精度で高い性能を示した。 コードはhttps://github.com/yxli2123/LoftQで入手できる。

関連論文リスト

• Bayesian-LoRA: LoRA based Parameter Efficient Fine-Tuning using Optimal Quantization levels and Rank Values trough Differentiable Bayesian Gates [21.811889512977924]
  自然言語処理では、単一のモデルを事前訓練し、下流のタスクのために微調整するのが一般的である。 B-LoRAは、特定の下流タスクで事前訓練されたモデルを微調整することができ、ローランク行列ごとに最適なランク値と量子化レベルを求めることができる。 B-LoRAはベースラインと同等かそれ以上で動作し、ビット操作の総数を約70%削減する。
  論文  参考訳（メタデータ） (2024-06-18T20:26:30Z)
• Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
  多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。 近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。 本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
  論文  参考訳（メタデータ） (2024-06-13T07:57:27Z)
• ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
  低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。 提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-02-28T04:33:20Z)
• Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning [31.036465632204663]
  本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。 計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-08T14:26:49Z)
• NOLA: Compressing LoRA using Linear Combination of Random Basis [22.76088132446952]
  我々は、ロラに存在するランク1の下界を克服するNOLAを導入する。 NOLAは、ランク1のLoRAと比較してパラメータ数がはるかに少ないLoRAモデルと同様に、最高の圧縮LoRAをアーカイブできる。
  論文  参考訳（メタデータ） (2023-10-04T03:30:24Z)
• LoRA ensembles for large language model fine-tuning [35.78186948630364]
  Low-Rank Adapters (LoRA) はパラメータ効率の良い微調整技術である。 LoRAは非常に少数のパラメータを表しており、基礎となる事前訓練モデルよりも桁違いに少ない。 LoRAアンサンブルは,既存の正則化技術上にのみ適用され,予測精度と不確実性の定量化に一貫した改善をもたらすことが判明した。
  論文  参考訳（メタデータ） (2023-09-29T16:38:38Z)
• QA-LoRA: Quantization-Aware Low-Rank Adaptation of Large Language Models [85.02796681773447]
  量子化対応低ランク適応(QA-LoRA)アルゴリズムを提案する。 その動機は量子化と適応の自由の不均衡度にある。 QA-LoRAは数行のコードで簡単に実装できる。
  論文  参考訳（メタデータ） (2023-09-26T07:22:23Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)
• LoRA: Low-Rank Adaptation of Large Language Models [71.75808607987281]
  Low-Rank Adaptation (LoRA)はトレーニング済みモデルの重みを凍結し、トレーニング可能な階数分解をTransformerアーキテクチャの各層に注入する。 GPT-3では、LoRAはトレーニング可能なパラメータの数を1万倍に減らし、計算ハードウェアの要求をフル微調整の3倍に削減できる。
  論文  参考訳（メタデータ） (2021-06-17T17:37:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。