論文の概要: LoRA-GA: Low-Rank Adaptation with Gradient Approximation

• arxiv url: http://arxiv.org/abs/2407.05000v1
• Date: Sat, 6 Jul 2024 08:37:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 21:28:00.710565
• Title: LoRA-GA: Low-Rank Adaptation with Gradient Approximation
• Title（参考訳）: LoRA-GA: 勾配近似による低ランク適応
• Authors: Shaowen Wang, Linxi Yu, Jian Li,
• Abstract要約: 微調整された大規模事前訓練モデルは、計算とメモリコストの点で極めて高価である。 LoRAは、パラメータが著しく少ない補助的な低ランクモデルを微調整することで、コスト効率のよい代替手段を提供する。 LoRAは完全な微調整に比べてかなり遅い速度で収束し、全体的な計算能力が向上し、しばしばテスト性能が悪化する。
• 参考スコア（独自算出の注目度）: 5.685201910521295
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Fine-tuning large-scale pretrained models is prohibitively expensive in terms of computational and memory costs. LoRA, as one of the most popular Parameter-Efficient Fine-Tuning (PEFT) methods, offers a cost-effective alternative by fine-tuning an auxiliary low-rank model that has significantly fewer parameters. Although LoRA reduces the computational and memory requirements significantly at each iteration, extensive empirical evidence indicates that it converges at a considerably slower rate compared to full fine-tuning, ultimately leading to increased overall compute and often worse test performance. In our paper, we perform an in-depth investigation of the initialization method of LoRA and show that careful initialization (without any change of the architecture and the training algorithm) can significantly enhance both efficiency and performance. In particular, we introduce a novel initialization method, LoRA-GA (Low Rank Adaptation with Gradient Approximation), which aligns the gradients of low-rank matrix product with those of full fine-tuning at the first step. Our extensive experiments demonstrate that LoRA-GA achieves a convergence rate comparable to that of full fine-tuning (hence being significantly faster than vanilla LoRA as well as various recent improvements) while simultaneously attaining comparable or even better performance. For example, on the subset of the GLUE dataset with T5-Base, LoRA-GA outperforms LoRA by 5.69% on average. On larger models such as Llama 2-7B, LoRA-GA shows performance improvements of 0.34, 11.52%, and 5.05% on MT-bench, GSM8K, and Human-eval, respectively. Additionally, we observe up to 2-4 times convergence speed improvement compared to vanilla LoRA, validating its effectiveness in accelerating convergence and enhancing model performance. Code is available at https://github.com/Outsider565/LoRA-GA.
• Abstract（参考訳）: 微調整された大規模事前訓練モデルは、計算とメモリコストの点で極めて高価である。 LoRAは、パラメータ効率の良いファインチューニング(PEFT)手法として、パラメータが著しく少ない補助的な低ランクモデルを微調整することで、コスト効率の良い代替手段を提供する。 LoRAは各イテレーションで計算とメモリの要求を大幅に削減するが、広範な実証的な証拠は、完全な微調整に比べてかなり遅い速度で収束し、最終的には計算全体の増加とテスト性能の悪化につながることを示している。 本稿では,LoRAの初期化手法の詳細な検討を行い,アーキテクチャやトレーニングアルゴリズムの変更なしに,注意深い初期化が効率と性能の両方を大幅に向上させることを示す。 特に,新しい初期化手法であるLoRA-GA(Low Rank Adaptation with Gradient Approximation)を導入する。 我々の広範囲な実験により、LoRA-GAは完全な微調整と同等の収束率(バニラのLoRAよりも大幅に高速であり、最近の改良もいくつかある)を同時に達成し、同時に同等あるいはより優れた性能を実現していることが示された。 例えば、GLUEデータセットのサブセットであるT5-Baseでは、LoRA-GAは平均で5.69%向上している。 Llama 2-7Bのような大型モデルでは、それぞれMT-bench、GSM8K、Human-evalで0.34、1.52%、および5.05%の性能向上を示した。 さらに,バニラロラに比べて最大2～4倍の収束速度向上が観察され,収束の促進とモデル性能の向上に効果が検証された。 コードはhttps://github.com/Outsider565/LoRA-GAで入手できる。

関連論文リスト

• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• LoRA$^2$ : Multi-Scale Low-Rank Approximations for Fine-Tuning Large Language Models [3.7049613588433497]
  Low-Rank Adaptation (LoRA)は、微調整のためのトレーニング可能なパラメータの数を著しく削減する。 LoRAを複数のスケールに拡張し、LoRA$2$と名付けます。
  論文  参考訳（メタデータ） (2024-08-13T12:31:30Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• Unlocking the Global Synergies in Low-Rank Adapters [20.32980343066711]
  低ランク適応(LoRA)は、大規模言語モデルのためのデファクトパラメータ効率の高い微調整技術である。 本稿では、ゼロコストプロキシを利用して限られたLoRAトレーニングパラメータを割り当てる軽量探索アルゴリズムであるHeteroLoRAを提案する。 実験の結果、HeteroLoRAは同じパラメータのバッジでモデルパフォーマンスを改善することができることがわかった。
  論文  参考訳（メタデータ） (2024-06-21T08:10:03Z)
• ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
  低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。 提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-02-28T04:33:20Z)
• Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning [31.036465632204663]
  本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。 計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-08T14:26:49Z)
• Run LoRA Run: Faster and Lighter LoRA Implementations [50.347242693025336]
  LoRAは、線形層に低ランクアダプタを導入することにより、ニューラルネットワーク内のトレーニング可能なパラメータの数を減らすテクニックである。 本稿では,LoRAの効率的な実装のためのRunLoRAフレームワークを提案する。 実験は、言語モデリングネットワーク上で最大28%のスピードアップを示す。
  論文  参考訳（メタデータ） (2023-12-06T10:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。