論文の概要: LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning

• arxiv url: http://arxiv.org/abs/2403.17919v3
• Date: Sat, 25 May 2024 10:20:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 06:16:48.625448
• Title: LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning
• Title（参考訳）: LISA: メモリ効率の良い大規模言語モデルファインチューニングのための階層的重要度サンプリング
• Authors: Rui Pan, Xiang Liu, Shizhe Diao, Renjie Pi, Jipeng Zhang, Chi Han, Tong Zhang,
• Abstract要約: 大規模言語モデル(LLM)は大規模トレーニングにおいて重要な障害となっている。 ローランド適応(LoRA)はこの問題を軽減するために提案されている。 微調整作業におけるLoRAの層状特性について検討し、予期せぬが一貫した重みノルムの歪さを観察する。 私たちはLayerwise Importance Sampled AdamW (LISA)と名付けた。
• 参考スコア（独自算出の注目度）: 31.088229461632206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The machine learning community has witnessed impressive advancements since large language models (LLMs) first appeared. Yet, their massive memory consumption has become a significant roadblock to large-scale training. For instance, a 7B model typically requires at least 60 GB of GPU memory with full parameter training, which presents challenges for researchers without access to high-resource environments. Parameter Efficient Fine-Tuning techniques such as Low-Rank Adaptation (LoRA) have been proposed to alleviate this problem. However, in most large-scale fine-tuning settings, their performance does not reach the level of full parameter training because they confine the parameter search to a low-rank subspace. Attempting to complement this deficiency, we investigate the layerwise properties of LoRA on fine-tuning tasks and observe an unexpected but consistent skewness of weight norms across different layers. Utilizing this key observation, a surprisingly simple training strategy is discovered, which outperforms both LoRA and full parameter training in a wide range of settings with memory costs as low as LoRA. We name it Layerwise Importance Sampled AdamW (LISA), a promising alternative for LoRA, which applies the idea of importance sampling to different layers in LLMs and randomly freezes most middle layers during optimization. Experimental results show that with similar or less GPU memory consumption, LISA surpasses LoRA or even full parameter tuning in downstream fine-tuning tasks, where LISA consistently outperforms LoRA by over 10%-35% in terms of MT-Bench score while achieving on-par or better performance in MMLU, AGIEval and WinoGrande. On large models, specifically LLaMA-2-70B, LISA surpasses LoRA on MT-Bench, GSM8K, and PubMedQA, demonstrating its effectiveness across different domains.
• Abstract（参考訳）: 機械学習コミュニティは、大規模言語モデル(LLM)が最初に登場して以来、目覚ましい進歩を見せている。 しかし、その膨大なメモリ消費は、大規模なトレーニングにとって大きな障害となっている。 例えば、7Bモデルは一般的に、完全なパラメータトレーニングを備えた少なくとも60GBのGPUメモリを必要とする。 この問題を軽減するために,ローランド適応 (LoRA) のようなパラメータ効率の良いファインチューニング手法が提案されている。 しかし、ほとんどの大規模微調整環境では、パラメータ探索を低ランク部分空間に限定するため、その性能は完全なパラメータ訓練レベルに達しない。 この欠陥を補うために, 微調整作業におけるLoRAの層状特性を調査し, 異なる層にまたがる重みノルムの予期せぬ、一貫した歪さを観察する。 この重要な観察を利用して、驚くほど単純なトレーニング戦略が発見され、LoRAと完全なパラメータトレーニングの両方を、LoRAよりも低いメモリコストで幅広い設定で上回る。 LLMの異なるレイヤに重要サンプリングのアイデアを適用し、最適化中にほとんどのミドルレイヤをランダムに凍結する。 実験結果から,LISA は MT-Bench スコアにおいて常に LoRA を10%～35% 以上上回り,MMLU,AGIEval,WinoGrande ではパフォーマンスが向上した。 LLaMA-2-70Bの大型モデルでは、LISAはMT-Bench、GSM8K、PubMedQAのLoRAを上回り、異なるドメイン間での有効性を示す。

関連論文リスト

• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• ShareLoRA: Parameter Efficient and Robust Large Language Model Fine-tuning via Shared Low-Rank Adaptation [4.07532985236519]
  本研究では,共有低ランク適応(ShareLoRA)を実装することにより,事前学習言語モデル(PLM)に対するPEFT(Efficient Fine Tuning)の最適化手法を提案する。 異なるレイヤにShareLoRAを戦略的にデプロイし、それを自己アテンションレイヤのクエリ、キー、バリューコンポーネントに適用することにより、トレーニングパラメータの数とメモリ使用量を大幅に削減します。 この結果から、ShareLoRAはパラメータ効率を効果的に向上し、異なる言語モデルアーキテクチャにおけるスケーラブルで高品質な性能を確保します。
  論文  参考訳（メタデータ） (2024-06-16T02:52:28Z)
• OwLore: Outlier-weighed Layerwise Sampled Low-Rank Projection for Memory-Efficient LLM Fine-tuning [18.102930806071978]
  Outlier-weighed Layerwise Smpled Low-Rank Projection (OwLore) はメモリ効率の良い微調整手法である。 OwLoreは、完全な微調整を含むベースラインアプローチを一貫して上回る。
  論文  参考訳（メタデータ） (2024-05-28T17:22:22Z)
• LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters [11.23006032094776]
  トレーニング可能なパラメータを格段に削減し,優れた性能と競争性能を示すLoRA-XSを提案する。 LoRA-XSは、LoRAと比較して、トレーニング可能なパラメータを7Bモデルで100倍以上削減する。
  論文  参考訳（メタデータ） (2024-05-27T19:07:13Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• MoELoRA: Contrastive Learning Guided Mixture of Experts on Parameter-Efficient Fine-Tuning for Large Language Models [24.17147521556083]
  本稿では,新しいPEFT手法であるMoELoRAを紹介する。 数学推論と常識推論のベンチマークにおいて,11のタスクについて実験を行った。 MoELoRAはLoRAよりも4.2%高い平均性能を達成し、いくつかのベンチマークで175B GPT-3.5と比較して競争性能を示した。
  論文  参考訳（メタデータ） (2024-02-20T09:30:48Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。