論文の概要: LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation

• arxiv url: http://arxiv.org/abs/2402.07721v1
• Date: Mon, 12 Feb 2024 15:34:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 13:56:32.143142
• Title: LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation
• Title（参考訳）: LoRA-drop:出力評価に基づく効率的なLoRAパラメータ抽出
• Authors: Hongyun Zhou, Xiangyu Lu, Wang Xu, Conghui Zhu, Tiejun Zhao
• Abstract要約: Low-Rank Adaptation (LoRA)は、制限されたコンピューティングリソースの下で事前訓練されたモデルを微調整するために、各レイヤの補助パラメータを導入する。 従来の研究では、問題に対処するための異なるレイヤに対するLoRAパラメータの重要性を評価することによって、プルーニング技術を採用している。 本稿では,LoRA出力を解析してパラメータの重要性を評価するLoRA-dropを提案する。
• 参考スコア（独自算出の注目度）: 27.584157079996725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-Rank Adaptation (LoRA) introduces auxiliary parameters for each layer to fine-tune the pre-trained model under limited computing resources. But it still faces challenges of resource consumption when scaling up to larger models. Previous studies employ pruning techniques by evaluating the importance of LoRA parameters for different layers to address the problem. However, these efforts only analyzed parameter features to evaluate their importance. Indeed, the output of LoRA related to the parameters and data is the factor that directly impacts the frozen model. To this end, we propose LoRA-drop which evaluates the importance of the parameters by analyzing the LoRA output. We retain LoRA for important layers and the LoRA of the other layers share the same parameters. Abundant experiments on NLU and NLG tasks demonstrate the effectiveness of LoRA-drop.
• Abstract（参考訳）: ローランク適応 (lora) は、限られた計算資源の下で事前学習されたモデルを微調整するために各層に補助パラメータを導入する。 しかし、大きなモデルにスケールアップする際、リソース消費の課題に直面している。 従来の研究では、問題に対処するための異なるレイヤに対するLoRAパラメータの重要性を評価することによって、プルーニング技術を採用している。 しかし、これらの取り組みはパラメータの特徴を分析してその重要性を評価するだけだった。 実際、パラメータとデータに関連するloraの出力は、凍結したモデルに直接影響を及ぼす要因である。 そこで本研究では,LoRA出力を解析してパラメータの重要性を評価するLoRA-dropを提案する。 私たちは重要なレイヤに対してLoRAを保持し、他のレイヤのLoRAは同じパラメータを共有します。 NLUおよびNLGタスクの冗長な実験は、LoRA-dropの有効性を示す。

関連論文リスト

• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• RoLoRA: Fine-tuning Rotated Outlier-free LLMs for Effective Weight-Activation Quantization [38.23587031169402]
  有効重量活性化量子化のための最初のLoRA方式であるRoLoRAを提案する。 我々は,LLaMA2-7B/13B,LLaMA3-8Bモデルにおけるロロラの評価を行い,最大29.5%の精度で4ビットの重量活性化量子化LLaMA2-13Bを実現した。
  論文  参考訳（メタデータ） (2024-07-10T20:52:18Z)
• A Survey on LoRA of Large Language Models [19.85250609150331]
  低ランク適応(LoRA)は、高密度ニューラルネットワーク層をプラグ可能な低ランク行列で更新し、パラメータ効率の良い微調整パラダイムの1つである。 本調査は,(1)ダウンストリーム適応の改善による下流タスクにおけるLoRAの性能向上,(2)複数のLoRAプラグインを混合してタスク間一般化を実現するクロスタスク一般化手法,(3)LoRAの計算効率を高める効率改善手法,(4)フェデレート学習にLoRAを使用するデータプライバシ保護手法,(5)アプリケーションの観点から,進捗を分類し,レビューする。
  論文  参考訳（メタデータ） (2024-07-08T12:32:10Z)
• Compress then Serve: Serving Thousands of LoRA Adapters with Little Overhead [41.31302904190149]
  低ランク適応(LoRA)を用いた微調整型大規模言語モデルが一般的となっている。 本稿では,LoRA固有のスケーリング行列と組み合わせた共有ベースにLoRAを共同圧縮する手法を提案する。 最大500台のLoRAによる実験では、圧縮されたLoRAは大きなスループット向上を提供しながら性能を保っていることが示されている。
  論文  参考訳（メタデータ） (2024-06-17T15:21:35Z)
• LoRA Learns Less and Forgets Less [25.09261710396838]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのパラメータ効率の高い微調整法である。 プログラムと数学の2つの対象領域におけるLoRAの性能と完全な微調整を比較した。
  論文  参考訳（メタデータ） (2024-05-15T19:27:45Z)
• Mixture of LoRA Experts [87.50120181861362]
  本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T11:59:53Z)
• ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
  低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。 提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-02-28T04:33:20Z)
• PeriodicLoRA: Breaking the Low-Rank Bottleneck in LoRA Optimization [39.30090456724925]
  監視された微調整は、下流タスクに大規模言語モデル(LLM)を適用する最も一般的な方法である。 完全な微調整には膨大な計算資源が必要である。 LoRAは最も広く使われている手法の1つであり、最適化過程は本質的に低次元であると仮定する。
  論文  参考訳（メタデータ） (2024-02-25T16:43:41Z)
• LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks [72.88244322513039]
  LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。 動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-18T04:41:25Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。