論文の概要: LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation

• arxiv url: http://arxiv.org/abs/2402.07721v1
• Date: Mon, 12 Feb 2024 15:34:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 13:56:32.143142
• Title: LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation
• Title（参考訳）: LoRA-drop:出力評価に基づく効率的なLoRAパラメータ抽出
• Authors: Hongyun Zhou, Xiangyu Lu, Wang Xu, Conghui Zhu, Tiejun Zhao
• Abstract要約: Low-Rank Adaptation (LoRA)は、制限されたコンピューティングリソースの下で事前訓練されたモデルを微調整するために、各レイヤの補助パラメータを導入する。 従来の研究では、問題に対処するための異なるレイヤに対するLoRAパラメータの重要性を評価することによって、プルーニング技術を採用している。 本稿では,LoRA出力を解析してパラメータの重要性を評価するLoRA-dropを提案する。
• 参考スコア（独自算出の注目度）: 27.584157079996725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-Rank Adaptation (LoRA) introduces auxiliary parameters for each layer to fine-tune the pre-trained model under limited computing resources. But it still faces challenges of resource consumption when scaling up to larger models. Previous studies employ pruning techniques by evaluating the importance of LoRA parameters for different layers to address the problem. However, these efforts only analyzed parameter features to evaluate their importance. Indeed, the output of LoRA related to the parameters and data is the factor that directly impacts the frozen model. To this end, we propose LoRA-drop which evaluates the importance of the parameters by analyzing the LoRA output. We retain LoRA for important layers and the LoRA of the other layers share the same parameters. Abundant experiments on NLU and NLG tasks demonstrate the effectiveness of LoRA-drop.
• Abstract（参考訳）: ローランク適応 (lora) は、限られた計算資源の下で事前学習されたモデルを微調整するために各層に補助パラメータを導入する。 しかし、大きなモデルにスケールアップする際、リソース消費の課題に直面している。 従来の研究では、問題に対処するための異なるレイヤに対するLoRAパラメータの重要性を評価することによって、プルーニング技術を採用している。 しかし、これらの取り組みはパラメータの特徴を分析してその重要性を評価するだけだった。 実際、パラメータとデータに関連するloraの出力は、凍結したモデルに直接影響を及ぼす要因である。 そこで本研究では,LoRA出力を解析してパラメータの重要性を評価するLoRA-dropを提案する。 私たちは重要なレイヤに対してLoRAを保持し、他のレイヤのLoRAは同じパラメータを共有します。 NLUおよびNLGタスクの冗長な実験は、LoRA-dropの有効性を示す。

関連論文リスト

• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• RepLoRA: Reparameterizing Low-Rank Adaptation via the Perspective of Mixture of Experts [37.43961020113692]
  低ランク適応 (LoRA) は、大規模基盤モデルを微調整するための強力な手法として登場した。 本稿では,LoRAモデルとMixture of Expertsモデルとの関連性を検討することによって,ロラの理論解析を行う。
  論文  参考訳（メタデータ） (2025-02-05T10:03:09Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• RoLoRA: Fine-tuning Rotated Outlier-free LLMs for Effective Weight-Activation Quantization [38.23587031169402]
  有効重量活性化量子化のための最初のLoRA方式であるRoLoRAを提案する。 我々は,LLaMA2-7B/13B,LLaMA3-8Bモデルにおけるロロラの評価を行い,最大29.5%の精度で4ビットの重量活性化量子化LLaMA2-13Bを実現した。
  論文  参考訳（メタデータ） (2024-07-10T20:52:18Z)
• LoRA Learns Less and Forgets Less [25.09261710396838]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのパラメータ効率の高い微調整法である。 プログラムと数学の2つの対象領域におけるLoRAの性能と完全な微調整を比較した。
  論文  参考訳（メタデータ） (2024-05-15T19:27:45Z)
• Mixture of LoRA Experts [87.50120181861362]
  本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。 MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
  論文  参考訳（メタデータ） (2024-04-21T11:59:53Z)
• ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
  低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。 提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-02-28T04:33:20Z)
• PeriodicLoRA: Breaking the Low-Rank Bottleneck in LoRA Optimization [39.30090456724925]
  監視された微調整は、下流タスクに大規模言語モデル(LLM)を適用する最も一般的な方法である。 完全な微調整には膨大な計算資源が必要である。 LoRAは最も広く使われている手法の1つであり、最適化過程は本質的に低次元であると仮定する。
  論文  参考訳（メタデータ） (2024-02-25T16:43:41Z)
• LoRA-Flow: Dynamic LoRA Fusion for Large Language Models in Generative Tasks [72.88244322513039]
  LoRAは、ダウンストリームタスクやドメイン毎に大きな言語モデル(LLM)をカスタマイズするために軽量モジュールを使用している。 動的重みを利用して異なるLoRAの影響を調整するLoRA-Flowを提案する。 6つの生成タスクに対する実験により、我々の手法はタスクレベルの融合重みでベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2024-02-18T04:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。