論文の概要: DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution

• arxiv url: http://arxiv.org/abs/2405.17357v1
• Date: Mon, 27 May 2024 17:02:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 14:23:58.811345
• Title: DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution
• Title（参考訳）: DoRA:動的ランク分布を考慮したパラメータ効率の良いファインチューニング
• Authors: Yulong Mao, Kaiyu Huang, Changhao Guan, Ganglin Bao, Fengran Mo, Jinan Xu,
• Abstract要約: 本研究では, 事前学習モデルの微調整のための動的低ランク適応法(DoRA)を提案する。 DoRAは、高ランクのLoRA層を構造化シングルランクコンポーネントに分解し、パラメータ予算の動的プルーニングを可能にする。 実験結果から,LORAやフルモデルファインチューニングと比較して,DoRAの競争性能が向上することが示された。
• 参考スコア（独自算出の注目度）: 28.589498108609202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large-scale pre-trained models is inherently a resource-intensive task. While it can enhance the capabilities of the model, it also incurs substantial computational costs, posing challenges to the practical application of downstream tasks. Existing parameter-efficient fine-tuning (PEFT) methods such as Low-Rank Adaptation (LoRA) rely on a bypass framework that ignores the differential parameter budget requirements across weight matrices, which may lead to suboptimal fine-tuning outcomes. To address this issue, we introduce the Dynamic Low-Rank Adaptation (DoRA) method. DoRA decomposes high-rank LoRA layers into structured single-rank components, allowing for dynamic pruning of parameter budget based on their importance to specific tasks during training, which makes the most of the limited parameter budget. Experimental results demonstrate that DoRA can achieve competitive performance compared with LoRA and full model fine-tuning, and outperform various strong baselines with the same storage parameter budget. Our code is available at https://github.com/Yulongmao1/DoRA/
• Abstract（参考訳）: 微調整された大規模な事前学習モデルは、本質的にリソース集約的なタスクである。 モデルの性能を高めることができるが、かなりの計算コストを発生させ、下流タスクの実践的な応用に挑戦する。 Low-Rank Adaptation (LoRA)のような既存のパラメータ効率の細かいチューニング(PEFT)手法は、ウェイト行列間の差分パラメータ予算要件を無視したバイパスフレームワークに依存しており、最適以下の微調整結果をもたらす可能性がある。 この問題に対処するために,動的低ランク適応法(DoRA)を導入する。 DoRAは、高いランクのLoRA層を構造化シングルランクのコンポーネントに分解し、トレーニング中の特定のタスクに重点を置いたパラメータ予算を動的に刈り取ることができる。 実験結果から,DoRAはLoRAやフルモデルファインチューニングと比較して競争性能が向上し,ストレージパラメータの予算が同じであれば,各種の強力なベースラインよりも優れることが示された。 私たちのコードはhttps://github.com/Yulongmao1/DoRA/で利用可能です。

関連論文リスト

• Unlocking the Global Synergies in Low-Rank Adapters [20.32980343066711]
  低ランク適応(LoRA)は、大規模言語モデルのためのデファクトパラメータ効率の高い微調整技術である。 本稿では、ゼロコストプロキシを利用して限られたLoRAトレーニングパラメータを割り当てる軽量探索アルゴリズムであるHeteroLoRAを提案する。 実験の結果、HeteroLoRAは同じパラメータのバッジでモデルパフォーマンスを改善することができることがわかった。
  論文  参考訳（メタデータ） (2024-06-21T08:10:03Z)
• LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models [7.926974917872204]
  LoRA-SPはランダム化半選択パラメータ凍結を利用した新しい手法である。 LoRA-SPは、モデル性能を損なうことなく、計算とメモリの要求を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-28T06:50:10Z)
• MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
  低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。 我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。 実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
  論文  参考訳（メタデータ） (2024-02-27T07:14:12Z)
• PRoLoRA: Partial Rotation Empowers More Parameter-Efficient LoRA [45.38491644250814]
  部分回転型低ランク適応(PRoLoRA)は層内共有機構である。 PRoLoRAはその利点を保ち、ピアパラメータ共有手法の欠点を効果的に回避する。 実験によりPRoLoRAのパラメータ効率が著しく向上した。
  論文  参考訳（メタデータ） (2024-02-24T13:39:05Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning [31.036465632204663]
  本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。 計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-08T14:26:49Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)
• LoRA: Low-Rank Adaptation of Large Language Models [71.75808607987281]
  Low-Rank Adaptation (LoRA)はトレーニング済みモデルの重みを凍結し、トレーニング可能な階数分解をTransformerアーキテクチャの各層に注入する。 GPT-3では、LoRAはトレーニング可能なパラメータの数を1万倍に減らし、計算ハードウェアの要求をフル微調整の3倍に削減できる。
  論文  参考訳（メタデータ） (2021-06-17T17:37:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。