論文の概要: BiDoRA: Bi-level Optimization-Based Weight-Decomposed Low-Rank Adaptation
- arxiv url: http://arxiv.org/abs/2410.09758v1
- Date: Sun, 13 Oct 2024 07:28:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 15:12:28.598048
- Title: BiDoRA: Bi-level Optimization-Based Weight-Decomposed Low-Rank Adaptation
- Title(参考訳): BiDoRA: Bi-level Optimization-based Weight-Decomposed Low-Rank Adaptation
- Authors: Peijia Qin, Ruiyi Zhang, Pengtao Xie,
- Abstract要約: DoRAはローランク適応(LoRA)とフル微調整(FT)のギャップを橋渡しする
両レベル最適化に基づくPEFT法であるBiDoRAを提案する。
- 参考スコア(独自算出の注目度): 34.1111413429869
- License:
- Abstract: Parameter-efficient fine-tuning (PEFT) of large language models (LLMs) has gained considerable attention as a flexible and efficient way of adapting LLMs to downstream tasks. Among these methods, weighted decomposed low-rank adaptation (DoRA) has emerged as a promising approach. DoRA bridges the gap between low-rank adaptation (LoRA) and full fine-tuning (FT) by decomposing the weight matrices into magnitude and direction components, thereby maintaining learning behavior similar to FT. Although DoRA shows encouraging performance, it introduces additional parameters compared to LoRA, which potentially increases the risk of overfitting. Moreover, optimizing magnitude and direction simultaneously leads to a coupled gradient updating pattern for both components, limiting its learning capacity. To overcome these limitations, we propose BiDoRA, a bi-level optimization-based PEFT method. In BiDoRA, the direction and magnitude components are optimized on two distinct datasets at different optimization levels, mitigating the risk of overfitting. Additionally, the asynchronous optimization of the two components promotes their decoupling, allowing for more flexible gradient updates suitable for various downstream tasks. Evaluation of BiDoRA on fourteen datasets spanning natural language understanding, natural language generation, and token classification reveals that it significantly outperforms DoRA and other PEFT methods. The superior performance of BiDoRA underscores its effectiveness. The code for BiDoRA is available at https://anonymous.4open.science/r/BiDoRA-5D31.
- Abstract(参考訳): 大規模言語モデル(LLM)のパラメータ効率の良い微調整(PEFT)は、下流タスクにLLMを適応するための柔軟で効率的な方法として注目されている。
これらの手法のうち、重み付き分解低ランク適応(DoRA)が有望なアプローチとして現れている。
DoRAは、重量行列を大きさと方向成分に分解することで、ローランク適応(LoRA)とフル微調整(FT)のギャップを埋め、FTに似た学習行動を維持する。
DoRAはパフォーマンスを奨励するが、LoRAと比較して追加のパラメータを導入し、オーバーフィッティングのリスクを増大させる可能性がある。
さらに、最大度と方向を同時に最適化することで、両方のコンポーネントのグラデーション更新パターンが結合され、学習能力が制限される。
これらの制限を克服するために,二段階最適化に基づくPEFT法であるBiDoRAを提案する。
BiDoRAでは、方向と大きさのコンポーネントは異なる最適化レベルの2つの異なるデータセットに最適化され、オーバーフィッティングのリスクが軽減される。
さらに、2つのコンポーネントの非同期最適化はデカップリングを促進し、様々な下流タスクに適したより柔軟な勾配更新を可能にする。
自然言語理解、自然言語生成、トークン分類を含む14のデータセット上でのBiDoRAの評価は、DoRAと他のPEFT法を著しく上回ることを示す。
BiDoRAの優れた性能は、その効果を裏付けている。
BiDoRAのコードはhttps://anonymous.4open.science/r/BiDoRA-5D31で公開されている。
関連論文リスト
- SBoRA: Low-Rank Adaptation with Regional Weight Updates [19.15481369459963]
本稿では,SBORA(Standard Basis LoRA)を提案する。
SBoRAはトレーニング可能なパラメータの数を半分に減らし、LoRAと同様のトレーニング可能なパラメータの数でランクを2倍にする。
本研究は,LoraよりもSBoRA-FAの方が,常識推論や算術推論など,様々な微調整タスクにおいて優れていることを示す。
論文 参考訳(メタデータ) (2024-07-07T15:37:13Z) - DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution [28.589498108609202]
Low-Rank Adaptation (LoRA) は、ウェイト行列の差分パラメータ予算要件を無視したバイパスフレームワークに依存している。
DoRAは、高ランクのLoRA層を構造化シングルランクコンポーネントに分解し、パラメータ予算の動的プルーニングを可能にする。
実験結果から,LORAやフルモデルファインチューニングと比較して,DoRAの競争性能が向上することが示された。
論文 参考訳(メタデータ) (2024-05-27T17:02:27Z) - BiLoRA: A Bi-level Optimization Framework for Overfitting-Resilient Low-Rank Adaptation of Large Pre-trained Models [34.1111413429869]
BiLoRA はバイレベル最適化 (BLO) に基づく過度に適合する微調整手法である
自然言語理解と生成タスクをカバーする10のデータセットでテストしました。
論文 参考訳(メタデータ) (2024-03-19T14:11:20Z) - DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。
本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。
DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
論文 参考訳(メタデータ) (2024-02-14T17:59:34Z) - PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。
8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文 参考訳(メタデータ) (2024-01-20T20:25:17Z) - Run LoRA Run: Faster and Lighter LoRA Implementations [50.347242693025336]
LoRAは、線形層に低ランクアダプタを導入することにより、ニューラルネットワーク内のトレーニング可能なパラメータの数を減らすテクニックである。
本稿では,LoRAの効率的な実装のためのRunLoRAフレームワークを提案する。
実験は、言語モデリングネットワーク上で最大28%のスピードアップを示す。
論文 参考訳(メタデータ) (2023-12-06T10:54:34Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-20T11:56:25Z) - One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning [34.109808214968176]
Generalized LoRA (GLoRA) は、汎用パラメータ効率の微調整タスクのための先進的なアプローチである。
一般化されたプロンプトモジュールを使用して、事前訓練されたモデルの重量を最適化し、中間活性化を調整する。
GLoRAは、強力な転送学習、少数ショット学習、ドメイン一般化能力を示す。
論文 参考訳(メタデータ) (2023-06-13T17:59:32Z) - Optimization-driven Deep Reinforcement Learning for Robust Beamforming
in IRS-assisted Wireless Communications [54.610318402371185]
Intelligent Reflecting Surface (IRS)は、マルチアンテナアクセスポイント(AP)から受信機へのダウンリンク情報伝達を支援する有望な技術である。
我々は、APのアクティブビームフォーミングとIRSのパッシブビームフォーミングを共同最適化することで、APの送信電力を最小化する。
過去の経験からビームフォーミング戦略に適応できる深層強化学習(DRL)手法を提案する。
論文 参考訳(メタデータ) (2020-05-25T01:42:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。