Fugu-MT 論文翻訳(概要): Decoupling Angles and Strength in Low-rank Adaptation

論文の概要: Decoupling Angles and Strength in Low-rank Adaptation

arxiv url: http://arxiv.org/abs/2503.18225v1
Date: Sun, 23 Mar 2025 22:00:56 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-25 14:39:49.880520
Title: Decoupling Angles and Strength in Low-rank Adaptation
Title（参考訳）: 低ランク適応におけるアングルと強度の分離
Authors: Massimo Bini, Leander Girrbach, Zeynep Akata,
Abstract要約: Decoupled Low-rank Adaptation (DeLoRA)は学習可能な低ランク行列を正規化しスケールする新しい微調整法である。 DeLoRAは競合するPEFT法の性能に適合し,強靭性を示す。
参考スコア（独自算出の注目度）: 44.99833362998488
License:
Abstract: Parameter-Efficient FineTuning (PEFT) methods have recently gained significant popularity thanks to the widespread availability of large-scale pretrained models. These methods allow for quick adaptation to downstream tasks with minimal computational cost. However, popular finetuning methods such as LoRA exhibit limited robustness when it comes to hyperparameter choices or extended training regimes, preventing optimal out-of-the-box performance. In contrast, bounded approaches, such as ETHER, provide greater robustness but are limited to extremely low-rank adaptations and fixed-strength transformations, reducing their adaptation expressive power. In this work, we propose Decoupled Low-rank Adaptation (DeLoRA), a novel finetuning method that normalizes and scales learnable low-rank matrices. By bounding the distance of the transformation, DeLoRA effectively decouples the angular learning from the adaptation strength, enhancing robustness without compromising performance. Through evaluations on subject-driven image generation, natural language understanding, and instruction tuning, we show that DeLoRA matches or surpasses performance of competing PEFT methods, while exhibiting stronger robustness. Code is available at https://github.com/ExplainableML/DeLoRA.
Abstract（参考訳）: パラメータ効率の良いファインタニング(PEFT)法は,大規模事前訓練モデルの普及により,近年大きな人気を集めている。これらの手法は、最小の計算コストで下流タスクへの迅速な適応を可能にする。しかし、LoRAのような一般的なファインタニング手法は、ハイパーパラメータの選択や拡張トレーニングレギュレーションに関して制限された堅牢性を示し、最適なアウト・オブ・ザ・ボックスのパフォーマンスを妨げている。対照的に、ETHERのような有界なアプローチはより強い堅牢性を提供するが、極端に低ランクな適応と固定強度の変換に制限され、それらの適応表現力は減少する。本研究では,学習可能な低ランク行列を正規化およびスケールする新しい微調整法であるDecoupled Low-rank Adaptation (DeLoRA)を提案する。変換の距離をバウンドすることで、DeLoRAは適応強度から角学習を効果的に分離し、性能を損なうことなく堅牢性を高める。被験者駆動画像生成、自然言語理解、指導チューニングの評価を通じて、DeLoRAは競合するPEFT法の性能に適合するか上回るが、強靭性を示す。コードはhttps://github.com/ExplainableML/DeLoRAで入手できる。

関連論文リスト

Fine Tuning without Catastrophic Forgetting via Selective Low Rank Adaptation [13.084333776247743]
微調整は分散シフトに対する堅牢性を低下させ、アウト・オブ・ディストリビューション(OOD)のパフォーマンスに影響を及ぼす。本稿では,低ランク適応(LoRA)ブロックを選択的に活性化するインジケータ関数を用いたパラメータ効率細調整(PEFT)手法を提案する。有効微調整は5%のアクティブブロックで実現でき、効率が大幅に向上することを示した。
論文参考訳（メタデータ） (2025-01-26T03:22:22Z)
EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition [2.5269004336032186]
Efficient Weight-Decomposed Low-Rank Adaptation (EDoRA) は、事前学習した重量を大きさと方向の成分に分解する新しいPEFT法である。 EDoRAは、LoRAやDoRAのような最先端の手法と比較して、競争力や優れた性能を達成する。
論文参考訳（メタデータ） (2025-01-21T11:42:09Z)
Transformed Low-rank Adaptation via Tensor Decomposition and Its Applications to Text-to-image Models [32.68721299475496]
Low-Rank Adaptation (LoRA)とその変種は、その有効性から大きな注目を集めている。本稿では,2種類の適応,すなわち変換と残留適応を組み合わせた新しいPEFT法を提案する。主観駆動・制御可能ジェネレーションにおける微調整安定拡散モデルの実験を行った。
論文参考訳（メタデータ） (2025-01-15T11:10:37Z)
Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文参考訳（メタデータ） (2024-10-25T17:07:13Z)
GeoLoRA: Geometric integration for parameter efficient fine-tuning [6.701651480567394]
Low-Rank Adaptation (LoRA) は、事前学習されたニューラルネットワークのパラメータ効率の高い微調整法として広く使われている。動的低ランク近似理論を応用した新しいアプローチであるGeoLoRAを導入する。その結果,GeoLoRAの精度と計算効率の両面において既存手法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-10-24T13:26:10Z)
LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文参考訳（メタデータ） (2024-10-05T06:59:50Z)
Expressive and Generalizable Low-rank Adaptation for Large Models via Slow Cascaded Learning [55.5715496559514]
LoRA Slow Cascade Learning (LoRASC)は、LoRAの表現性と一般化能力を高めるために設計された革新的な技術である。提案手法は,混合低ランク適応を可能にするカスケード学習戦略により表現性を増強し,複雑なパターンをキャプチャするモデルの能力を高める。
論文参考訳（メタデータ） (2024-07-01T17:28:59Z)
LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models [20.5908375260123]
モデル性能を維持しながら計算効率のよい微調整を実現するために,様々なパラメータ効率の微調整技術が提案されている。テンソル-トレイン分解によりトレーニング可能なパラメータを大幅に削減するフレームワークであるLoRETTAを提案する。 LoRETTAは、LLaMA-2-7Bモデルで最大100倍のパラメータで、最も広く使われているPEFT法よりも同等または優れた性能を実現している。
論文参考訳（メタデータ） (2024-02-18T01:20:00Z)
DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
論文参考訳（メタデータ） (2024-02-14T17:59:34Z)
Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。