Fugu-MT 論文翻訳(概要): LoRA vs Full Fine-tuning: An Illusion of Equivalence

論文の概要: LoRA vs Full Fine-tuning: An Illusion of Equivalence

arxiv url: http://arxiv.org/abs/2410.21228v1
Date: Mon, 28 Oct 2024 17:14:01 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-29 12:17:28.705395
Title: LoRA vs Full Fine-tuning: An Illusion of Equivalence
Title（参考訳）: LoRA vs. フルファインチューニング: 等価性のイラシオン
Authors: Reece Shuttleworth, Jacob Andreas, Antonio Torralba, Pratyusha Sharma,
Abstract要約: 本研究では, 異なる微調整法が, スペクトル特性のレンズを用いてモデルの重み行列を解析することにより, 事前学習モデルを変化させる方法について検討した。単一値分解が全く異なる構造を持つ全微調整およびLoRA収量行列が得られた。イントルーダ次元がLoRAの微調整モデルになぜ現れるのか、なぜそれらが望ましくないのか、そしてどのようにしてその効果を最小化できるかを検討することで結論を下す。
参考スコア（独自算出の注目度）: 76.11938177294178
License:
Abstract: Fine-tuning is a crucial paradigm for adapting pre-trained large language models to downstream tasks. Recently, methods like Low-Rank Adaptation (LoRA) have been shown to match the performance of fully fine-tuned models on various tasks with an extreme reduction in the number of trainable parameters. Even in settings where both methods learn similarly accurate models, \emph{are their learned solutions really equivalent?} We study how different fine-tuning methods change pre-trained models by analyzing the model's weight matrices through the lens of their spectral properties. We find that full fine-tuning and LoRA yield weight matrices whose singular value decompositions exhibit very different structure; moreover, the fine-tuned models themselves show distinct generalization behaviors when tested outside the adaptation task's distribution. More specifically, we first show that the weight matrices trained with LoRA have new, high-ranking singular vectors, which we call \emph{intruder dimensions}. Intruder dimensions do not appear during full fine-tuning. Second, we show that LoRA models with intruder dimensions, despite achieving similar performance to full fine-tuning on the target task, become worse models of the pre-training distribution and adapt less robustly to multiple tasks sequentially. Higher-rank, rank-stabilized LoRA models closely mirror full fine-tuning, even when performing on par with lower-rank LoRA models on the same tasks. These results suggest that models updated with LoRA and full fine-tuning access different parts of parameter space, even when they perform equally on the fine-tuned distribution. We conclude by examining why intruder dimensions appear in LoRA fine-tuned models, why they are undesirable, and how their effects can be minimized.
Abstract（参考訳）: ファインチューニングは、トレーニング済みの大規模言語モデルを下流タスクに適応するための重要なパラダイムである。近年,Low-Rank Adaptation (LoRA) のような手法は,各種タスクにおける完全微調整モデルの性能と,トレーニング可能なパラメータの数が極端に減少していることが示されている。両方のメソッドが同様の精度のモデルを学ぶ場合であっても、学習したソリューションは本当に同等なのでしょうか? モデル重量行列をスペクトル特性のレンズを用いて解析することにより,異なる微調整法が事前訓練されたモデルをどのように変化させるかを検討する。また, 単一値分解が全く異なる構造を持つ全微調整およびLoRA収量行列が得られ, さらに, 適応タスクの分布の外側で試験した場合, 微調整されたモデル自体が明確な一般化挙動を示すことがわかった。より具体的には、LoRAで訓練された重み行列は、新しい高階特異ベクトルを持ち、これは \emph{intruder dimensions} と呼ばれる。侵入者次元は完全な微調整の間には現れない。第2に, イントルーダ次元をもつLORAモデルは, 目標タスクの完全微調整に類似した性能を達成したにもかかわらず, 事前学習分布の悪化モデルとなり, 連続的に複数のタスクに頑健に適応しないことを示す。高いランクで安定化されたLoRAモデルは、同じタスクで低ランクのLoRAモデルと同等のパフォーマンスであっても、完全な微調整を忠実に反映する。これらの結果から,LoRAで更新されたモデルとパラメータ空間の異なる部分へのフル微調整アクセスが,微調整分布で等しく動作する場合であっても可能であることが示唆された。イントルーダ次元がLoRAの微調整モデルになぜ現れるのか、なぜそれらが望ましくないのか、そしてどのようにしてその効果を最小化できるかを検討することで結論を下す。

関連論文リスト

Model merging with SVD to tie the Knots [24.071148543940346]
また,LoRAの微調整モデルの重み付けは,完全微調整モデルに比べてアライメントの程度が低いことを示す。 SVDを用いて、異なるLoRAモデルの重み付けを、既存のマージ手法を適用可能な整合空間に変換する。本稿では,統合モデルが一般モデルであるかどうかを明示的に評価する新しいベンチマークを提案する。
論文参考訳（メタデータ） (2024-10-25T17:59:55Z)
Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文参考訳（メタデータ） (2024-10-10T18:51:53Z)
Learning on LoRAs: GL-Equivariant Processing of Low-Rank Weight Spaces for Large Finetuned Models [38.197552424549514]
低ランク適応(LoRA)は、大規模な基礎モデルの微調整に革命をもたらした。 LoRAは、これらの低ランクウェイトを入力として利用する機械学習技術を適用する機会を提供する。本稿では,LoRA重みが機械学習モデルへの入力として機能するパラダイムであるLoRA(Learning on LoRAs)の可能性を検討する。
論文参考訳（メタデータ） (2024-10-05T15:52:47Z)
AutoLoRA: AutoGuidance Meets Low-Rank Adaptation for Diffusion Models [0.9514837871243403]
低ランク適応(LoRA)は条件付き生成拡散モデルに適用できる微調整技術である。本稿では,LoRAアプローチを微調整した拡散モデルのための新しいガイダンス手法であるAutoLoRAを紹介する。
論文参考訳（メタデータ） (2024-10-04T21:57:11Z)
EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文参考訳（メタデータ） (2024-05-23T05:25:45Z)
MELoRA: Mini-Ensemble Low-Rank Adapters for Parameter-Efficient Fine-Tuning [71.50432879573614]
低ランク適応 (LoRA) は、適応過程が本質的に低次元であるという考えに基づいている。我々は、より高階を維持しながらトレーニング可能なパラメータを少なくするミニアンサンブルな低ランクアダプタMELoRAを提案する。実験結果から, 自然言語理解タスクの8倍のトレーニングパラメータ, 続くタスクの36倍のトレーニングパラメータが得られた。
論文参考訳（メタデータ） (2024-02-27T07:14:12Z)
PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文参考訳（メタデータ） (2024-01-20T20:25:17Z)
MultiLoRA: Democratizing LoRA for Better Multi-Task Learning [20.750808913757396]
LoRAは、特定のタスクにLLMを適用する際に、顕著なリソース効率と同等のパフォーマンスを達成する。 LoRAは少数のトップ特異ベクトルに支配され、微調整はより重要でないユニタリ変換の集合に分解される。我々は,LoRAで観測されるトップ特異ベクトルの優位性を低減し,マルチタスク適応性を向上するMultiLoRAを提案する。
論文参考訳（メタデータ） (2023-11-20T02:59:18Z)
The Expressive Power of Low-Rank Adaptation [11.371811534310078]
パラメータ効率のよい微調整法である低ランク適応は、微調整事前学習モデルの代表的な手法として登場した。本稿では,LoRAの表現力を理論的に解析することで,ギャップを埋める第一歩を踏み出す。トランスフォーマーネットワークでは、任意のモデルが、ランク=$(fractextembedding size2)$ LoRAで同じサイズのターゲットモデルに適応可能であることを示す。
論文参考訳（メタデータ） (2023-10-26T16:08:33Z)
LoRA: Low-Rank Adaptation of Large Language Models [71.75808607987281]
Low-Rank Adaptation (LoRA)はトレーニング済みモデルの重みを凍結し、トレーニング可能な階数分解をTransformerアーキテクチャの各層に注入する。 GPT-3では、LoRAはトレーニング可能なパラメータの数を1万倍に減らし、計算ハードウェアの要求をフル微調整の3倍に削減できる。
論文参考訳（メタデータ） (2021-06-17T17:37:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。