論文の概要: Rethinking LoRA Initialization for Robust Asymmetric Learning Rates
- arxiv url: http://arxiv.org/abs/2610.32142v1
- Date: Fri, 23 Oct 2026 04:15:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.341887
- Title: Rethinking LoRA Initialization for Robust Asymmetric Learning Rates
- Title（参考訳）: ロバスト非対称学習率に対するLoRA初期化の再考
- Abstract要約: 低ランク適応(LoRA)は、しばしば学習速度(LR)の選択に非常に敏感である。
最近の実証研究は、LRを慎重に調整すると、バニラロラは多くの提案されたロラ変種と競合し続けることを示唆している。
LoRA+ はこの問題を非対称 LR で解決し、アッププロジェクション行列 $B$ はダウンプロジェクション行列 $A$ よりも大きい LR を用いる。
- 参考スコア（独自算出の注目度）: 23.557834140313414
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-Rank Adaptation (LoRA) is often highly sensitive to learning-rate (LR) choices. Recent empirical studies suggest that, once LRs are carefully tuned, vanilla LoRA can remain competitive with many proposed LoRA variants. This shifts the central practical question from designing ever more variants to reducing the cost and brittleness of LR selection. LoRA+ addresses this issue with asymmetric LRs, using a larger LR for the up-projection matrix $B$ than for the down-projection matrix $A$. However, the ratio $η_B / η_A$ itself becomes an additional hyperparameter: large ratios can improve adaptation, but under the standard LoRA initialization they can also cause unstable training and ratio-dependent performance collapse. We identify the source of this brittleness through a signal--noise decomposition of LoRA dynamics. Under standard \initA, the update contains an initialization-induced noise term whose magnitude can be affected by the LR for $B$, $η_B$, the initialization scale $β$, and the adapter rank $r$. In practical LLM fine-tuning, this non-vanishing noise can limit the performance gains expected from LoRA+ style asymmetric LRs. To suppress this effect, we propose \initAA, a simple initialization that scales the variance of $A$ as $σ_A^2 \propto n^{-2}$ while keeping $B_0=0$. Under matched rank and training time for both initializations, this reduces the initialization-noise energy by an additional factor of $1/n$, stabilizing asymmetric LoRA training while preserving zero initial adapter output. Empirically, \initAA substantially widens the stable LR region across initialization scales, adapter ranks, and LoRA update multipliers. Across tasks and models, \initAA reduces best-ratio drift, prevents the high-ratio collapse observed with standard \initA, and makes the width-based guideline $η_B \approx n η_A$ a useful starting point for finite pretrained models.
- Abstract（参考訳）: 低ランク適応(LoRA)は、しばしば学習速度(LR)の選択に非常に敏感である。
最近の実証研究は、LRを慎重に調整すると、バニラロラは多くの提案されたロラ変種と競合し続けることを示唆している。
これにより、より多くの変種の設計からLR選択のコストと脆さの低減への中心的な実践的疑問がシフトする。
LoRA+ はこの問題を非対称 LR で解決し、アッププロジェクション行列 $B$ はダウンプロジェクション行列 $A$ よりも大きい LR を用いる。
しかし、$η_B / η_A$ 自体が追加のハイパーパラメータとなり、大きな比率は適応を改善することができるが、標準の LoRA 初期化の下では不安定なトレーニングや比依存のパフォーマンス崩壊を引き起こす。
LoRA力学の信号ノイズ分解により, この脆性の原因を同定する。
標準 \initA の下では、更新には初期化誘導ノイズ項が含まれており、その大きさは LR の$B$、$η_B$、初期化の $β$、アダプタの$r$ で影響を受ける。
LLMのファインチューニングでは、この非消滅ノイズはLoRA+スタイルの非対称LRから期待される性能ゲインを制限することができる。
この効果を抑制するために、$B_0=0$を維持しながら$A$を$σ_A^2 \propto n^{-2}$としてスケールする単純な初期化である \initAA を提案する。
一致したランクと両方の初期化のトレーニング時間の下では、初期化ノイズエネルギーを1/n$の追加係数で減少させ、ゼロ初期化アダプタ出力を維持しながら非対称なLoRAトレーニングを安定化させる。
実証的には、 \initAA は初期化スケール、アダプタランク、LoRA 更新乗数で安定したLR領域を大幅に拡大する。
タスクやモデル全体にわたって、 \initAAは最良の比率のドリフトを減少させ、標準の \initA で観測される高比の崩壊を防止し、幅ベースのガイドライン $η_B \approx n η_A$ を有限事前学習モデルの有用な出発点とする。
関連論文リスト
- \k{appa}-LoRA: Condition Numbers Reveal Which LoRA Matrices Worth Updating [24.538290063991997]
Low-Rank Adaptation (LoRA)は、効率的なニューラルネットワークの微調整技術である。
kappa-LoRAは、最大の条件数を持つ行列の更新に焦点を当てている。
kappa-LoRAはトレーニング可能なパラメータ数を半減し、それに応じて計算とメモリコストを削減します。
論文 参考訳（メタデータ） (2026-07-24T17:00:40Z) - SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。
textbfSpectrum textbfModulation textbfAdapterを提案する。
論文 参考訳（メタデータ） (2026-05-20T13:19:28Z) - Stable-LoRA: Stabilizing Feature Learning of Low-Rank Adaptation [14.315981403487266]
Low-Rank Adaptation (LoRA) はLarge Langauge Modelを微調整するパラメータ効率の手法として広く採用されている。
Stable-LoRAは、LoRA特徴学習の安定性を動的に向上する重量収縮最適化戦略である。
実験の結果、Stable-LoRAは様々なモデルやタスクで、他のベースラインを一貫して上回ります。
論文 参考訳（メタデータ） (2026-03-05T14:15:51Z) - Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。
ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
論文 参考訳（メタデータ） (2025-09-24T10:32:50Z) - Uni-LoRA: One Vector is All You Need [21.893406288629734]
Low-Rank Adaptation (LoRA) は、大規模言語モデルのための事実上のパラメータ効率の微調整(PEFT)手法となっている。
Tied-LoRA、VeRA、VB-LoRAといった最近の研究は、トレーニング可能なパラメータ空間を減らすために追加の制約を導入することで、さらなる効率を推し進めている。
パラメータ空間削減戦略は, 統一フレームワークUni-LoRA内で定式化可能であることを示す。
論文 参考訳（メタデータ） (2025-06-01T03:00:09Z) - Beyond Zero Initialization: Investigating the Impact of Non-Zero Initialization on LoRA Fine-Tuning Dynamics [23.84827135317107]
低ランク適応(LoRA)はパラメータ効率のよい微調整法として広く用いられている。
標準的なLoRA層では、行列の1つである$A$または$B$はゼロであり、事前訓練されたモデルから微調整が始まります。
論文 参考訳（メタデータ） (2025-05-29T07:33:03Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳（メタデータ） (2025-05-19T07:32:56Z) - LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。
本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
論文 参考訳（メタデータ） (2024-10-27T22:57:12Z) - CoRA: Optimizing Low-Rank Adaptation with Common Subspace of Large Language Models [7.108651381160281]
Low-Rank Adaptation (LoRA) 戦略は、微調整された大型モデルにおける効率と性能のバランスをとる。
我々は、共有知識を活用してLoRAトレーニングを最適化するtextbfCoRAを提案する。
実験の結果,最初のアプローチは,パラメータの半減よりも効率が良く,元のLoRAファインチューニングと同じ効果が得られることがわかった。
論文 参考訳（メタデータ） (2024-08-31T12:48:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。