論文の概要: Maximizing Capacity Utilization of LoRA Adapters for Mitigating the Learning-Forgetting Trade-off
- arxiv url: http://arxiv.org/abs/2611.17191v1
- Date: Thu, 12 Nov 2026 17:55:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.578074
- Title: Maximizing Capacity Utilization of LoRA Adapters for Mitigating the Learning-Forgetting Trade-off
- Title(参考訳): 学習予測トレードオフの緩和を目的としたLoRAアダプタのキャパシティ利用の最大化
- Abstract要約: Low-Rank Adaptation (LoRA) は、特に不均一で連続的な学習環境において、完全な微調整を過小評価することが多い。
LoRAアダプタ、特に高位のアダプタは、設定されたランクで利用可能な容量を実現できないことが多い。
本稿では,適応性能を最大化しつつ,本来の目的を最適化する学習機構を提案する。
- 参考スコア(独自算出の注目度): 3.8186629476658993
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-Rank Adaptation (LoRA) often underperforms full fine-tuning, especially in heterogeneous and continual-learning settings in which substantial forgetting occurs. In general, it suffers from an undesirable learning-forgetting trade-off across diverse fine-tuning settings. We identify a potential contributor: LoRA adapters, especially high-rank ones, frequently fail to realize the available capacity afforded by the configured rank. Specifically, we find that standard LoRA updates have effective rank far below their configured rank, limiting how broadly the update energy is distributed. Therefore, we propose training mechanisms that optimize the original objective while maximizing adapter effective rank. Our main method adds a simple, stable, differentiable, and SVD-free Rényi-2 effective-rank regularizer to the language-modeling loss. We also connect capacity maximization to norm-bounded updates. In mixed-domain rank sweeps on three models evaluated with multiple random seeds, a penalty weight of $λ=0.01$ lowers mean Wiki perplexity at every tested rank of at least $16$ relative to unpenalized LoRA. Mean training perplexity improves or increases by at most $0.02$ in all but one model-rank comparison. Single-task and scheduling experiments further show that the balance between learning and retention depends on the configuration. We also observe that several LoRA variants in the literature also suffer from the identified capacity issue, and our approach provides a complementary axis of improvement to LoRA-based parameter-efficient fine-tuning. These results suggest that effective rank is not only a post-hoc diagnostic of adapter quality, but a trainable objective for improving the learning-forgetting frontier. Our code is available at https://github.com/tomohiro-sawada/lora-capacity-utilization
- Abstract(参考訳): Low-Rank Adaptation (LoRA) は、特に大きな忘れ事が発生する不均一で連続的な学習環境において、完全な微調整を過小評価することが多い。
一般的には、さまざまな微調整設定にまたがる、望ましくない学習のトレードオフに悩まされる。
LoRAアダプタ、特に高位のアダプタは、設定されたランクで利用可能な容量を実現できないことが多い。
具体的には、標準のLoRA更新は、設定されたランクよりはるかに低い位置にあり、更新エネルギーの分散の幅を制限している。
そこで本研究では,適応性能を最大化しつつ,本来の目的を最適化する学習機構を提案する。
本手法では,言語モデリングの損失に対して,SVDフリーなRényi-2有効ランク正規化器を,単純,安定,差別化可能に加える。
また、キャパシティの最大化とノルムバウンド更新を結びつける。
複数のランダムシードで評価された3つのモデルの混合ドメインランクでは、ペナルティ重量のλ=0.01$は、未定のLoRAに対して少なくとも16ドル以上のテストされたランクでWikiのパープレキシティを意味する。
平均的なトレーニングの難易度は、1つのモデルランクの比較を除いて、少なくとも0.02ドルの改善または増大する。
単一タスクとスケジューリングの実験は、学習と保持のバランスが構成に依存することを示す。
また,文献中のいくつかの LoRA 変種もキャパシティの問題に悩まされており,本手法は LoRA に基づくパラメータ効率の微調整を補完する改良軸を提供する。
これらの結果から, 有効ランクは, 適応品質のポストホック診断であるだけでなく, 学習鍛造フロンティアを改善するための訓練可能な目標であることが示唆された。
私たちのコードはhttps://github.com/tomohiro-sawada/lora-capacity-utilizationで利用可能です。
関連論文リスト
- Rank-Efficient LoRA via Joint Tangent-Space Optimization under Isotropic Curvature [15.962803593943624]
Low-Rank Adaptation (LoRA) は、低ランクウェイト更新を学習することで、大規模な事前学習モデルに適応するための効果的なアプローチである。
比喩ランクが表現能力を決定する一方で、そのキャパシティの形状が誘導重み空間更新に使用されることを示す。
論文 参考訳(メタデータ) (2026-09-10T18:50:17Z) - LoRA-Muon: Spectral Steepest Descent on the Low-Rank Manifold [13.757351633281836]
Low-Rank Adaptation (LoRA)は、ディープラーニングモデルを微調整する際の計算コストとメモリコストを大幅に削減する。
我々は,LoRA-Muonを,Muonの急勾配規則を低ランク設定に適用することによって導出した。
論文 参考訳(メタデータ) (2026-06-11T05:24:45Z) - MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning [45.41768510181293]
MatryoshkaLoRAは、固定された慎重に作られた対角行列を既存のLoRAアダプタ間で$P$で挿入することで、正確な階層的な低ランク表現を学習する。
以上の結果から,MatryoshkaLoraは従来のランク適応手法よりも,より正確な階層的な低ランク表現を学習できることが示唆された。
論文 参考訳(メタデータ) (2026-05-08T15:13:01Z) - Adaptive Capacity Allocation for Vision Language Action Fine-tuning [30.782665306687992]
視覚言語アクションモデル(VLA)は、物理AIにますます使われているが、未確認環境に事前訓練されたVLAモデルをデプロイするには、まだ適応が必要である。
固定ランク更新を入力および層単位のキャパシティに置き換えるランク適応微調整法であるLoRA-SPを提案する。
目に見えないAgileX PiPERのアームで収集された4つの実ロボット操作タスクでは、LoRA-SPはトレーニング可能なパラメータがはるかに少ない完全な微調整にマッチするか、超える。
論文 参考訳(メタデータ) (2026-03-08T01:33:01Z) - Taming Momentum: Rethinking Optimizer States Through Low-Rank Approximation [85.89510825889168]
効率的な事前学習のための新しい低ランクシステムであるLoRA-Preを紹介する。
LoRA-Pre オンライン線形学習器内のコンパクトな低ランク部分空間に運動量行列を分解する。
Llama アーキテクチャファミリーのモデルを事前学習することで,LoRA-Preの有効性を実証的に検証する。
論文 参考訳(メタデータ) (2026-02-27T18:57:06Z) - Learning Rate Scaling across LoRA Ranks and Transfer to Full Finetuning [24.03926595342341]
Low-Rank Adaptation (LoRA) は、大規模モデルのパラメータ効率の良い微調整ツールである。
最適な学習速度がアダプタランクとどのようにスケールするかは不明確である。
最適」学習率がいかにスケールすべきかを特徴付ける理論フレームワークであるMaximal-Update Adaptation(A)を紹介する。
論文 参考訳(メタデータ) (2026-02-05T21:28:59Z) - Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。
ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
論文 参考訳(メタデータ) (2025-09-24T10:32:50Z) - DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。
本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。
DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
論文 参考訳(メタデータ) (2024-02-14T17:59:34Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-20T11:56:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。