論文の概要: Rank-Accuracy Trade-off for LoRA: A Gradient-Flow Analysis
- arxiv url: http://arxiv.org/abs/2602.10212v1
- Date: Tue, 10 Feb 2026 19:05:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-12 21:44:01.236564
- Title: Rank-Accuracy Trade-off for LoRA: A Gradient-Flow Analysis
- Title（参考訳）: LoRAのランク精度トレードオフ:グラディエントフロー解析
- Authors: Michael Rushka, Diego Klabjan,
- Abstract要約: 動的システムの観点から,LoRAの精度が更新ランクに依存することを検討する。
我々は,LoRAの下での2つの損失関数のランクと精度の明確な関係を確立するために,フルランクとローランクのいずれにおいても勾配流解析を行う。
次に、結果の力学系方程式を用いて、トレース二乗およびフロベニウス-ノルム低ランク近似損失関数に対するLoRAランクと精度の閉形式関係を求める。
- 参考スコア（独自算出の注目度）: 20.035089264995037
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Previous empirical studies have shown that LoRA achieves accuracy comparable to full-parameter methods on downstream fine-tuning tasks, even for rank-1 updates. By contrast, the theoretical underpinnings of the dependence of LoRA's accuracy on update rank remain relatively unexplored. In this work, we compare the accuracy of rank-r LoRA updates against full-parameter updates for fine-tuning tasks from a dynamical systems perspective. We perform gradient flow analysis in both full-rank and low-rank regimes to establish explicit relationships between rank and accuracy for two loss functions under LoRA. While gradient flow equations for LoRA are presented in prior work, we rigorously derive their form and show that they are identical for simultaneous and sequential LoRA parameter updates. We then use the resulting dynamical system equations to obtain closed-form relationships between LoRA rank and accuracy for trace-squared and Frobenius-norm low-rank approximation loss functions.
- Abstract（参考訳）: 以前の実証実験では、ランク1の更新であっても、ローラは下流の微調整タスクのフルパラメータ法に匹敵する精度を達成している。
対照的に、LoRAの精度の更新ランクへの依存の理論的基盤は、いまだに未解明のままである。
本研究では,動的システムの観点からの微調整タスクに対して,ランクラLoRA更新の精度をフルパラメータ更新と比較する。
我々は,LoRAの下での2つの損失関数のランクと精度の明確な関係を確立するために,フルランクとローランクのいずれにおいても勾配流解析を行う。
LoRAの勾配流方程式は先行研究で示されるが、我々はそれらの形式を厳格に導き、それらが同時かつシーケンシャルなLoRAパラメータ更新と同一であることを示す。
次に、結果の力学系方程式を用いて、トレース二乗およびフロベニウス-ノルム低ランク近似損失関数に対するLoRAランクと精度の閉形式関係を求める。
関連論文リスト
- Learning Rate Matters: Vanilla LoRA May Suffice for LLM Fine-tuning [48.66442009036754]
Low-Rank Adaptation (LoRA)は、効率的な大規模言語モデルの微調整のための一般的なアプローチである。
本研究では,バニラ・ロラとともに4つの代表的ロラ変種を再評価する。
異なるLoRA手法が学習率の異なる範囲を好んでいることが判明した。
論文 参考訳（メタデータ） (2026-02-04T19:36:20Z) - Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。
提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
論文 参考訳（メタデータ） (2025-07-02T15:56:40Z) - SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。
本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。
SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
論文 参考訳（メタデータ） (2025-05-18T14:12:40Z) - BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。
本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文 参考訳（メタデータ） (2025-02-19T10:33:22Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。
本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。
DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
論文 参考訳（メタデータ） (2024-02-14T17:59:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。