論文の概要: Tight Sample Complexity for Low-Rank Adaptation: Matching Bounds and Rank Selection
- arxiv url: http://arxiv.org/abs/2607.27680v1
- Date: Thu, 30 Jul 2026 04:56:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.398154
- Title: Tight Sample Complexity for Low-Rank Adaptation: Matching Bounds and Rank Selection
- Title（参考訳）: 低ランク適応のためのTight Sample Complexity: Matching bounds and Rank Selection
- Abstract要約: Low-Rank Adaptation (LoRA) は、大規模な事前訓練モデルを微調整するための標準的なメカニズムとなっている。
ロラ階数 r をどうやって選ぶかという問題には正式な答えがない。
ランクr LoRA に対する経験的リスク最小化器の過大なリスクに対する O(rd/n) の上限を証明した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-Rank Adaptation (LoRA) has become the standard mechanism for fine-tuning large pretrained models, yet its statistical properties remain only partially understood. Existing generalization results provide upper bounds of the form O~(sqrt(rd/n)) or O~(rd/n), but a matching lower bound is missing, and the question of how to choose the LoRA rank r has no formal answer. Both gaps are closed here. A local Rademacher argument establishes an upper bound of O~(rd/n) on the excess risk of the empirical risk minimizer over rank-r LoRA, whenever the target adaptation has rank at most r. A matching minimax lower bound of Omega(rd/n) is then proved via a Fano-type packing of the rank-r subspace of R^{d x d}; the bound applies to any estimator whose output lies in the rank-r LoRA class. Combining the two yields a rank-selection dichotomy. For the constrained empirical risk minimizer, the optimal rank equals the intrinsic rank r*, and over-ranking strictly hurts. For adaptive estimators of the nuclear-norm-then-truncate type, over-ranking is harmless and the rate saturates at Theta~(r* d / n) regardless of r. Taken together, the three results characterize the statistical complexity of LoRA fine-tuning within the well-specified locally quadratic regime, and identify the empirically observed over-parameterization penalty as a property of unregularized empirical risk minimization rather than of the LoRA class itself. Predictions of the theory are verified on a synthetic trace-regression benchmark and on real LoRA fine-tuning across three (model, task) configurations covering DistilBERT and RoBERTa on SST-2 and MRPC. All configurations exhibit the predicted U-shape in validation loss, with two showing statistically significant loss inflation at large ranks (paired permutation p = 0.016).
- Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、大規模な事前訓練モデルの微調整の標準的なメカニズムとなっているが、その統計的性質は部分的には理解されていない。
既存の一般化結果は O~(sqrt(rd/n)) あるいは O~(rd/n)) という形の上界を与えるが、一致する下界が欠落しており、ローラ階数 r をどうやって選ぶかという問題は正式な答えがない。
両者のギャップはここでは閉ざされている。
局所ラデマッハの議論は、ターゲット適応が少なくとも r のランクを持つとき、ランク-r LoRA よりも経験的リスク最小化器の過大なリスクに対して O~(rd/n) の上限を確立する。
すると、Omega(rd/n) の一致するミニマックス下界は、R^{d x d} のランク-r部分空間のファノ型パッキングによって証明される。
これら2つを組み合わせることで、ランク選択の二分法が成立する。
制限された経験的リスク最小化器では、最適ランクは本質的なランク r* と等しく、過度にランクが悪くなる。
核ノルム・タン・トランケート型の適応推定器では、過等級は無害であり、その速度は r によらず Theta~(r* d / n) で飽和する。
これら3つの結果は, 局所的二次構造の中でのLoRA微調整の統計的複雑さを特徴付け, 経験的に観察された過パラメータ化のペナルティを, LoRAクラス自体よりも非正規化された経験的リスク最小化の特性として同定した。
この理論の予測は,SST-2 および MRPC 上の DistilBERT と RoBERTa をカバーする3つの (モデル, タスク) 構成からなる実 LoRA 微調整で検証される。
全ての構成は、予測されたU字型を検証損失として示し、2つは統計的に有意な損失のインフレーションを大きなランクで示している(p = 0.016)。
関連論文リスト
- Statistical Inference for Rank Allocation in Low-Rank Adaptation [54.886931928255564]
低ランク適応 (LoRA) は大規模言語モデルにおいてパラメータ効率の高い微調整法として広く用いられている。
統計的推論に基づくランクアロケーション手法であるStatLoRAを提案する。
StatLoRA は,Vanilla LoRA,AdaLoRA,I-LoRA と同等以上の性能を示す。
論文 参考訳（メタデータ） (2026-07-22T14:25:59Z) - SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。
完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。
本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
論文 参考訳（メタデータ） (2026-06-15T09:27:50Z) - Balanced LoRA: Removing Parameter Invariance to Accelerate Convergence [30.96331195818476]
Low-Rank Adaptation (LoRA) は、大規模言語モデルを微調整するための最も広く採用されている手法である。
バランス付き多様体に反復を射影するLoRAの変種BaLoRAを導入する。
BaLoRAは標準のLoRAよりも早く収束し、様々な微調整タスクで優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-05-29T16:08:28Z) - SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。
textbfSpectrum textbfModulation textbfAdapterを提案する。
論文 参考訳（メタデータ） (2026-05-20T13:19:28Z) - LoRA vs. Full Fine-Tuning: A Theoretical Perspective [29.827767726672523]
Low-Rank Adaptation (LoRA) は、メモリと計算コストを削減する効率的な微調整手法である。
簡単な線形回帰設定でLoRAを解析し、その過大なリスクをフル微調整のリスクと比較する。
我々の理論は、事前学習と下流タスクの差が効果的に低い場合、LoRAが完全な微調整より優れていることを予測している。
論文 参考訳（メタデータ） (2026-05-18T18:40:24Z) - Rethinking the Rank Threshold for LoRA Fine-Tuning [4.221888521641282]
ニューラルタンジェントカーネル機構におけるLoRAファインチューニングの最近のランドスケープ解析では、二乗誤差損失下での急激な局所最小値の欠如に対して、LoRAランクの$r(r+1)/2 > KN$が十分条件$r(r+1)/2 となる。
この状態において、所定のランクを$r = 1$に下げる3つの結果を与える。
論文 参考訳（メタデータ） (2026-05-05T13:09:46Z) - Post-Optimization Adaptive Rank Allocation for LoRA [10.796887002907456]
Post-Optimization Adaptive Rank Allocation (PARA) はローランド適応データ自由圧縮法である。
我々は,既存の微調整パイプラインにシームレスに統合されたLoRAのデータフリー圧縮手法であるPARAを提案する。
PARAは、視覚および言語ベンチマークにおけるオリジナルの圧縮されていないLoRAの予測性能を維持しながら、パラメータ数を75-90%削減することを示した。
論文 参考訳（メタデータ） (2026-04-30T12:40:11Z) - Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。
提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
論文 参考訳（メタデータ） (2025-07-02T15:56:40Z) - Sharp Generalization Bounds for Foundation Models with Asymmetric Randomized Low-Rank Adapters [7.687215328455751]
Low-Rank Adaptation (LoRA) は、基礎モデルのパラメータ効率の高い微調整技術として広く採用されている。
最近の研究は、LoRAの低ランク因子の初期化において固有の非対称性を強調している。
本稿では,凍結ランダム因子をもつ非対称ロラの包括的理論的特徴付けに焦点をあてる。
論文 参考訳（メタデータ） (2025-06-17T13:55:13Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - LoRA Training in the NTK Regime has No Spurious Local Minima [46.46792977614938]
低ランク適応(LoRA)は,大規模言語モデルのパラメータ効率向上のための標準手法となっている。
理論的には、ニューラルネットワークカーネルシステムにおけるLoRA微調整を$N$のデータポイントで解析する。
論文 参考訳（メタデータ） (2024-02-19T06:22:09Z) - Fast and Robust Rank Aggregation against Model Misspecification [105.54181634234266]
ランクアグリゲーション(RA)では、異なるユーザからの好みのコレクションを、ユーザの同質性の仮定の下で総順にまとめる。
RAにおけるモデルの不特定は、複素実世界の状況において同質性の仮定が満たされないために生じる。
本稿では,モデル誤特定に対する堅牢性を有するCoarsenRankを提案する。
論文 参考訳（メタデータ） (2019-05-29T11:35:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。