論文の概要: A Fine-Grained Analysis of the LoRA Fine-Tuning Landscape with Implications for Data Selection
- arxiv url: http://arxiv.org/abs/2610.06542v1
- Date: Mon, 05 Oct 2026 15:39:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-09 07:39:29.983631
- Title: A Fine-Grained Analysis of the LoRA Fine-Tuning Landscape with Implications for Data Selection
- Title（参考訳）: データ選択を考慮したLoRA微調整景観の微粒化解析
- Abstract要約: Low-Rank Adaptation (LoRA) はパラメータの微調整の標準手法となっている。
アダプタのランクをどうやって選ぶべきか?
- 参考スコア（独自算出の注目度）: 14.503080082877718
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Low-Rank Adaptation (LoRA) has become a standard approach for parameter-efficient fine-tuning, yet a fundamental practical question remains unresolved: how should the adapter rank be chosen? An overly small rank may lead to a poorly conditioned optimization landscape, whereas an unnecessarily large rank sacrifices the efficiency that motivates LoRA in the first place. Existing theoretical analyses provide only limited guidance on this trade-off, and their guarantees are typically established under restrictive theoretical settings. We address this gap by developing a substantially sharper landscape theory for LoRA, building on modern results from nonconvex low-rank matrix sensing. Our central insight is that the appropriate adapter rank should depend on the quality of the data-induced optimization geometry, rather than on the model alone. To formalize this connection, we introduce LoRA-RIP, a data-dependent restricted-isometry metric that characterizes the conditioning of the cross-entropy (CE) objective along LoRA-relevant low-rank directions. We prove that sufficient rank over-parameterization, with the required rank explicitly determined by the LoRA-RIP constant, eliminates spurious local minima, thereby extending existing RIP-based guarantees beyond the classical 1/3 regime. This characterization further enables principled data selection under a fixed rank budget. Experiments across language and vision tasks support these theoretical predictions, showing that rank and data quality are two coupled resources that should be jointly considered for more efficient and reliable LoRA fine-tuning.
- Abstract（参考訳）: Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整の標準的なアプローチとなっているが、基本的な実践的な問題は未解決のままである。
極端に小さなランクが条件の悪い最適化ランドスケープに繋がる一方、不要に大きなランクは、そもそもLoRAを動機付ける効率を犠牲にする。
既存の理論的分析は、このトレードオフについて限定的なガイダンスしか提供せず、その保証は通常、制限的な理論的な設定の下で確立される。
このギャップは、非凸低ランクマトリクスセンシングによる最新の結果に基づいて、LoRAのよりシャープなランドスケープ理論を開発することで解決される。
私たちの中心的な洞察は、適切なアダプタのランクは、モデルのみではなく、データ誘起最適化の質に依存するべきだということです。
この接続を形式化するために、ロラ関連低ランク方向に沿ったクロスエントロピー(CE)目標の条件付けを特徴付けるデータ依存型制限等尺法であるロラ-RIPを導入する。
我々は,LoRA-RIP定数によって要求されるランクが明確に決定される十分な過パラメータ化が,局所最小化を排除し,従来の1/3体制を超えて既存のRIPベースの保証を拡張できることを証明した。
この特徴付けにより、一定のランクの予算の下での原則化されたデータ選択が可能になる。
言語と視覚のタスクにわたる実験は、これらの理論的予測をサポートし、ランクとデータ品質は、より効率的で信頼性の高いLoRA微調整のために共同で検討すべき2つのリソースであることを示した。
関連論文リスト
- Rank-Efficient LoRA via Joint Tangent-Space Optimization under Isotropic Curvature [15.962803593943624]
Low-Rank Adaptation (LoRA) は、低ランクウェイト更新を学習することで、大規模な事前学習モデルに適応するための効果的なアプローチである。
比喩ランクが表現能力を決定する一方で、そのキャパシティの形状が誘導重み空間更新に使用されることを示す。
論文 参考訳（メタデータ） (2026-09-10T18:50:17Z) - Statistical Inference for Rank Allocation in Low-Rank Adaptation [54.886931928255564]
低ランク適応 (LoRA) は大規模言語モデルにおいてパラメータ効率の高い微調整法として広く用いられている。
統計的推論に基づくランクアロケーション手法であるStatLoRAを提案する。
StatLoRA は,Vanilla LoRA,AdaLoRA,I-LoRA と同等以上の性能を示す。
論文 参考訳（メタデータ） (2026-07-22T14:25:59Z) - SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。
textbfSpectrum textbfModulation textbfAdapterを提案する。
論文 参考訳（メタデータ） (2026-05-20T13:19:28Z) - Post-Optimization Adaptive Rank Allocation for LoRA [10.796887002907456]
Post-Optimization Adaptive Rank Allocation (PARA) はローランド適応データ自由圧縮法である。
我々は,既存の微調整パイプラインにシームレスに統合されたLoRAのデータフリー圧縮手法であるPARAを提案する。
PARAは、視覚および言語ベンチマークにおけるオリジナルの圧縮されていないLoRAの予測性能を維持しながら、パラメータ数を75-90%削減することを示した。
論文 参考訳（メタデータ） (2026-04-30T12:40:11Z) - Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。
提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
論文 参考訳（メタデータ） (2025-07-02T15:56:40Z) - BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。
本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文 参考訳（メタデータ） (2025-02-19T10:33:22Z) - GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。
Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。
隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
論文 参考訳（メタデータ） (2024-12-12T13:04:54Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-20T11:56:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。