論文の概要: LoRA's Second Descent Extends Beyond Parameter Parity

• arxiv url: http://arxiv.org/abs/2610.04507v1
• Date: Sat, 03 Oct 2026 13:10:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-12 10:01:52.150315
• Title: LoRA's Second Descent Extends Beyond Parameter Parity
• Title（参考訳）: LoRAの第2王朝、パラメータパリティを超えて拡大
• Abstract要約: 4つの視覚バックボーンと7B言語モデルにおけるラベルノイズ下での相関関係の定量化を行う。 DeiT-Tinyでは、リスクはランク1で最低であり、アダプターがノイズの多いラベルに合うようになり、崖を形成するため、急激に上昇する。 ランク1のLoRAは、4つの視覚のバックボーンのうち3つで密度の高い微調整をし、小さなランクでの強い正規化と一致している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Double descent has sparked considerable interest, with recent work relating it to the data, the model and the learning configuration. Practical fine-tuning commonly involves training a small adapter on top of frozen pretrained weights, as in low-rank adaptation (LoRA). The adapter's rank is the hyperparameter that sets its capacity, yet how this rank relates to double descent has not been well explored. We quantify this relation under label noise on four vision backbones and a 7B language model with a module-matched rank sweep (MMRS), which extends past full rank and compares every rank with dense fine-tuning of the same modules, paired by seed. On DeiT-Tiny, risk is lowest at rank one and rises sharply as the adapter becomes able to fit the noisy labels, forming an interpolation cliff. Past the peak, risk falls again, but every tested post-peak rank that still saves parameters remains above dense risk. Rank-one LoRA outperforms dense fine-tuning on three of the four vision backbones, consistent with strong regularization at small rank. LoRA thus exhibits a second descent, but matches dense risk only after losing its parameter advantage, first on DeiT-Tiny at four times dense's projection weights. Code is available at https://anonymous.4open.science/r/lora-second-descent-C7B5.
• Abstract（参考訳）: 二重降下は、データ、モデル、学習構成に関連する最近の研究によって、かなりの関心を呼んだ。 実践的な微調整は通常、ローランク適応(LoRA)のように、凍結した事前訓練された重量の上に小さなアダプタを訓練する。 アダプタのランクは、その容量を設定できるハイパーパラメータであるが、このランクが二重降下とどのように関係するかはよく調べられていない。 この関係を、4つの視覚バックボーン上のラベルノイズと、7B言語モデル(MMRS)で定量化する。 DeiT-Tinyでは、リスクはランク1で最低であり、アダプタがノイズラベルに適合し、補間崖を形成するため、急激に上昇する。 ピークを過ぎると、リスクは再び減少するが、パラメータを依然として節約するテスト後のランクは、高密度のリスクよりも高いままである。 ランク1のLoRAは、4つの視覚のバックボーンのうち3つで密度の高い微調整をし、小さなランクでの強い正規化と一致している。 したがって、LoRAは2番目の降下を示すが、パラメータの優位性を失った後にのみ密度のリスクと一致し、最初にDeiT-Tinyは4倍の密度の投射重を持つ。 コードはhttps://anonymous.4open.science/r/lora-second-descent-C7B5で公開されている。

関連論文リスト

• LoRA-TSD: Tangent-Space Spectral Descent for LoRA via Muon-Style Updates [48.87937677659571]
  低ランク適応(LoRA)は、大型モデルを微調整する標準的な方法である。 固定ランク行列多様体に対してすべてのLoRAステップを接として扱うアダプタであるLoRA-TSDを導入する。 LoRA-Pro と LoRA-TSD の両方に対して最初のグローバル収束保証を与える。
  論文  参考訳（メタデータ） (2026-09-02T15:41:45Z)
• Tight Sample Complexity for Low-Rank Adaptation: Matching Bounds and Rank Selection [0.0]
  Low-Rank Adaptation (LoRA) は、大規模な事前訓練モデルを微調整するための標準的なメカニズムとなっている。 ロラ階数 r をどうやって選ぶかという問題には正式な答えがない。 ランクr LoRA に対する経験的リスク最小化器の過大なリスクに対する O(rd/n) の上限を証明した。
  論文  参考訳（メタデータ） (2026-07-30T04:56:27Z)
• SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling [17.873016968298483]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのためのパラメータ効率の高い微調整法である。 我々は,静的な専門家の和としてランクレット更新を再パラメータ化するドロップイン拡張である静的直交部分空間LoRA(SOS-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-06-27T03:25:36Z)
• LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules [10.00294036303927]
  標準的なLoRA学習を改善することを目的とした,シンプルで効率的な方法論であるLoRA-Squeezeを紹介する。 我々のアプローチは、制約のある低ランクのソリューションを直接学習するのではなく、まず表現力のある高ランクのソリューションを学習し、次に圧縮する方がよいことを示唆している。
  論文  参考訳（メタデータ） (2026-02-11T16:19:58Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• Investigating ReLoRA: Effects on the Learning Dynamics of Small Language Models [3.199098703282354]
  小型言語モデル(SLM)はランク不足を示し、使用可能な次元を過小評価する。 ReLoRAのランク拡張された更新ルール テキストステア SLM は、より健全な学習ダイナミックスへ向けられるか? 本研究では,SLMにおけるReLoRAに関する最初の体系的研究を行い,性能と学習のダイナミクスを評価した。
  論文  参考訳（メタデータ） (2025-09-16T11:06:58Z)
• Efficient Modular Learning through Naive LoRA Summation: Leveraging Orthogonality in High-Dimensional Models [1.0923877073891446]
  Low-Rank Adaptation (LoRA)はパラメータデルタを2つの小さな行列の積として保存する。 Naive summationは追加のトレーニングを必要とせず、数秒で適用でき、マージされたデータでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-08-16T08:49:02Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。