論文の概要: LoRA vs. Full Fine-Tuning: A Theoretical Perspective

• arxiv url: http://arxiv.org/abs/2605.19018v1
• Date: Mon, 18 May 2026 18:40:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.923465
• Title: LoRA vs. Full Fine-Tuning: A Theoretical Perspective
• Title（参考訳）: LoRA vs. Full Fine-Tuning:理論的展望
• Authors: Ali Zindari, Rotem Mulayoff, Sebastian U. Stich,
• Abstract要約: Low-Rank Adaptation (LoRA) は、メモリと計算コストを削減する効率的な微調整手法である。 簡単な線形回帰設定でLoRAを解析し、その過大なリスクをフル微調整のリスクと比較する。 我々の理論は、事前学習と下流タスクの差が効果的に低い場合、LoRAが完全な微調整より優れていることを予測している。
• 参考スコア（独自算出の注目度）: 29.827767726672523
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Fine-tuning adapts a pre-trained model to downstream tasks using a small amount of labeled data. Low-Rank Adaptation (LoRA) is an efficient fine-tuning method that reduces memory and computation costs while often achieving performance close to full fine-tuning. Despite its widespread use, the theoretical behavior of LoRA is not yet well understood. In this paper, we study LoRA in a simple linear regression setting and compare its excess risk with that of full fine-tuning. Our analysis identifies regimes in which LoRA achieves lower excess risk than full fine-tuning in both overdetermined and underdetermined settings. Specifically, our theory predicts that LoRA can outperform full fine-tuning when the difference between the pretraining and the downstream tasks is effectively low-rank. We further show how the choice of LoRA rank affects generalization performance, explaining why using a very small rank can improve test accuracy in certain settings, even though it limits model expressivity. Finally, we support our theoretical results with experiments on practical tasks, suggesting that the identified tradeoffs and insights extend beyond linear regression.
• Abstract（参考訳）: ファインチューニングは、少量のラベル付きデータを使用して、トレーニング済みのモデルを下流タスクに適用する。 Low-Rank Adaptation (LoRA) は、メモリと計算コストを削減し、フル微調整に近い性能を達成するための効率的な微調整手法である。 広く使われているにもかかわらず、LoRAの理論的挙動はまだよく分かっていない。 本稿では,LoRAを単純な線形回帰条件で検討し,その過大なリスクをフル微調整のリスクと比較する。 我々の分析では、過度に決定された設定と過度に決定された設定の両方において、LoRAが完全な微調整よりも低い過大なリスクを達成できる体制を特定した。 具体的には,学習前タスクと下流タスクの差が効果的に低い場合,LoRAが完全微調整より優れていると予測する。 さらに,ロラ階数の選択が一般化性能にどう影響するかを示すとともに,モデル表現性に制限があるにもかかわらず,非常に小さな階数を用いると,特定の設定におけるテスト精度が向上する理由を説明する。 最後に, 実測実験による理論的結果をサポートし, 同定されたトレードオフと洞察が線形回帰を超えて拡張されることを示唆した。

関連論文リスト

• LoRA Is Slower Than You Think [0.0]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)において最も広く使われている技術の一つである。 少数のトレーニング可能な低ランク重量行列を導入することで、LoRAは更新される必要のあるパラメータの数を大幅に削減する。 LoRAは、すべてのモデルアーキテクチャやトレーニング設定に対して、一貫してスピード改善を提供していません。
  論文  参考訳（メタデータ） (2025-07-06T08:36:43Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• LoRA Learns Less and Forgets Less [25.09261710396838]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのパラメータ効率の高い微調整法である。 プログラムと数学の2つの対象領域におけるLoRAの性能と完全な微調整を比較した。
  論文  参考訳（メタデータ） (2024-05-15T19:27:45Z)
• LoRA Dropout as a Sparsity Regularizer for Overfitting Control [18.992276878667997]
  そこで本研究では,LoRA方式のドロップアウト機構を提案する。 適切な空間性は、経験的リスクと一般化リスクのギャップを狭めるのに役立ちます。
  論文  参考訳（メタデータ） (2024-04-15T09:32:12Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。