論文の概要: A Riemannian Geometry for Low-rank Adaptation

• arxiv url: http://arxiv.org/abs/2610.08049v1
• Date: Tue, 06 Oct 2026 09:47:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.921415
• Title: A Riemannian Geometry for Low-rank Adaptation
• Title（参考訳）: 低ランク適応のためのリーマン幾何学
• Abstract要約: 低ランク適応(LoRA)は、事前訓練された深層ニューラルネットワークのパラメータ効率の高い微調整技術として広く用いられている。 ウェイトレベルでの完全な微調整にギャップを埋めるために、LoRAに特化して調整された新しいリーマン計量を提案する。
• 参考スコア（独自算出の注目度）: 21.153299988218578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adaptation (LoRA) is widely used as a parameter-efficient fine-tuning technique for pre-trained deep neural networks, which approximates the weight update via full fine-tuning by a low-rank matrix $BA^\top$. This parameterization leads to the equivalence relation $(B, A) \sim (BG^{-1}, AG^\top)$ for any invertible matrix $G$ because $BA^\top = BG^{-1}(AG^\top)^\top$ and thus both pairs yield the same loss value. This relation induces a quotient manifold where matrices $(BG^{-1}, AG^\top)$ for all $G$ are identified, eliminating redundant directions along which the loss value remains unchanged. To respect the geometry of this manifold, the original search space is endowed with a Riemannian metric that is invariant under the equivalence relation. Such a metric induces preconditioning at each gradient step and ensures that each weight update via LoRA changes the loss value, leading to efficient optimization. In this paper, we propose a new Riemannian metric that is specifically tailored to LoRA to close the gap to full fine-tuning at the weight level. We theoretically show that LoRA with our preconditioning induced by this metric satisfies the following two properties at each iteration: (i) The weight update follows the direction closest to the gradient of full fine-tuning within the subspace of first-order weight changes allowed by the LoRA parameterization. (ii) The updated weight matrix is closer in Frobenius norm to that of full fine-tuning than the updated weight matrices of LoRA with conventional preconditioning and without preconditioning. These theoretical insights suggest that our preconditioning makes LoRA better approximate full fine-tuning, thereby leading to more efficient optimization. Experiments show the effectiveness and efficiency of our preconditioning for LoRA on fine-tuning tasks with language and vision domains.
• Abstract（参考訳）: 低ランク適応(LoRA)は,低ランク行列$BA^\top$によるフル微調整による重み更新を近似する,事前訓練深層ニューラルネットワークのパラメータ効率のよい微調整手法として広く用いられている。 このパラメータ化により、任意の可逆行列 $G$ に対して同値関係 $(B, A) \sim (BG^{-1}, AG^\top)$ となる。 この関係は、すべての$G$に対して行列 $(BG^{-1}, AG^\top)$ が識別される商多様体を誘導し、損失値が変化しない余分な方向を排除している。 この多様体の幾何学を尊重するために、元の探索空間は同値関係の下で不変なリーマン計量で与えられる。 このような計量は、各勾配ステップで事前条件付けを誘導し、LoRAによる各重み更新が損失値を変更することを保証し、効率的な最適化をもたらす。 本稿では,LoRAに特化して,重量レベルでの完全な微調整にギャップを埋める,新しいリーマン計量を提案する。 この計量によって誘導される条件付きLoRAは、各反復において以下の2つの特性を満たすことを理論的に示す。 i) 重み更新は、LoRAパラメータ化によって許容される一階重み変化の部分空間内でのフル微調整の勾配に最も近い方向に従う。 (II) 更新重量行列は, 従来のプレコンディショニングおよびプレコンディショニングのないLoRAの更新重量行列よりも, フル微調整のノルムに近い。 これらの理論的な洞察は、我々のプレコンディショニングにより、LoRAが完全な微調整をより良くし、より効率的な最適化をもたらすことを示唆している。 言語と視覚領域を用いた微調整作業におけるLoRAの事前条件の有効性と有効性を示す実験を行った。

関連論文リスト

• \k{appa}-LoRA: Condition Numbers Reveal Which LoRA Matrices Worth Updating [24.538290063991997]
  Low-Rank Adaptation (LoRA)は、効率的なニューラルネットワークの微調整技術である。 kappa-LoRAは、最大の条件数を持つ行列の更新に焦点を当てている。 kappa-LoRAはトレーニング可能なパラメータ数を半減し、それに応じて計算とメモリコストを削減します。
  論文  参考訳（メタデータ） (2026-07-24T17:00:40Z)
• Balanced LoRA: Removing Parameter Invariance to Accelerate Convergence [30.96331195818476]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルを微調整するための最も広く採用されている手法である。 バランス付き多様体に反復を射影するLoRAの変種BaLoRAを導入する。 BaLoRAは標準のLoRAよりも早く収束し、様々な微調整タスクで優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-29T16:08:28Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Towards Symmetric Low-Rank Adapters [3.3317825075368908]
  より少ない重みを持つLoRAの最適化版であるSymmetric Low-Rank Adaptersを導入する。 この方法は、下流タスクをより効率的に学習するために、低ランク対称重み行列を利用する。
  論文  参考訳（メタデータ） (2025-03-29T21:52:17Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• CoRA: Optimizing Low-Rank Adaptation with Common Subspace of Large Language Models [7.108651381160281]
  Low-Rank Adaptation (LoRA) 戦略は、微調整された大型モデルにおける効率と性能のバランスをとる。 我々は、共有知識を活用してLoRAトレーニングを最適化するtextbfCoRAを提案する。 実験の結果,最初のアプローチは,パラメータの半減よりも効率が良く,元のLoRAファインチューニングと同じ効果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-08-31T12:48:27Z)
• Computational Limits of Low-Rank Adaptation (LoRA) Fine-Tuning for Transformer Models [10.827800772359844]
  微粒化複雑性理論を用いた変圧器モデルにおけるローランド適応(LoRA)の計算限界について検討する。 我々のキーとなる観察は、LoRA適応の勾配計算における低ランク分解の存在がアルゴリズムの高速化につながることである。
  論文  参考訳（メタデータ） (2024-06-05T10:44:08Z)
• Riemannian Preconditioned LoRA for Fine-Tuning Foundation Models [45.72323731094864]
  Low-Rank Adaptation (LoRA) は、パラメータ効率のよい微細チューニング(PEFT)法として人気がある。 本研究では,各勾配ステップに$r倍r$プレコンディショナーを導入することにより,LoRAトレーニングの強化について検討する。
  論文  参考訳（メタデータ） (2024-02-04T05:05:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。