論文の概要: SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2606.16454v1
• Date: Mon, 15 Jun 2026 09:27:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.270822
• Title: SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation
• Title（参考訳）: SDS-LoRA:低ランク適応における異方性勾配スケーリングの克服
• Authors: Junghun Oh, Sungyong Baik, Kyoung Mu Lee,
• Abstract要約: Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。 完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。 本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
• 参考スコア（独自算出の注目度）: 64.33799467286265
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) enables efficient adaptation of large pre-trained models to downstream tasks by parameterizing weight updates with low-rank matrices. In this paper, we investigate the limitations of the LoRA parameterization from a geometric perspective. Specifically, we show that when a full fine-tuning gradient is backpropagated to the low-rank matrices, it undergoes anisotropic scaling driven by their singular values. We argue that this phenomenon is undesirable because it distorts the full fine-tuning gradient by skewing it toward dominant singular directions while suppressing others. Our analyses demonstrate that anisotropic gradient scaling reduces the effective rank of the low-rank matrices' gradients and results in suboptimal alignment between the full fine-tuning gradient and its low-rank approximation in LoRA, thereby exacerbating the gap to full fine-tuning. To address these limitations, we propose a new low-rank parameterization, SDS-LoRA, which structurally decouples singular values from the backward pass. Our method ensures that the full fine-tuning gradient backpropagates only through the orthonormal bases of the low-rank matrices' subspaces, independent of their scales. Convergence analysis demonstrates that while LoRA's convergence rate degrades with the condition number of the low-rank matrices, SDS-LoRA remains independent of it. Experimental results across natural language and vision benchmarks show that SDS-LoRA improves loss convergence and reduces the gap to full fine-tuning, significantly enhancing adaptation performance.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、低ランク行列による重み更新をパラメータ化することにより、大規模な事前学習モデルの下流タスクへの効率的な適応を可能にする。 本稿では,幾何学的観点からLoRAパラメータ化の限界について検討する。 具体的には, フル微調整勾配が低ランク行列に逆伝播すると, 特異値による異方性スケーリングを行うことを示す。 この現象は、他の現象を抑えながら支配的な特異方向に向かって傾けることによって、完全な微調整勾配を歪めてしまうため、望ましくないと論じる。 解析により, 異方性勾配のスケーリングは, 低ランク行列の勾配の有効ランクを減少させ, フル微調整勾配とLoRAの低ランク近似との最適下限のアライメントを実現し, フル微調整へのギャップを悪化させることを示した。 これらの制約に対処するために、後方パスから特異値を構造的に分離する新しい低ランクパラメータ化 SDS-LoRA を提案する。 提案手法は,低ランク行列部分空間の正規直交基底を通してのみ,完全な微調整勾配が逆伝搬することを保証している。 収束解析により、LoRAの収束速度は低ランク行列の条件数とともに低下するが、SDS-LoRAはそれとは独立であることを示す。 自然言語と視覚のベンチマークによる実験結果から、SDS-LoRAは損失収束を改善し、完全な微調整へのギャップを減らし、適応性能を著しく向上することが示された。

関連論文リスト

• Laplacian-LoRA: Delaying Oversmoothing in Deep GCNs via Spectral Low-Rank Adaptation [0.0]
  標準グラフ畳み込みネットワーク(GCN)の低ランク適応であるLaplacian-LoRAを提案する。 メッセージパッシングを再設計する代わりに、Laplacian-LoRAは学習可能でスペクトルに固定された修正を固定されたLaplacian伝搬演算子に導入する。 また,Laplacian-LoRAはGCNの有効深度を最大2倍にまで延ばし,過スムージングの開始を連続的に遅らせることを示した。
  論文  参考訳（メタデータ） (2026-02-07T00:03:19Z)
• AltLoRA: Towards Better Gradient Approximation in Low-Rank Adaptation with Alternating Projections [42.88697930464368]
  Low-Rank Adaptation (LoRA) は、微調整された大規模言語モデルにおいて、メモリオーバーヘッドを低減する効果的な手法として登場した。 低ランク空間で更新が制限されているため、完全な微調整に比べて、しばしば準最適パフォーマンスに悩まされる。 共同更新設計による勾配近似の難しさを回避するための交互投影法AltLoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-18T15:10:38Z)
• LoRA-MGPO: Mitigating Double Descent in Low-Rank Adaptation via Momentum-Guided Perturbation Optimization [16.360816770124874]
  LoRA-MGPO は Momentum-Guided Perurbation Optimization (MGPO) を組み込んだフレームワークである。 MGPOは勾配状態から運動量ベクトルを誘導する運動力学を安定化させる。 実験の結果, LoRA-MGPO は LoRA や他のPEFT 法よりも優れた性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2025-02-20T13:14:41Z)
• LoRA vs Full Fine-tuning: An Illusion of Equivalence [73.5303340531806]
  我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。 特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。 我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
  論文  参考訳（メタデータ） (2024-10-28T17:14:01Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• From Low Rank Gradient Subspace Stabilization to Low-Rank Weights: Observations, Theories, and Applications [85.17672240603011]
  大規模言語モデルにおける重み行列の非一様低ランク特性について検討する。 WeLore(Weight Low-Rank Projection)は、重み圧縮とメモリ効率の微調整を一体化したものである。
  論文  参考訳（メタデータ） (2024-07-15T21:05:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。