論文の概要: Beyond Low-Rank Parameterization: Narrowing the Gap Between LoRA and Full Fine-Tuning via Gradient Decomposition

• arxiv url: http://arxiv.org/abs/2609.37027v1
• Date: Tue, 29 Sep 2026 08:42:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.33686
• Title: Beyond Low-Rank Parameterization: Narrowing the Gap Between LoRA and Full Fine-Tuning via Gradient Decomposition
• Title（参考訳）: 低ランクパラメータ化を超えて:勾配分解によるLoRAとフルファインチューニングのギャップを狭める
• Abstract要約: Low-Rank Adaptation (LoRA)はパラメータ効率細調整(PEFT)に広く用いられている手法である GDLoRAは前方アクティベーションと後方信号から全重量勾配を再構築し、通常の成分を抽出し、この成分でベース重量を直接更新する。 自然言語理解、数学的推論、常識推論、画像分類の実験は、GDLoRAが一貫してLoRAよりも改善し、FFTのパフォーマンスギャップを狭めることを示している。
• 参考スコア（独自算出の注目度）: 23.18795203827764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-Rank Adaptation (LoRA) is a widely used approach to parameter-efficient fine-tuning (PEFT), yet a performance gap can remain relative to full fine-tuning (FFT). Many LoRA variants improve the initialization or optimization of low-rank factors. At each training step, however, their first-order weight-space directions are constrained by the current parameterization. We characterize the corresponding LoRA-accessible gradient space and show that it coincides with the tangent space induced by the current LoRA parameterization. This characterization yields an orthogonal decomposition of the full weight gradient at the current model parameters. We term the component orthogonal to this space the normal gradient. Based on this decomposition, we propose GDLoRA (Gradient-Decomposed Low-Rank Adaptation). GDLoRA reconstructs the full weight gradient from forward activations and backward signals, extracts its normal component, and directly updates the base weights with this component, while retaining standard AdamW optimization for the LoRA factors. GDLoRA incorporates complementary normal gradients without increasing standard LoRA's optimizer-state memory budget under matched adapter and optimizer configurations. Experiments on natural language understanding, mathematical reasoning, commonsense reasoning, and image classification show that GDLoRA consistently improves over LoRA and narrows the performance gap to FFT. The code is available at https://anonymous.4open.science/r/GDLoRA.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整(PEFT)の手法として広く用いられているが、完全な微調整(FFT)と比較して性能差は残る。 多くの LoRA 変種は低ランク因子の初期化や最適化を改善している。 しかし、各トレーニングステップでは、その一階の重み空間方向は、現在のパラメータ化によって制約される。 対応する LoRA アクセス可能な勾配空間を特徴付け、現在の LoRA パラメータ化によって誘導される接空間と一致することを示す。 この特徴付けは、現在のモデルパラメータにおけるフルウェイト勾配の直交分解をもたらす。 この空間の直交成分を正規勾配と呼ぶ。 この分解に基づいてGDLoRA(Gradient-Decomposed Low-Rank Adaptation)を提案する。 GDLoRAは前方アクティベーションと後方信号から全重量勾配を再構築し、通常の成分を抽出し、この成分でベース重量を直接更新する。 GDLoRAは、標準のLoRAのオプティマイザ-ステートメモリ予算を整合アダプタとオプティマイザ構成で増加させることなく、補完的な正規勾配を組み込む。 自然言語理解、数学的推論、常識推論、画像分類の実験は、GDLoRAが一貫してLoRAよりも改善し、FFTのパフォーマンスギャップを狭めることを示している。 コードはhttps://anonymous.4open.science/r/GDLoRAで公開されている。

関連論文リスト

• LoRA-GA$^2$: Low Rank Adaptation with Multi-step Gradient Adaptive Alignment [3.934797837010563]
  Low-Rank Adaptation (LoRA) は、大型モデルのための卓越した微調整法である。 LoRA-GA$2$は、多段階勾配情報を完全に活用する効果的な微調整アルゴリズムである。
  論文  参考訳（メタデータ） (2026-08-20T08:55:05Z)
• SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling [17.873016968298483]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのためのパラメータ効率の高い微調整法である。 我々は,静的な専門家の和としてランクレット更新を再パラメータ化するドロップイン拡張である静的直交部分空間LoRA(SOS-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-06-27T03:25:36Z)
• SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
  Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。 完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。 本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-06-15T09:27:50Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• Post-Optimization Adaptive Rank Allocation for LoRA [10.796887002907456]
  Post-Optimization Adaptive Rank Allocation (PARA) はローランド適応データ自由圧縮法である。 我々は,既存の微調整パイプラインにシームレスに統合されたLoRAのデータフリー圧縮手法であるPARAを提案する。 PARAは、視覚および言語ベンチマークにおけるオリジナルの圧縮されていないLoRAの予測性能を維持しながら、パラメータ数を75-90%削減することを示した。
  論文  参考訳（メタデータ） (2026-04-30T12:40:11Z)
• Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。 勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
  論文  参考訳（メタデータ） (2026-02-18T13:41:41Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。