論文の概要: Spectral Surgery: Training-Free Refinement of LoRA via Gradient-Guided Singular Value Reweighting

• arxiv url: http://arxiv.org/abs/2603.03995v1
• Date: Wed, 04 Mar 2026 12:38:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.302015
• Title: Spectral Surgery: Training-Free Refinement of LoRA via Gradient-Guided Singular Value Reweighting
• Title（参考訳）: 眼科手術 : グラディエントガイド付き特異値再重み付けによるLoRAの無訓練リファインメント
• Authors: Zailong Tian, Yanzhe Chen, Zhuoheng Han, Lizi Liao,
• Abstract要約: Low-Rank Adaptation (LoRA)は、タスク更新を低ランクパラメータサブスペースに制限することで、ダウンストリームのパフォーマンスを改善する。 訓練されたLoRA更新は、しばしば非効率なスペクトルを示し、タスク効果は特異方向の小さなサブセットに集中している。 SVD で LoRA 更新を分解する訓練自由改良法である Spectral Surgery を提案する。
• 参考スコア（独自算出の注目度）: 19.886879714344076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) improves downstream performance by restricting task updates to a low-rank parameter subspace, yet how this limited capacity is allocated within a trained adapter remains unclear. Through a geometric and empirical study across multiple tasks and backbones, we find that trained LoRA updates often exhibit an inefficient spectrum: task effects concentrate in a small subset of singular directions, while many remaining components are neutral or detrimental, motivating post-hoc refinement within the learned subspace. We propose Spectral Surgery, a training-free refinement that decomposes a LoRA update with SVD, estimates per-component sensitivity using gradients on a small calibration set, and reweights singular values under a magnitude constraint while keeping the learned directions fixed. Across Llama-3.1-8B and Qwen3-8B on four benchmarks, Spectral Surgery yields consistent gains (up to +4.4 points on CommonsenseQA and +2.4 pass@1 on HumanEval) by adjusting only $\approx 1{,}000$ scalar coefficients. These results demonstrate that SVD-structured, low-cost parameter editing can serve as a practical route to improving trained LoRA adapters in a purely post-hoc manner.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、タスク更新を低ランクパラメータサブスペースに制限することで、ダウンストリームのパフォーマンスを改善する。 複数のタスクやバックボーンにまたがる幾何学的、経験的な研究により、訓練されたLoRA更新は、しばしば非効率なスペクトルを示す:タスク効果は特異方向の小さなサブセットに集中するが、残りの多くのコンポーネントは中立的または有害であり、学習されたサブ空間内でのポストホックの洗練を動機付けている。 そこで我々は,LoRA更新をSVDで分解し,小さなキャリブレーションセットの勾配を用いて成分ごとの感度を推定し,学習方向を一定に保ちながら特異値を大小制約下で再重み付けする,訓練不要の修正法であるSpectral Surgeryを提案する。 Llama-3.1-8B と Qwen3-8B の4つのベンチマークで、スペクトル手術は、$\approx 1{,}000$スカラー係数だけを調整することで、一貫性のある利得(CommonsenseQA では +4.4 ポイント、HumanEval では +2.4 パス@1 ポイント)を得る。 これらの結果から,SVD 構造で低コストなパラメータ編集は,訓練済みの LoRA アダプタを極端にポストホックな方法で改良する実践的な方法として有効であることが示された。

関連論文リスト

• LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules [10.00294036303927]
  標準的なLoRA学習を改善することを目的とした,シンプルで効率的な方法論であるLoRA-Squeezeを紹介する。 我々のアプローチは、制約のある低ランクのソリューションを直接学習するのではなく、まず表現力のある高ランクのソリューションを学習し、次に圧縮する方がよいことを示唆している。
  論文  参考訳（メタデータ） (2026-02-11T16:19:58Z)
• Learning Rate Matters: Vanilla LoRA May Suffice for LLM Fine-tuning [48.66442009036754]
  Low-Rank Adaptation (LoRA)は、効率的な大規模言語モデルの微調整のための一般的なアプローチである。 本研究では,バニラ・ロラとともに4つの代表的ロラ変種を再評価する。 異なるLoRA手法が学習率の異なる範囲を好んでいることが判明した。
  論文  参考訳（メタデータ） (2026-02-04T19:36:20Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Why LoRA Fails to Forget: Regularized Low-Rank Adaptation Against Backdoors in Language Models [5.957171492626586]
  Low-Rank Adaptation (LoRA) は大規模言語モデルのパラメータ効率の良い微調整に広く用いられている。 LoRAの脆弱性は基本的にスペクトルであることを示す。 正規化低ランク適応(RoRA)は、スペクトル強度を増大させることにより、忘れを改善する。
  論文  参考訳（メタデータ） (2026-01-09T20:54:47Z)
• SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
  Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。 本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。 SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
  論文  参考訳（メタデータ） (2025-05-18T14:12:40Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。