Fugu-MT 論文翻訳(概要): HiP-LoRA: Budgeted Spectral Plasticity for Robust Low-Rank Adaptation

論文の概要: HiP-LoRA: Budgeted Spectral Plasticity for Robust Low-Rank Adaptation

arxiv url: http://arxiv.org/abs/2604.17751v1
Date: Mon, 20 Apr 2026 03:11:01 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-21 21:52:52.673995
Title: HiP-LoRA: Budgeted Spectral Plasticity for Robust Low-Rank Adaptation
Title（参考訳）: HiP-LoRA:ロバスト低ランク適応のための予算付き分光塑性
Authors: Lixian Chen, Jianhong Tan,
Abstract要約: 低ランク更新はしばしば、事前訓練された重量の先頭の特異な方向にエネルギーを集中させる。スペクトル対応適応フレームワークHiP-LoRAを提案する。一致した予算の下では、HiP-LoRAはトレーニング前の劣化とマルチアダプタMergeFailを大幅に削減する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Adapting foundation models under resource budgets relies heavily on Parameter-Efficient Fine-Tuning (PEFT), with LoRA being a standard modular solution. However, LoRA suffers from spectral interference. Low-rank updates often concentrate energy on the leading singular directions of pretrained weights, perturbing general capabilities and causing catastrophic forgetting and fragile multi-adapter merging. To resolve this, we propose HiP-LoRA, a spectrum-aware adaptation framework. Utilizing the cached singular value decomposition (SVD) of pretrained layers, HiP-LoRA decomposes updates into two channels: a principal channel within the dominant singular subspace, and a residual low-rank channel in the orthogonal complement. A singular-value-weighted stability budget on the principal channel continuously balances pretrained behavior preservation with task-specific plasticity. Experiments on Llama-3.1-8B demonstrate that under matched budgets, HiP-LoRA drastically reduces pretraining degradation and multi-adapter MergeFail, robustly outperforming baselines in interference-sensitive tasks like continual tuning and knowledge editing.
Abstract（参考訳）: リソース予算下での基盤モデルへの適応は、パラメータ効率の良いファインチューニング(PEFT)に大きく依存しており、LoRAは標準のモジュラーソリューションである。しかし、LoRAはスペクトル干渉に悩まされている。低ランク更新はしばしば、事前訓練された重量の先頭の特異な方向にエネルギーを集中させ、摂動能力を高め、破滅的な忘れ込みと脆弱なマルチアダプタマージを引き起こす。そこで本研究では,スペクトル対応適応フレームワークであるHiP-LoRAを提案する。 HiP-LoRAは、事前訓練された層のキャッシュされた特異値分解(SVD)を利用して、更新を2つのチャネルに分解する。主チャネル上の特異値重み安定性予算は、トレーニング済みの挙動保存とタスク固有の可塑性とのバランスを連続的に維持する。 Llama-3.1-8Bの実験では、HiP-LoRAは一致した予算の下で事前学習の劣化を劇的に減らし、マルチアダプタのMergeFailは連続的なチューニングや知識編集のような干渉に敏感なタスクのベースラインを頑健に上回ることを示した。

関連論文リスト

Tackling Length Inflation Without Trade-offs: Group Relative Reward Rescaling for Reinforcement Learning [74.5532558466687]
群 Relative Reward Rescaling (GR$3$) は、一般的な、連続かつ報酬に依存したゲーティング機構である。 GR$3$は、標準のGRPOに匹敵するトレーニングダイナミクスとダウンストリームのパフォーマンスを維持する。それは長さのインフレーションを著しく軽減し、最先端の長周期正規化ベースラインを上回ります。
論文参考訳（メタデータ） (2026-03-11T08:41:34Z)
Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
論文参考訳（メタデータ） (2026-03-07T01:49:59Z)
Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
論文参考訳（メタデータ） (2026-01-30T10:54:51Z)
Why LoRA Fails to Forget: Regularized Low-Rank Adaptation Against Backdoors in Language Models [5.957171492626586]
Low-Rank Adaptation (LoRA) は大規模言語モデルのパラメータ効率の良い微調整に広く用いられている。 LoRAの脆弱性は基本的にスペクトルであることを示す。正規化低ランク適応(RoRA)は、スペクトル強度を増大させることにより、忘れを改善する。
論文参考訳（メタデータ） (2026-01-09T20:54:47Z)
GRIT -- Geometry-Aware PEFT with K-FACPreconditioning, Fisher-Guided Reprojection, andDynamic Rank Adaptation [4.748720471060117]
GRITは、LoRAパラメータ化を保存する曲率対応のLoRAプロシージャである。トレーニング可能なパラメータを平均で46%削減しながら、LoRAとQLoRAにマッチまたは超越する。 GRITは強力なPEFT最適化器ベースラインよりも低いドリフトと更新vs保持フロンティアが得られる。
論文参考訳（メタデータ） (2026-01-01T06:31:54Z)
DoRAN: Stabilizing Weight-Decomposed Low-Rank Adaptation via Noise Injection and Auxiliary Networks [47.58150560549918]
重み分解低ランク適応(DoRA)は,バニラ低ランク適応(LoRA)法の学習能力と訓練安定性の両方を改善することが示されている。そこで本研究では,DoRAのトレーニングを安定化し,サンプル効率を向上させるため,新しいDoRAの派生型であるDoRANを提案する。
論文参考訳（メタデータ） (2025-10-05T19:27:48Z)
Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes [9.4848188271008]
Low-Rank Adaptation (LoRA) は、完全に微調整された基礎モデルに匹敵する性能を維持しながら、計算コストを削減できることが証明されている。現在の適応LoRA法は、ランクを動的に拡張または選択的に割り当てることで、この制限を克服しようとする。本稿では, 既訓練重量行列の安定なランクを, 階層的ランクアロケーションの自然な先行として活用する新しいフレームワークSR-LoRAを紹介する。
論文参考訳（メタデータ） (2025-06-30T23:54:23Z)
SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。 SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
論文参考訳（メタデータ） (2025-05-18T14:12:40Z)
SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
論文参考訳（メタデータ） (2025-01-22T20:00:41Z)
Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
論文参考訳（メタデータ） (2024-11-01T14:28:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。