論文の概要: Nonlinearity-Aware LoRA: Structured Gate Adaptation under Low-Rank Constraints
- arxiv url: http://arxiv.org/abs/2606.31717v1
- Date: Tue, 30 Jun 2026 14:21:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.251454
- Title: Nonlinearity-Aware LoRA: Structured Gate Adaptation under Low-Rank Constraints
- Title（参考訳）: 非線形性を考慮したLoRA:低ランク制約下での構造ゲート適応
- Abstract要約: ゲート型FFNでは、低ランク残差は投影された特徴だけでなく、どのチャネルが出力に寄与するかを決定する非線形選択重みも変化する。
選択ミスアライメントとしてこの効果を形式化し、自己ゲート活性化の局所的有効同質性に接続する。
2つの軽量なメカニズムを持つトレーニング専用手法NA-LoRAを提案する。
- 参考スコア（独自算出の注目度）: 22.829834841445603
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Low-rank adaptation (LoRA) is commonly viewed as an update-space approximation to full fine-tuning, yet this view is incomplete for self-gated Transformer feed-forward networks. In gated FFNs, a low-rank residual can change not only projected features but also the nonlinear selection weights that determine which channels contribute to the output. We formalize this effect as selection misalignment and connect it to the local effective homogeneity of self-gated activations. This motivates a nonlinearity-aware principle for parameter-efficient fine-tuning: low-rank updates should allocate capacity to gate channels whose nonlinear states remain responsive and should shape the temporal evolution of selection. We propose NA-LoRA, a training-only method with two lightweight mechanisms: a derivative-based temporal-importance mask for gate-related LoRA updates and an activation-specific step-scaling rule when a meaningful coarse effective-homogeneity partition is available. NA-LoRA adds no auxiliary loss and incurs no inference-time overhead. Experiments on language-model fine-tuning and vision-language transfer benchmarks show that NA-LoRA consistently improves over vanilla LoRA and is competitive with or better than strong PEFT variants.
- Abstract（参考訳）: 低ランク適応(LoRA)は、フル微調整の更新空間近似として一般的に見なされているが、セルフゲートトランスフォーマーフィードフォワードネットワークでは不完全である。
ゲート型FFNでは、低ランク残差は投影された特徴だけでなく、どのチャネルが出力に寄与するかを決定する非線形選択重みも変化する。
選択ミスアライメントとしてこの効果を形式化し、自己ゲート活性化の局所的有効同質性に接続する。
低ランク更新では、非線形状態が応答性を維持し、選択の時間的進化を形作るゲートチャネルにキャパシティを割り当てるべきである。
ゲート関連LoRA更新のためのデリバティブベースの時間的重要マスクと,有意な粗い有効・均一性分割が利用可能である場合に,アクティベーション固有のステップスケーリングルールという,2つの軽量なメカニズムを持つトレーニング専用手法であるNA-LoRAを提案する。
NA-LoRAは補助的な損失を追加せず、推論時のオーバーヘッドも発生しない。
言語モデル微調整および視覚言語変換ベンチマークの実験では、NA-LoRAはバニラロラよりも一貫して改善され、強力なPEFTの派生品と競合するかどうかが示されている。
関連論文リスト
- SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。
textbfSpectrum textbfModulation textbfAdapterを提案する。
論文 参考訳（メタデータ） (2026-05-20T13:19:28Z) - Learning When to Adapt [29.665123668818378]
低ランク適応(LoRA)はパラメータ効率のよい微調整法として広く用いられている。
DiseLはLoRAモジュールを、個々のランク1コンポーネントに軽量な入力依存ゲートで拡張する。
DiseLは少数のパラメータのみを追加し、ローランク構造を保存する。
論文 参考訳（メタデータ） (2026-05-18T18:51:24Z) - Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。
我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。
この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
論文 参考訳（メタデータ） (2026-03-31T14:46:39Z) - Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。
本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
論文 参考訳（メタデータ） (2026-01-30T10:54:51Z) - GRIT -- Geometry-Aware PEFT with K-FACPreconditioning, Fisher-Guided Reprojection, andDynamic Rank Adaptation [4.748720471060117]
GRITは、LoRAパラメータ化を保存する曲率対応のLoRAプロシージャである。
トレーニング可能なパラメータを平均で46%削減しながら、LoRAとQLoRAにマッチまたは超越する。
GRITは強力なPEFT最適化器ベースラインよりも低いドリフトと更新vs保持フロンティアが得られる。
論文 参考訳（メタデータ） (2026-01-01T06:31:54Z) - AFA-LoRA: Enabling Non-Linear Adaptations in LoRA with Activation Function Annealing [22.025349145835182]
AFA-LoRAは、シームレスなマージ性を維持しながら、非線形表現性をLoRAにもたらす新しいトレーニング戦略である。
教師付き微調整,強化学習,投機的復号化に本手法を適用した。
論文 参考訳（メタデータ） (2025-12-27T04:12:40Z) - Enhancing Low-Rank Adaptation with Structured Nonlinear Transformations [25.21314821550254]
Low-Rank Adaptation (LoRA) は、大規模言語モデルに対して広く採用されているパラメータ効率の高い微調整法である。
低ランク更新に軽量な変換を適用するLoRAの非線形拡張であるLoRANを提案する。
要約タスクと分類タスクによる実験では、LoRANはQLoRAよりも一貫して改善されている。
論文 参考訳（メタデータ） (2025-09-26T04:54:02Z) - Don't Forget the Nonlinearity: Unlocking Activation Functions in Efficient Fine-Tuning [82.16625951603315]
NoRAは、固定活性化を学習可能な有理関数に置き換え、構造化された低ランク更新を数値化係数と分母係数に適用する。
CIFAR-10とCIFAR-100で訓練された視覚変換器では、NoRAはパラメータのわずか0.4%を更新しながら完全な微調整に適合または超過する。
NoRAは低次元機能部分空間への適応を制約し、暗黙的に更新の規模と方向を規則化する。
論文 参考訳（メタデータ） (2025-09-16T16:47:03Z) - AuroRA: Breaking Low-Rank Bottleneck of LoRA with Nonlinear Mapping [28.37735374308455]
Aurora: (I) 完全な微調整性能を6.18%のパラメータで達成するだけでなく、(II) NLPとCVの両方のタスクにおいて、最先端PEFTメソッドを最大10.88%上回っている。
論文 参考訳（メタデータ） (2025-05-24T15:16:27Z) - Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。
近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。
DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
論文 参考訳（メタデータ） (2024-11-01T14:28:39Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-20T11:56:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。