論文の概要: AFA-LoRA: Enabling Non-Linear Adaptations in LoRA with Activation Function Annealing

• arxiv url: http://arxiv.org/abs/2512.22455v2
• Date: Mon, 05 Jan 2026 04:00:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 14:31:43.618081
• Title: AFA-LoRA: Enabling Non-Linear Adaptations in LoRA with Activation Function Annealing
• Title（参考訳）: AFA-LoRA: アクティベーション機能アニーリングによるLoRAの非線形適応の実現
• Authors: Jiacheng Li, Jianchao Tan, Zhidong Yang, Feiye Huo, Yerui Sun, Yuchen Xie, Xunliang Cai,
• Abstract要約: AFA-LoRAは、シームレスなマージ性を維持しながら、非線形表現性をLoRAにもたらす新しいトレーニング戦略である。 教師付き微調整,強化学習,投機的復号化に本手法を適用した。
• 参考スコア（独自算出の注目度）: 22.025349145835182
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) is a widely adopted parameter-efficient fine-tuning (PEFT) method. However, its linear adaptation process limits its expressive power. This means there is a gap between the expressive power of linear training and non-linear training. To bridge this gap, we propose AFA-LoRA, a novel training strategy that brings non-linear expressivity to LoRA while maintaining its seamless mergeability. Our key innovation is an annealed activation function that transitions from a non-linear to a linear transformation during training, allowing the adapter to initially adopt stronger representational capabilities before converging to a mergeable linear form. We implement our method on supervised fine-tuning, reinforcement learning, and speculative decoding. The results show that AFA-LoRA reduces the performance gap between LoRA and full-parameter training. This work enables a more powerful and practical paradigm of parameter-efficient adaptation.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) はPEFT法として広く採用されている。 しかし、線形適応過程は表現力を制限する。 これは、線形トレーニングの表現力と非線形トレーニングの間にギャップがあることを意味する。 このギャップを埋めるため, シームレスなマージ性を維持しつつ, 非線形表現性をLoRAにもたらす新たなトレーニング戦略であるAFA-LoRAを提案する。 我々の重要な革新は、非線形から訓練中に線形変換に遷移するアニール活性化関数であり、このアダプタは、マージ可能な線形形式に収束する前に、最初はより強力な表現能力を採用することができる。 教師付き微調整,強化学習,投機的復号化に本手法を適用した。 その結果,AFA-LoRAはLoRAとフルパラメータトレーニングの差を小さくすることがわかった。 この作業により、パラメータ効率適応のより強力で実用的なパラダイムが実現される。

関連論文リスト

• AuroRA: Breaking Low-Rank Bottleneck of LoRA with Nonlinear Mapping [28.37735374308455]
  Aurora: (I) 完全な微調整性能を6.18%のパラメータで達成するだけでなく、(II) NLPとCVの両方のタスクにおいて、最先端PEFTメソッドを最大10.88%上回っている。
  論文  参考訳（メタデータ） (2025-05-24T15:16:27Z)
• DeLoRA: Decoupling Angles and Strength in Low-rank Adaptation [44.99833362998488]
  Decoupled Low-rank Adaptation (DeLoRA)は学習可能な低ランク行列を正規化しスケールする新しい微調整法である。 DeLoRAは競合するPEFT法の性能に適合し,強靭性を示す。
  論文  参考訳（メタデータ） (2025-03-23T22:00:56Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。