論文の概要: ABM-LoRA: Activation Boundary Matching for Fast Convergence in Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2511.19145v2
• Date: Tue, 25 Nov 2025 06:30:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 15:01:35.459824
• Title: ABM-LoRA: Activation Boundary Matching for Fast Convergence in Low-Rank Adaptation
• Title（参考訳）: ABM-LoRA:低域適応における高速収束のための活性化境界マッチング
• Abstract要約: 低ランク適応のための原理的活性化境界マッチング(ABM-LoRA)を提案する。 私たちのABM-LoRAは、下流トレーニングの前に、アダプタのアクティベーション境界と事前訓練されたモデルのバウンダリを整列することで、この問題に対処します。 ABM-LoRAの有効性を様々なアーキテクチャやタスクで実証する。
• 参考スコア（独自算出の注目度）: 32.193039525200284
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Activation Boundary Matching for Low-Rank Adaptation (ABM-LoRA), a principled initialization strategy that substantially accelerates the convergence of low-rank adapters. While LoRA offers high parameter efficiency, its random initialization restricts gradient updates to a mismatched tangent space, causing significant information loss and hindering early convergence. Our ABM-LoRA addresses this by aligning the adapter's activation boundaries with those of the pretrained model before downstream training, thereby maximizing the projection of full-parameter gradients into the adapter subspace. This alignment sharply reduces information loss at initialization, yields a lower starting loss, and accelerates convergence. We demonstrate ABM-LoRA's effectiveness across diverse architectures and tasks: language understanding (T5-Base on GLUE), dialogue generation (LLaMA2-7B on WizardLM), and vision recognition (ViT-B/16 on VTAB-1K). On VTAB-1K, it achieves the highest accuracy among all methods, with strong gains on structured reasoning tasks requiring geometric understanding.
• Abstract（参考訳）: 本稿では,低ランクアダプタの収束を大幅に促進する基本初期化戦略である,低ランク適応のためのアクティベーション境界マッチング(ABM-LoRA)を提案する。 LoRAは高いパラメータ効率を提供するが、ランダム初期化は不一致な接点空間への勾配更新を制限し、情報損失と早期収束を妨げる。 我々のABM-LoRAは、下流トレーニングの前に、アダプタのアクティベーション境界と事前訓練されたモデルのバウンダリを整列することにより、アダプタサブスペースへのフルパラメータ勾配の投影を最大化する。 このアライメントは、初期化時の情報損失を激減し、低い開始損失を発生させ、収束を加速する。 言語理解(GLUEではT5-Base)、対話生成(WizardLMではLLaMA2-7B)、視覚認識(VTAB-1KではViT-B/16)である。 VTAB-1Kでは、幾何学的理解を必要とする構造的推論タスクにおいて、すべての手法の中で最も高い精度を達成する。

関連論文リスト

• TaRA: Training-Aware Low-Rank Adaptation Initialization [15.468502643386962]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整のデファクトスタンダードとなっている。 トレーニング対応低ランク適応初期化(TaRA)は、ローランク因子によって誘導される勾配が対応するフルランク重み行列の勾配に近似するようにLoRAを初期化する手法である。
  論文  参考訳（メタデータ） (2026-09-02T14:15:22Z)
• Strategic Over-Parameterization for Generalizable Low-Rank Adaptation [14.867641913391779]
  大規模言語モデルへの完全な微調整による下流タスクへの適応は、計算とメモリの要求のため、ますます現実的ではない。 LoRA-Overは単純な原則に基づくフレームワークで、トレーニング中に最適化の風景を豊かにし、推論時に豊かにする。 LLaMA 2-7B と LLaMA 3.1-8B を用いた言語理解 (GLUE, T5-Base), 対話 (MT-Bench), 算術的推論 (GSM8K), コード生成 (HumanEval) に基づく LoRA-Over の評価を行った。
  論文  参考訳（メタデータ） (2026-05-15T12:26:17Z)
• JumpLoRA: Sparse Adapters for Continual Learning in Large Language Models [78.56572636138429]
  JumpLoRAは,JumpReLUゲーティングを用いてローランド適応(LoRA)ブロックの間隔を適応的に誘導する新しいフレームワークである。 特に,IncLoRAの性能を著しく向上させ,最先端のCLであるELLAよりも優れることを示す。
  論文  参考訳（メタデータ） (2026-04-17T15:38:37Z)
• LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules [10.00294036303927]
  標準的なLoRA学習を改善することを目的とした,シンプルで効率的な方法論であるLoRA-Squeezeを紹介する。 我々のアプローチは、制約のある低ランクのソリューションを直接学習するのではなく、まず表現力のある高ランクのソリューションを学習し、次に圧縮する方がよいことを示唆している。
  論文  参考訳（メタデータ） (2026-02-11T16:19:58Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• HyperAdaLoRA: Accelerating LoRA Rank Allocation During Training via Hypernetworks without Sacrificing Performance [27.391727025825546]
  Low-Rank Adaptation (LoRA)は、大規模言語モデルを微調整するための有望なアプローチとして登場した。 本稿では,ハイパーネットワークを活用してAdaLoRAの収束を促進する新しいフレームワークであるHyperAdaLoRAを提案する。 本手法は性能を犠牲にすることなく高速な収束を実現する。
  論文  参考訳（メタデータ） (2025-10-03T00:15:59Z)
• Exploring Sparse Adapters for Scalable Merging of Parameter Efficient Experts [72.22148263683037]
  ニューラルネットワークの重みのサブセットのみをトレーニングするスパースアダプタの特性をモジュラーアーキテクチャの潜在的な構成要素として検討する。 まず,本論文の既存の手法よりも概念的にシンプルである,効果的なスパースアダプタの訓練方法を提案する。 次に,これらのスパースアダプタのマージ特性について,最大20の自然言語処理タスクに対して,アダプタをマージすることで検討する。
  論文  参考訳（メタデータ） (2025-07-09T03:25:45Z)
• SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
  Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。 本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。 SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
  論文  参考訳（メタデータ） (2025-05-18T14:12:40Z)
• C-LoRA: Continual Low-Rank Adaptation for Pre-trained Models [26.560293264523903]
  Low-Rank Adaptation (LoRA) は、自然言語処理やコンピュータビジョンなどの分野で広く応用されている効率的な微調整手法である。 連続学習のためのLoRAの新たな拡張である連続低ランク適応(C-LoRA)を提案する。 C-LoRAは学習可能なルーティングマトリックスを使用して、タスク間のパラメータ更新を動的に管理する。
  論文  参考訳（メタデータ） (2025-02-25T07:35:36Z)
• Make LoRA Great Again: Boosting LoRA with Adaptive Singular Values and Mixture-of-Experts Optimization Alignment [20.382810396966473]
  Low-Rank Adaptation (LoRA)は、Large Language Models (LLM) のためのパラメータ効率の良い微調整を可能にする 現在の手法は静的特異値分解サブセットを初期化することでLoRAを最適化し、事前学習された知識を最適に活用する。 我々はLunderlineoRunderlineA Mixture-of-Experunderlinet (GOAT)を提案する。 GOATはSVD構造化MoEを用いて関連する事前情報を統合し、理論スケーリング係数を導出して最適化を完全微調整MoEと整合させる
  論文  参考訳（メタデータ） (2025-02-24T06:48:13Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Initialization using Update Approximation is a Silver Bullet for Extremely Efficient Low-Rank Fine-Tuning [20.74016978787039]
  低ランク部分空間内で完全な微調整を近似する手法を提案する。 我々は、LoRA-XSのアーキテクチャを活用し、高階勾配更新のための最適なスケーリングを実現する。 この結果から,低ランク部分空間における完全微調整のシミュレートが可能であることが判明した。
  論文  参考訳（メタデータ） (2024-11-29T09:10:30Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。