論文の概要: When the Merge Coefficient Stops Mattering: Proximity Regularized Merging for Continual LoRA Adaptation

• arxiv url: http://arxiv.org/abs/2609.32332v1
• Date: Sat, 26 Sep 2026 07:50:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 17:38:03.621324
• Title: When the Merge Coefficient Stops Mattering: Proximity Regularized Merging for Continual LoRA Adaptation
• Title（参考訳）: マージ係数が問題に終止符を打つとき--連続LoRA適応のための近似正規化マージ
• Abstract要約: 逐次LoRAマージに対する最小限の修正であるPRM(Proximity Regularized Merging)を提案する。 PRMはロバストなタスクベクトル正規化器として機能することを示す。 また, 逐次LoRAマージの有効性は, タスクベクトルの書き込み量だけでなく, タスクベクトル自体がマージ可能かどうかにも依存することを示した。
• 参考スコア（独自算出の注目度）: 11.963603083282264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rehearsal-free continual learning with parameter-efficient adapters can be cast as a sequence of task-vector write-in operations: for each new task, a low-rank adapter is learned and merged into a running model. We propose Proximity Regularized Merging (PRM), a minimal modification to sequential LoRA merging that adds a proximal penalty during task-vector training without changing the subsequent write-in rule. PRM acts as a robust task-vector regularizer: in the reported Base->+Prox diagnostics, it improves AAA across multiple write-in rules, backbones, and class-incremental settings, while its fixed-coefficient variant remains competitive with strong coefficient-based baselines. Mechanistically, matched-prefix norm controls and proximal-strength sweeps show that proximal training shrinks the task-vector radius, lowers Fisher-weighted interference, broadens the coefficient plateau, and exposes a stability-plasticity trade-off. Together, these results suggest that the effectiveness of sequential LoRA merging depends not only on how much of a task vector is written in, but also on whether the task vector itself has been trained to be mergeable.
• Abstract（参考訳）: パラメータ効率のよいアダプタを用いたリハーサルフリー連続学習は、タスクベクトル書き込み操作のシーケンスとしてキャストすることができる。 本稿では,逐次LoRAマージに対する最小限の修正であるPRM(Proximity Regularized Merging)を提案する。 報告されたBase->+Prox診断では、複数の書き込みルール、バックボーン、クラスインクリメンタル設定でAAAを改善し、固定係数の変種は強力な係数ベースのベースラインと競合する。 機械学的には、整合固定ノルム制御と近力掃除は、近位トレーニングがタスクベクター半径を縮小し、フィッシャー重み付き干渉を低減し、係数プラトーを広げ、安定性と塑性のトレードオフを露呈することを示している。 これらの結果から, 逐次LoRAマージの有効性は, タスクベクトルの書き込み量だけでなく, タスクベクトル自体がマージ可能かどうかにも左右されることがわかった。

関連論文リスト

• CT-Merging: Consensus Directions and Task-Level Scaling for LoRA Adapter Merging [1.0312968200748116]
  CT-Mergingは、平均的なタスクサブスペースプロジェクタからコンセンサス方向を推定するLoRA対応のマージアルゴリズムである。 DC-Merge CLIP のベンチマークでは、CT-Merging は最先端のマージ手法に比べて平均正規化精度が優れている。
  論文  参考訳（メタデータ） (2026-07-18T05:19:19Z)
• Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
  我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T11:34:41Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• When Domain Pretraining Interferes with Instruction Alignment: An Empirical Study of Adapter Merging in Medical LLMs [0.6345523830122167]
  大規模言語モデルは、ドメイン適応と命令アライメントを組み合わせる際に驚くべきアダプタ干渉を示す。 医学LLMのための2段階のLORAパイプラインについて検討し、ドメイン指向事前トレーニング(PT)と教師付き微調整(SFT)を個別に訓練し、後にマージした。
  論文  参考訳（メタデータ） (2026-01-26T10:54:06Z)
• Reinforce-Ada: An Adaptive Sampling Framework for Reinforce-Style LLM Training [47.26632817047513]
  大規模言語モデル(LLM)に推論タスクに適用された強化学習は、不安定な勾配推定によってボトルネックとなることが多い。 LLMのオンラインRLポストトレーニングのための適応型サンプリングフレームワークであるReinforce-Adaを提案する。 従来の2段階配置法とは異なり、Reinforce-Adaはオンライン連続除去プロセスにおける推定とサンプリングをインターリーブする。
  論文  参考訳（メタデータ） (2025-10-06T16:34:09Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Meta-Learning Adversarial Bandits [49.094361442409785]
  本研究の目的は,複数のタスクにまたがる帯域幅フィードバックを用いてオンライン学習を学習し,タスク間の平均性能を改善することである。 敵対的設定を最初に対象とするメタアルゴリズムとして,マルチアーム・バンディット(MAB)とバンディット・最適化(BLO)の2つの重要なケースに対して,特定の保証を設定するメタアルゴリズムを設計する。 我々の保証は、非正規化されたフォローザリーダーと乗法重みを組み合わせることで、オンラインで非滑らかで非Bシーケンスを学ぶのに十分であることを示すことに依存しています。
  論文  参考訳（メタデータ） (2022-05-27T17:40:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。