論文の概要: Evolutionary Negative Module Pruning for Better LoRA Merging

• arxiv url: http://arxiv.org/abs/2604.17753v1
• Date: Mon, 20 Apr 2026 03:13:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.674918
• Title: Evolutionary Negative Module Pruning for Better LoRA Merging
• Title（参考訳）: 改良されたLoRAマージのための進化的負のモジュールプルーニング
• Authors: Anda Cao, Zhuo Gou, Yi Wang, Kaixuan Chen, Yu Wang, Can Wang, Mingli Song, Jie Song,
• Abstract要約: 複数のLow-Rank Adaptation専門家を単一のバックボーンにマージすることは、効率的なマルチタスクデプロイメントのための有望なアプローチである。 既存の手法は、ウェイトやサブスペースアライメントによる干渉を緩和しようとする。 そこで本研究では,これらのモジュールをマージ前に検出・排除する,プラグアンドプレイのLoRAプルーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 46.397675691417675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Merging multiple Low-Rank Adaptation (LoRA) experts into a single backbone is a promising approach for efficient multi-task deployment. While existing methods strive to alleviate interference via weight interpolation or subspace alignment, they rest upon the implicit assumption that all LoRA matrices contribute constructively to the merged model. In this paper, we uncover a critical bottleneck in current merging paradigms: the existence of $\textit{negative modules}$ -- specific LoRA layers that inherently degrade global performance upon merging. We propose $\textbf{E}$volutionary $\textbf{N}$egative $\textbf{M}$odule $\textbf{P}$runing ($\textbf{ENMP}$), a plug-and-play LoRA pruning method to locate and exclude these detrimental modules prior to merging. By leveraging an evolutionary search strategy, ENMP effectively navigates the discrete, non-differentiable landscape of module selection to identify optimal pruning configurations. Extensive evaluations demonstrate that ENMP consistently boosts the performance of existing merging algorithms, achieving a new state-of-the-art across both language and vision domains. Code is available at https://github.com/CaoAnda/ENMP-LoRAMerging.
• Abstract（参考訳）: 複数のローランド適応(LoRA)専門家を単一のバックボーンにマージすることは、効率的なマルチタスクデプロイメントのための有望なアプローチである。 既存の手法は、ウェイト補間や部分空間アライメントによる干渉を緩和しようとするが、全てのLoRA行列がマージされたモデルに構成的に寄与するという暗黙の仮定に従う。 本稿では、現在のマージパラダイムにおける重要なボトルネックを明らかにする。$\textit{ negative modules}$ -- マージ時に本質的にグローバルパフォーマンスを低下させる特定のLoRA層の存在。 我々は,これらのデトリメンタルモジュールをマージする前に,プラグアンドプレイのLoRAプルーニング手法である$\textbf{E}$volutionary $\textbf{N}$egative $\textbf{M}$odule $\textbf{P}$runing ($\textbf{ENMP}$)を提案する。 進化的探索戦略を活用することで、ENMPはモジュール選択の離散的で非微分不可能な風景を効果的にナビゲートし、最適なプルーニング構成を特定する。 広範囲な評価により、ENMPは既存のマージアルゴリズムの性能を一貫して向上させ、言語と視覚の両方の領域で新たな最先端を達成することが示されている。 コードはhttps://github.com/CaoAnda/ENMP-LoRAMerging.comで入手できる。

関連論文リスト

• Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
  我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。 NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-27T11:34:41Z)
• StelLA: Subspace Learning in Low-rank Adaptation using Stiefel Manifold [51.93627542334909]
  低ランク適応(LoRA)は大規模事前訓練モデルのパラメータ効率向上手法として広く採用されている。 3要素分解$U!SVtop$を使用するLoRAの幾何学的拡張を提案する。
  論文  参考訳（メタデータ） (2025-10-02T11:59:13Z)
• Rethinking Parameter Sharing for LLM Fine-Tuning with Multiple LoRAs [26.212332132619736]
  マルチタスクファインタニングにおいて,複数の$A$行列と1つの共有$B$を持つ非対称なマルチローラ設計を提案する。 提案手法は,既存のマルチLoRA手法と比較して,同等あるいは優れた平均精度でタスク間のバランスの取れた性能を実現する。
  論文  参考訳（メタデータ） (2025-09-29T19:16:14Z)
• Effective Policy Learning for Multi-Agent Online Coordination Beyond Submodular Objectives [64.16056378603875]
  マルチエージェントオンライン協調問題に対する2つのポリシー学習アルゴリズムを提案する。 1つめの textttMA-SPL は MA-OC 問題に対して最適な$(fracce)$-approximation を達成することができる。 第2のオンラインアルゴリズムである textttMA-MPL は同じ近似比を同時に維持できる。
  論文  参考訳（メタデータ） (2025-09-26T17:16:34Z)
• Uni-LoRA: One Vector is All You Need [21.893406288629734]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのための事実上のパラメータ効率の微調整(PEFT)手法となっている。 Tied-LoRA、VeRA、VB-LoRAといった最近の研究は、トレーニング可能なパラメータ空間を減らすために追加の制約を導入することで、さらなる効率を推し進めている。 パラメータ空間削減戦略は, 統一フレームワークUni-LoRA内で定式化可能であることを示す。
  論文  参考訳（メタデータ） (2025-06-01T03:00:09Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• Near-Optimal Online Learning for Multi-Agent Submodular Coordination: Tight Approximation and Communication Efficiency [52.60557300927007]
  離散部分モジュラー問題を連続的に最適化するために,$textbfMA-OSMA$アルゴリズムを提案する。 また、一様分布を混合することによりKLの発散を効果的に活用する、プロジェクションフリーな$textbfMA-OSEA$アルゴリズムも導入する。 我々のアルゴリズムは最先端OSGアルゴリズムによって提供される$(frac11+c)$-approximationを大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-07T15:57:56Z)
• VB-LoRA: Extreme Parameter Efficient Fine-Tuning with Vector Banks [10.266224162377371]
  ローランク適応(LoRA)とその派生型は、かなりのストレージと送信コストを発生させる。 我々は,行列次元,モジュール,レイヤ間の低ランク分解の障壁を断ち切る「分割共有」パラダイムを導入する。 VB-LoRAは、最先端PEFT法と比較して、同等または優れた性能を維持しながら、極端なパラメータ効率を達成する。
  論文  参考訳（メタデータ） (2024-05-24T03:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。