論文の概要: CABS+: Efficient and Scalable Model Merging via Conflict-Aware Sparsification and Adaptive Weight Allocation

• arxiv url: http://arxiv.org/abs/2608.12842v1
• Date: Thu, 13 Aug 2026 05:26:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.405809
• Title: CABS+: Efficient and Scalable Model Merging via Conflict-Aware Sparsification and Adaptive Weight Allocation
• Title（参考訳）: CABS+: 競合意識のスパーシフィケーションと適応ウェイトアロケーションによる効率よくスケーラブルなモデルマージ
• Abstract要約: コンフリクト・アウェア・アンド・バランスド・スパシフィケーション(CABS)は、構造化プルーニングとシーケンシャルマスキングによるパラメータ干渉を低減し、CABS+に拡張する。 アダプティブ・ウェイト・アロケーション (AWA) は、時間的複雑性を減らすために勾配のない探索スキームによるマージ係数を最適化する一方、非対称な適合関数はタスク間の性能向上を促進する。 CABS+と、CABS、AdaMerging、WUDIMergingといった最先端のモデルマージ手法を比較し、大規模言語、小規模言語、ビジョンモデルをカバーする27のデータセットと5つのモデルを比較した。
• 参考スコア（独自算出の注目度）: 14.531432035538458
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model merging has recently attracted significant attention as a promising paradigm for constructing unified multi-task models without requiring additional retraining. However, parameter conflicts and knowledge interference across tasks often degrade merged-model performance. Prior work introduced Conflict-Aware and Balanced Sparsification (CABS), which reduces parameter interference through structured pruning and sequential masking. However, CABS relies on grid search to determine scaling coefficients, resulting in exponential time complexity, while its optimization objective can be dominated by high-performance tasks, leading to suboptimal overall performance. To address these limitations, we extend CABS and propose CABS+. Specifically, Adaptive Weight Allocation (AWA) optimizes merging coefficients via a gradient-free search scheme to reduce time complexity, while an asymmetric fitness function promotes more comprehensive performance gains across tasks. Moreover, we conduct a systematic empirical study of key factors influencing model merging performance and propose Relative Synergy Score (RSS) to quantify model mergeability and guide model selection. We compare CABS+ with state-of-the-art model merging methods, including CABS, AdaMerging, and WUDIMerging, across 27 datasets and 5 models covering large language, small-scale language, and vision models. Extensive experiments verify the effectiveness and efficiency of CABS+. Compared with AdaMerging and WUDIMerging, CABS+ improves overall performance by 16.97% and 12.93%, respectively, exhibits stronger stability and robustness across varying task numbers and model architectures, uses less than 25% of the GPU memory required by AdaMerging, and achieves nearly a 4x speedup in merging time over WUDIMerging.
• Abstract（参考訳）: モデルマージは、新たな再トレーニングを必要とせず、統合マルチタスクモデルを構築するための有望なパラダイムとして、近年大きな注目を集めている。 しかし、パラメータの衝突やタスク間の知識の干渉は、しばしばマージモデルの性能を低下させる。 以前の作業では、コンフリクト・アウェア・アンド・バランスド・スパシフィケーション(CABS)が導入されており、構造化プルーニングとシーケンシャルマスキングによるパラメータ干渉を低減する。 しかし、CABSはグリッドサーチに頼ってスケーリング係数を決定するため、指数時間的複雑性が生じるが、最適化の目的は高性能なタスクに支配され、全体的な性能が最適以下になる。 これらの制限に対処するため, CABSを拡張し, CABS+を提案する。 具体的には、アダプティブ・ウェイト・アロケーション(AWA)は、時間的複雑さを減らすために勾配のない探索スキームによるマージ係数を最適化する一方、非対称な適合関数はタスク間のより包括的なパフォーマンス向上を促進する。 さらに,モデルマージ性能に影響を及ぼす重要な要因の系統的研究を行い,モデルマージ可能性の定量化とガイドモデル選択のための相対シナジースコア(RSS)を提案する。 CABS+と、CABS、AdaMerging、WUDIMergingといった最先端のモデルマージ手法を比較し、大規模言語、小規模言語、ビジョンモデルをカバーする27のデータセットと5つのモデルを比較した。 実験によりCABS+の有効性と効率が検証された。 CABS+ は AdaMerging と WUDIMerging と比較して,それぞれ 16.97% と 12.93% の全体的なパフォーマンス向上を実現し,タスク番号やモデルアーキテクチャの安定性と堅牢性を向上し,AdaMerging が要求する GPU メモリの25% 未満を使用し,WUDimerging よりも4倍近いスピードアップを実現している。

関連論文リスト

• Compress, Cross and Scale: Multi-Level Compression Cross Networks for Efficient Scaling in Recommender Systems [5.897678894426804]
  MLCCは階層的な圧縮と動的合成によって機能横断を組織する構造化された機能相互作用アーキテクチャである。 MC-MLCCはマルチチャネル拡張であり、並列部分空間に特徴的相互作用を分解する。 提案モデルでは,高いDLRMスタイルのベースラインを最大0.52AUCで上回り,モデルパラメータとFLOPを最大26$times$で削減した。
  論文  参考訳（メタデータ） (2026-02-12T15:06:46Z)
• The Law of Multi-Model Collaboration: Scaling Limits of Model Ensembling for Large Language Models [54.51795784459866]
  マルチモデル協調のための性能スケーリングの理論的枠組みを提案する。 本稿では,マルチモデルシステムにおいて,パラメータの総数に関して,パワー則のスケーリングが従うことを示す。 不均一なモデルファミリのアンサンブルは、単一のモデルファミリ内で形成されたものよりも優れたパフォーマンスのスケーリングを実現する。
  論文  参考訳（メタデータ） (2025-12-29T09:55:12Z)
• Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression [53.39128997308138]
  テキスト圧縮性能に基づくモデル効率の指標である情報容量を導入する。 主流のオープンソースモデルに対する実証的な評価は、シリーズ内のさまざまなサイズのモデルが一貫した情報容量を示すことを示している。 情報容量の特徴的な特徴は、入力と出力の両方のトークン数に影響を与えるトークン化効率が組み込まれていることである。
  論文  参考訳（メタデータ） (2025-11-11T10:07:32Z)
• How does the optimizer implicitly bias the model merging loss landscape? [66.96572894292895]
  一つの量 -- 効果的なノイズスケール -- が、モデルマージにおける推論とデータ選択の影響を統一することを示します。 データセット全体にわたって、マージ成功の有効性は、有効雑音の非単調関数であり、明確な最適値である。
  論文  参考訳（メタデータ） (2025-10-06T10:56:41Z)
• Why Do More Experts Fail? A Theoretical Analysis of Model Merging [51.18155031364046]
  モデルマージは、複数のエキスパートモデルを単一のマルチタスクモデルに組み合わせることで、ストレージと計算資源を劇的に削減する。 最近のモデルマージ手法は有望な結果を示しているが、マージモデルの増加に伴い性能向上の維持に苦慮している。 限定効用パラメータ空間は、マージを成功させることのできるモデルの数に厳密な制約を課すことを示す。
  論文  参考訳（メタデータ） (2025-05-27T14:10:46Z)
• Decouple and Orthogonalize: A Data-Free Framework for LoRA Merging [18.650279202312614]
  分離直交メルジング手法(DO-Merging)を提案する。 パラメータを大きさと方向の成分に分離することにより、マージしたモデルの方向アライメントに対する大きさ差の影響を低減する。 我々は、視覚、言語、マルチモーダル領域にわたる広範な実験を通じて、提案したDO-Mergingは、既存のマージメソッドよりも、最小限のコストで大幅に高いパフォーマンスを達成することができることを検証した。
  論文  参考訳（メタデータ） (2025-05-21T16:34:37Z)
• Dynamic Fisher-weighted Model Merging via Bayesian Optimization [37.02810891820468]
  既存のマージアプローチでは、一般的にパラメータをモデル的にスケーリングするか、パラメータの重要度をパラメータ的に統合する。 我々はこれらの戦略をより一般的な統合フレームワークに統合し、動的フィッシャー重み付け(DF-Merge)を導入する。 DF-Mergeは、異なるサイズと様々なタスクのモデルにおいて、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-04-26T18:31:14Z)
• CABS: Conflict-Aware and Balanced Sparsification for Enhancing Model Merging [11.2457468104475]
  タスクベクトルに基づくモデルマージは、複数のタスク固有のモデルを再トレーニングせずにマルチタスクモデルに統合する効率的な方法を提供する。 最近の研究は、モデルのマージによって直面する重要な課題の1つであるタスクベクトル間の衝突に、スパーシフィケーションを通じて対処するために努力されている。 CABS(Conflict-Aware and Balanced Sparsification)を提案する。
  論文  参考訳（メタデータ） (2025-02-26T12:38:55Z)
• iTool: Reinforced Fine-Tuning with Dynamic Deficiency Calibration for Advanced Tool Use [56.31110409360567]
  大規模な言語モデルを外部ツールで拡張することは、その機能を強化するための有望なアプローチである。 その結果, 合成データの増加に伴い, トレーニングは著しく低下することがわかった。 我々は,この制限を緩和するために,反復的に強化された微調整戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-15T04:52:34Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。