論文の概要: CABS: Conflict-Aware and Balanced Sparsification for Enhancing Model Merging

• arxiv url: http://arxiv.org/abs/2503.01874v1
• Date: Wed, 26 Feb 2025 12:38:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:22:53.317743
• Title: CABS: Conflict-Aware and Balanced Sparsification for Enhancing Model Merging
• Title（参考訳）: CABS: モデルマージを促進するための競合意識とバランスの取れたスパーシフィケーション
• Authors: Zongzhen Yang, Binhang Qi, Hailong Sun, Wenrui Long, Ruobing Zhao, Xiang Gao,
• Abstract要約: タスクベクトルに基づくモデルマージは、複数のタスク固有のモデルを再トレーニングせずにマルチタスクモデルに統合する効率的な方法を提供する。 最近の研究は、モデルのマージによって直面する重要な課題の1つであるタスクベクトル間の衝突に、スパーシフィケーションを通じて対処するために努力されている。 CABS(Conflict-Aware and Balanced Sparsification)を提案する。
• 参考スコア（独自算出の注目度）: 11.2457468104475
• License:
• Abstract: Model merging based on task vectors, i.e., the parameter differences between fine-tuned models and a shared base model, provides an efficient way to integrate multiple task-specific models into a multitask model without retraining. Recent works have endeavored to address the conflicts between task vectors, one of the significant challenges faced by model merging, through sparsification; however, two issues significantly limit their performance: high parameter overlap and unbalanced weight distribution. To address these issues, we propose a simple, yet effective framework called CABS (Conflict-Aware and Balanced Sparsification), consisting of Conflict-Aware Sparsification (CA) and Balanced Sparsification (BS). CA can reduce parameter overlap by applying masks during sequential pruning, ensuring that each task vector retains distinct, non-overlapping parameters. BS leverages $n$: $m$ pruning to preserve critical weights while maintaining an even distribution across layers. Our comprehensive experiments demonstrate that CABS outperforms state-of-the-art methods across diverse tasks and model sizes.
• Abstract（参考訳）: タスクベクトルに基づくモデルマージ、すなわち細調整されたモデルと共有ベースモデルのパラメータ差は、複数のタスク固有のモデルを再訓練せずにマルチタスクモデルに統合する効率的な方法を提供する。 最近の研究は、モデルマージによって直面する重要な課題の1つであるタスクベクトル間の衝突に、スパーシフィケーションを通じて対処するために努力されているが、高いパラメータの重複とバランスの取れない重み分布という2つの問題は、その性能を著しく制限している。 これらの問題に対処するため、我々はCABS(Conflict-Aware and Balanced Sparsification)と呼ばれるシンプルで効果的なフレームワークを提案し、そのフレームワークは、Conflict-Aware Sparsification (CA) と Balanced Sparsification (BS) から構成される。 CAは、シーケンシャルプルーニング中にマスクを適用することでパラメータオーバーラップを減らすことができ、各タスクベクトルが異なる非オーバーラップパラメータを保持することを保証する。 BSは、レイヤ間の均等な分散を維持しながら、クリティカルウェイトを保存するために$n$:$m$プルーニングを利用する。 包括的実験により, CABSは様々なタスクやモデルサイズにまたがって最先端の手法より優れていることが示された。

関連論文リスト

• Mediator: Memory-efficient LLM Merging with Less Parameter Conflicts and Uncertainty Based Routing [19.681042016834187]
  モデルマージ集約 さまざまなタスクに微調整された大きな言語モデルから、より強力なものへ。 本研究では,異なる層がパラメータ衝突のレベルが異なることを観察する。 この洞察に基づいて構築され、大きな矛盾のあるレイヤに対して、新しいタスクレベルのエキスパートルーティングを使用します。
  論文  参考訳（メタデータ） (2025-02-06T11:26:30Z)
• Task Arithmetic in Trust Region: A Training-Free Model Merging Approach to Navigate Knowledge Conflicts [13.356826891549856]
  マルチタスクモデルマージは、複数の微調整されたモデルから知識を統合するための効率的なソリューションを提供する。 Task Arithmetic (TA) の有望なパフォーマンスにもかかわらず、タスクベクトル間で衝突が発生する可能性がある。 本稿では,信頼領域をモデルパラメータ空間の次元として定義するタスク算術的信頼領域(TATR)を提案する。
  論文  参考訳（メタデータ） (2025-01-25T04:09:56Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [74.02034188307857]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存の手法は必然的にタスク固有の情報を破棄し、競合の原因となっているが、パフォーマンスには不可欠である。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• Parameter Competition Balancing for Model Merging [13.66727853299506]
  PCB-Mergingは、効果的なモデルマージのために各パラメータの係数を調整する訓練不要の手法である。 PCB-Mergingは、複数のモダリティ、ドメイン、モデルサイズ、タスク数、微調整フォーム、および大きな言語モデルにわたる大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2024-10-03T11:17:58Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
  我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。 本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
  論文  参考訳（メタデータ） (2024-05-13T14:54:37Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• TIES-Merging: Resolving Interference When Merging Models [95.59265307318752]
  転送学習は、ダウンストリーム性能の改善、収束の高速化、サンプル効率の向上など、大きな利点をもたらす可能性がある。 モデルマージは、追加のトレーニングを行うことなく、複数のタスク固有のモデルを単一のモデルに組み合わせるソリューションとして登場した。 既存のマージ手法は、しばしば異なるモデルのパラメータ間の干渉を無視し、複数のモデルのマージ時に大きなパフォーマンス低下を引き起こす。 本稿では,モデル統合における新たな3つのステップとして,微調整時に少量だけ変化したパラメータをリセットし,符号衝突を解消し,最終的な一致した符号に一致したパラメータのみをマージするTIES-Mergingを提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。