論文の概要: CASS: Contribution-Aware Structured Sparsity for Model Merging

• arxiv url: http://arxiv.org/abs/2609.34184v1
• Date: Mon, 28 Sep 2026 03:00:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 06:07:59.38722
• Title: CASS: Contribution-Aware Structured Sparsity for Model Merging
• Title（参考訳）: CASS: モデルマージのためのコントリビューション対応構造的疎結合
• Abstract要約: textbfContribution-textbfAware textbfStructured textbfSparsity (CASS)を提案する。 CASSの中核には、タスク関連アテンションヘッドとFFNニューロンを識別するコントリビューション対応構造化マスクがある。 分析の結果,タスク関連コンポーネントは疎結合であり,構成されたコンポーネントレベルのフィルタリングをサポートすることがわかった。
• 参考スコア（独自算出の注目度）: 46.20594982600935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model merging integrates task-specific fine-tuned models into a single multi-task model, but often suffers from parameter interference caused by conflicting task-vector updates. Existing methods typically mitigate conflicts by pruning task vectors based on weight magnitude or random heuristics, treating Transformers as unstructured ``bags of parameters'' and overlooking their inherent modularity. In this paper, we propose \textbf{C}ontribution-\textbf{A}ware \textbf{S}tructured \textbf{S}parsity (CASS), a unified framework that reduces parameter interference by identifying and preserving task-specific components. At the core of CASS is a contribution-aware structured mask that identifies task-relevant attention heads and FFN neurons. We instantiate this mask in two settings: CASS-Merging, the primary post-hoc setting where masks serve as a plug-and-play denoising filter for existing merging operators, and CASS-Tuning, an extension for scenarios with fine-tuning access where masks constrain gradients to reduce structural overlap between task vectors. Our analysis shows that task-relevant components are sparse and partially disjoint, supporting structured component-level filtering as an effective way to reduce merging interference. Extensive experiments across vision (ViT, 20 tasks) and language (RoBERTa, 8 tasks; Qwen2.5, 4 tasks) benchmarks demonstrate that CASS improves a range of representative merging baselines.
• Abstract（参考訳）: モデルマージはタスク固有の細調整されたモデルを単一のマルチタスクモデルに統合するが、しばしばタスクベクトル更新の矛盾に起因するパラメータ干渉に悩まされる。 既存の手法は一般に、重み付けやランダムなヒューリスティックスに基づいてタスクベクトルを刈り上げ、トランスフォーマーを非構造化の ``パラメータのバグ' として扱い、その固有のモジュラリティを見渡すことで競合を緩和する。 本稿では,タスク固有のコンポーネントを識別・保存することで,パラメータ干渉を低減する統一フレームワークであるCASS(textbf{C}ontribution-\textbf{A}ware \textbf{S}tructured \textbf{S}parsity)を提案する。 CASSの中核には、タスク関連アテンションヘッドとFFNニューロンを識別するコントリビューション対応構造化マスクがある。 このマスクを2つの設定でインスタンス化する: CASS-Merging, マスクが既存のマージ演算子のプラグアンドプレイ復調フィルタとして機能する主要なポストホック設定, およびCASS-Tuning。 分析の結果,タスク関連コンポーネントは疎結合であり,構成されたコンポーネントレベルのフィルタリングをサポートして,マージ干渉の低減に有効であることがわかった。 ビジョン(ViT, 20タスク)と言語(RoBERTa, 8タスク; Qwen2.5, 4タスク)にわたる大規模な実験では、CASSが一般的なマージベースラインの範囲を改善していることが示されている。

関連論文リスト

• Escaping Low-Dimensional Overlap: Multi-Task Model Merging via High-Dimensional Sparse Disentanglement [5.048419950197785]
  モデルマージは、追加のトレーニングなしでマルチタスクジェネラリストモデルを構築する効率的な方法を提供するが、その性能は厳しいタスク干渉の下で劣化することが多い。 本稿では,タスクベクトルを高次元特徴空間に投影するためにSAEを用いたスパース表現に基づくマージフレームワークを提案する。 Qwen2.5-1.5B と Qwen5-7B の2つの実験により,本手法が代表ベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-26T04:16:31Z)
• PACT: Preserving Anchored Cores in Task-vectors for Model Merging [68.52455853496585]
  モデルマージは、複数のタスク固有の細調整されたモデルを単一のマルチタスクモデルに結合することを目的としている。 既存のモデルマージアプローチのほとんどは、Task Arithmeticパラダイムに従っています。 本研究では,タスクベクトル内の固定されたタスク固有コア(LBW次元)を,事前学習した重みのサブ空間と補間を整合させることにより保存するPACTを提案する。
  論文  参考訳（メタデータ） (2026-06-17T02:48:35Z)
• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• TAG-MoE: Task-Aware Gating for Unified Generative Mixture-of-Experts [46.27627605203747]
  Mixture-of-Experts (MoE)は有望なソリューションだが、そのゲーティングネットワークはタスクに依存しないままであり、ローカル機能に基づいて動作し、グローバルなタスク意図に気付かない。 そこで本研究では,MoEルーティングに意味的意図を注入する新しいフレームワークを提案する。 次に、内部ルーティング決定をタスクの高レベルなセマンティクスと整合させる予測アライメント正規化を設計する。 我々のモデルは,タスク干渉を効果的に軽減し,忠実度と品質の高密度なベースラインを達成し,専門家が自然に明確かつ意味論的に相関した特殊化を発達させることを示す。
  論文  参考訳（メタデータ） (2026-01-12T14:52:45Z)
• Task Indicating Transformer for Task-conditional Dense Predictions [16.92067246179703]
  この課題に対処するために,タスク表示変換(TIT)と呼ばれる新しいタスク条件フレームワークを導入する。 本手法では,行列分解によるタスク指示行列を組み込んだMix Task Adapterモジュールをトランスフォーマーブロック内に設計する。 また,タスク表示ベクトルとゲーティング機構を利用するタスクゲートデコーダモジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-01T07:06:57Z)
• Semantic Attention and Scale Complementary Network for Instance Segmentation in Remote Sensing Images [54.08240004593062]
  本稿では,セマンティックアテンション(SEA)モジュールとスケール補完マスクブランチ(SCMB)で構成される,エンドツーエンドのマルチカテゴリインスタンスセグメンテーションモデルを提案する。 SEAモジュールは、機能マップ上の興味あるインスタンスのアクティベーションを強化するために、追加の監督を備えた、単純な完全な畳み込みセマンティックセマンティックセマンティクスブランチを含んでいる。 SCMBは、元のシングルマスクブランチをトリデントマスクブランチに拡張し、異なるスケールで補完マスクの監視を導入する。
  論文  参考訳（メタデータ） (2021-07-25T08:53:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。