論文の概要: Escaping Low-Dimensional Overlap: Multi-Task Model Merging via High-Dimensional Sparse Disentanglement

• arxiv url: http://arxiv.org/abs/2608.25354v1
• Date: Wed, 26 Aug 2026 04:16:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.590415
• Title: Escaping Low-Dimensional Overlap: Multi-Task Model Merging via High-Dimensional Sparse Disentanglement
• Title（参考訳）: 低次元オーバーラップの回避:高次元スパース絡みによるマルチタスクモデルマージ
• Abstract要約: モデルマージは、追加のトレーニングなしでマルチタスクジェネラリストモデルを構築する効率的な方法を提供するが、その性能は厳しいタスク干渉の下で劣化することが多い。 本稿では,タスクベクトルを高次元特徴空間に投影するためにSAEを用いたスパース表現に基づくマージフレームワークを提案する。 Qwen2.5-1.5B と Qwen5-7B の2つの実験により,本手法が代表ベースラインを一貫して上回ることを示した。
• 参考スコア（独自算出の注目度）: 5.048419950197785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging provides an efficient way to construct multi-task generalist models without additional training, but its performance often degrades under severe task interference. Task interference in model merging primarily stems from \textit{superposition}, where task-specific features become entangled within the parameter space. This entanglement renders conventional decomposition methods insufficient for effectively isolating useful task directions from interfering components. In this paper, we propose a sparse-representation-based merging framework that uses Sparse Autoencoders (SAEs) to project task vectors into a high-dimensional sparse feature space, enabling feature-level disentanglement before fusion. To reduce computational overhead, we further introduce a lightweight Group-Ranked Zeroth-Order Optimizer (GR-ZOO) to identify task-critical layers for selective merging. Experiments on both Qwen2.5-1.5B and Qwen2.5-7B demonstrate that our method consistently outperforms representative baselines, including Task Arithmetic, TIES-Merge, DARE, Fisher-Merge,and several recent training-free merging methods, across mathematical reasoning, code generation, instruction following, and general knowledge tasks. In a highly conflicting four-task setting on Qwen2.5-1.5B, our method further achieves a 2.78\% improvement over the strongest baseline.
• Abstract（参考訳）: モデルマージは、追加のトレーニングなしでマルチタスクジェネラリストモデルを構築する効率的な方法を提供するが、その性能は厳しいタスク干渉の下で劣化することが多い。 モデルマージにおけるタスク干渉は主に、タスク固有の特徴がパラメータ空間内で絡み合うようになる \textit{superposition} に由来する。 この絡み合いにより、従来の分解方法では、コンポーネント間の干渉から有用なタスク方向を効果的に分離するには不十分である。 本稿では,タスクベクトルを高次元のスパース特徴空間に投影するために,スパースオートエンコーダ(SAE)を用いたスパース表現に基づくマージフレームワークを提案する。 計算オーバーヘッドを低減するために,より軽量なグループ列ゼロ階最適化器 (GR-ZOO) を導入し,タスククリティカル層を識別して選択的なマージを行う。 Qwen2.5-1.5B と Qwen2.5-7B の2つの実験により、我々の手法はタスク算術、TIES-Merge、DARE、Fisher-Merge、および最近の数式推論、コード生成、命令追従、一般的な知識タスクなど、代表的ベースラインを一貫して上回ることを示した。 また,Qwen2.5-1.5Bの4段目では,最強のベースラインよりも2.78倍の精度向上を実現している。

関連論文リスト

• PACT: Preserving Anchored Cores in Task-vectors for Model Merging [68.52455853496585]
  モデルマージは、複数のタスク固有の細調整されたモデルを単一のマルチタスクモデルに結合することを目的としている。 既存のモデルマージアプローチのほとんどは、Task Arithmeticパラダイムに従っています。 本研究では,タスクベクトル内の固定されたタスク固有コア(LBW次元)を,事前学習した重みのサブ空間と補間を整合させることにより保存するPACTを提案する。
  論文  参考訳（メタデータ） (2026-06-17T02:48:35Z)
• Auto-FlexSwitch: Efficient Dynamic Model Merging via Learnable Task Vector Compression [54.12624130407679]
  タスクベクトルを3つのコンパクトなコンポーネントに分解するT-Switchを提案する。 次に,タスクベクトルを自動生成するトレーニングフリーマージスキームであるAuto-Switchを紹介する。 本稿では,高効率なタスクベクトル圧縮をサポートする動的モデルマージ手法であるAuto-FlexSwitchを提案する。
  論文  参考訳（メタデータ） (2026-04-30T16:58:05Z)
• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• Towards Minimizing Feature Drift in Model Merging: Layer-wise Task Vector Fusion for Adaptive Knowledge Integration [14.503741632243646]
  マルチタスクモデルマージは、複数のタスク固有のエキスパートからの知識を統一モデルに統合することを目的としている。 既存の手法では、タスク固有の専門家と統一モデルの違いを最小限に抑える。 本稿では,タスク固有の専門家と統一モデルとの間の機能ドリフトを明示的に最小化する手法であるレイヤワイズ・タスクベクトル・マージを提案する。
  論文  参考訳（メタデータ） (2025-05-29T08:11:31Z)
• Reinforced Model Merging [53.84354455400038]
  本稿では,タスク統合に適した環境とエージェントを含むRMM(Reinforced Model Merging)という,革新的なフレームワークを提案する。 評価プロセス中にデータサブセットを利用することで、報酬フィードバックフェーズのボトルネックに対処し、RMMを最大100倍高速化する。
  論文  参考訳（メタデータ） (2025-03-27T08:52:41Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
  我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。 本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
  論文  参考訳（メタデータ） (2024-05-13T14:54:37Z)
• Task Indicating Transformer for Task-conditional Dense Predictions [16.92067246179703]
  この課題に対処するために,タスク表示変換(TIT)と呼ばれる新しいタスク条件フレームワークを導入する。 本手法では,行列分解によるタスク指示行列を組み込んだMix Task Adapterモジュールをトランスフォーマーブロック内に設計する。 また,タスク表示ベクトルとゲーティング機構を利用するタスクゲートデコーダモジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-01T07:06:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。