論文の概要: Saliency-Aware Model Merging

• arxiv url: http://arxiv.org/abs/2606.00511v1
• Date: Sat, 30 May 2026 04:00:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.500905
• Title: Saliency-Aware Model Merging
• Title（参考訳）: 相性を考慮したモデルマージ
• Abstract要約: モデルマージは、異なるデータセットに微調整された複数のタスク固有のモデルを、ドメイン間の習熟性を実行する統一アーキテクチャに統合することを目的としている。 現在のデータフリーモデルマージ手法は、層間依存関係や一様でない専門知識の分布を無視した単純なパラメータレベルに依存するため、スケールアップに苦労することが多い。 この研究は、構造的なプルーニング(SynFlowなど)から接続ベースのサリエンシの定式化に基づいて構築され、それらをデータフリーモデルマージ設定に拡張するSA-Mergingを提案する。
• 参考スコア（独自算出の注目度）: 47.65036144170475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model merging aims to consolidate multiple task-specific models fine-tuned on different datasets into a unified architecture that performs cross-domain proficiency. Current data-free model merging methods often struggle to scale as they rely on simple parameter-level heuristics that ignore inter-layer dependencies and non-uniform distribution of expertise. This work proposes SA-Merging, which is built upon connectivity-based saliency formulations from structural pruning (e.g., SynFlow) and extends them to the data-free model merging setting. We define a saliency score over task vectors relative to a shared base model, and further introduce merge-aware modulation that incorporates agreement across experts to mitigate task interference. Based on this formulation, an iterative saliency-aware merging procedure progressively removes non-informative updates while preserving end-to-end connectivity. Furthermore, we extend SA-Merging to introduce rank-wise saliency decomposition for LoRAs without compromising their structural integrity. Extensive experiments on vision and language tasks demonstrate the effectiveness of our saliency-based approach, further reducing the gap between data-free and test-time adaptation methods.
• Abstract（参考訳）: モデルマージは、異なるデータセットに微調整された複数のタスク固有のモデルを、ドメイン間の習熟性を実行する統一アーキテクチャに統合することを目的としている。 現在のデータフリーモデルマージ手法は、層間依存関係や一様でない専門知識の分布を無視した単純なパラメータレベルのヒューリスティックに依存するため、スケールアップに苦労することが多い。 本研究は, 構造的プルーニング(例えばSynFlow)から接続性に基づくサリエンシの定式化に基づいて構築されたSA-Mergingを提案し, それらをデータフリーモデルマージ設定に拡張する。 共有ベースモデルに対するタスクベクトルに対する正当性スコアを定義し、さらに、タスク干渉を軽減するために専門家間での合意を組み込んだマージ対応変調を導入する。 この定式化に基づいて、反復的なサリエンシ対応のマージ手順は、エンドツーエンドの接続性を維持しながら、非形式的な更新を段階的に削除する。 さらに、SA-Mergingを拡張して、構造的整合性を損なうことなく、ランクワイドな塩分分解を導入する。 視覚と言語タスクに関する広範囲な実験は、我々の正当性に基づくアプローチの有効性を示し、データフリーとテスト時間適応のギャップをさらに減らした。

関連論文リスト

• Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning [57.10440766103372]
  Trajectory Regularized Merging (TRM) は、拡張されたトラジェクトリ部分空間内の最適化プロセスとしてマージフェーズを再構成するフレームワークである。 本フレームワークは,タスクアライメント,予測整合性,勾配応答性といった3つの相乗的目標を統合し,統合モデルの履歴安定性と再活性化最適化のダイナミクスを同時に保存する。
  論文  参考訳（メタデータ） (2026-05-08T14:07:32Z)
• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• Fine-Grained Model Merging via Modular Expert Recombination [33.253051407398836]
  本稿では,MERGEを提案する。MERGEはコンポーネントワイドなモデルマージと,インプットアウェアでオンデマンドなモジュール再結合を推論時に実現する手法である。 MERGEは、クロスタスク性能とストレージ効率のバランスをとる双方向最適化問題として、コンポーネントワイズマージを定式化している。 MERGEは、強いベースラインを一貫して上回り、効果的に一般化することを示す。
  論文  参考訳（メタデータ） (2026-02-06T09:55:56Z)
• Model Merging via Multi-Teacher Knowledge Distillation [11.543771846135021]
  モデルマージ設定に特化して、新しい平坦性を考慮したPAC-Bayes一般化を導入する。 我々は,少ないラベルのないデータに基づいて,マルチ教師の知識蒸留としてマージするモデルを構築した。 我々は,学生教師のKulback-Leibler分散の最小化が,合併モデルの過大なリスクの上限を直接締め付けることを正式に証明した。
  論文  参考訳（メタデータ） (2025-12-24T17:10:44Z)
• Structural Similarity-Inspired Unfolding for Lightweight Image Super-Resolution [88.20464308588889]
  効率的な画像SRのための構造類似インスパイアド・アンフォールディング(SSIU)法を提案する。 この方法は、構造的類似性に制約されたSR最適化関数の展開によって設計される。 我々のモデルは現在の最先端モデルより優れており、パラメータ数が低く、メモリ消費が減少している。
  論文  参考訳（メタデータ） (2025-06-13T14:29:40Z)
• Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging [38.12136955174922]
  個別タスクのための微調整された大規模言語モデル(LM)は、高いパフォーマンスをもたらすが、デプロイメントやストレージには高価である。 最近の研究は、複数のタスク固有のモデルを追加トレーニングなしで単一のマルチタスクモデルに結合するモデルマージについて検討している。 既存のマージ方式は、性能劣化のためにローランク適応(LoRA)を微調整したモデルでは失敗することが多い。
  論文  参考訳（メタデータ） (2025-05-28T23:28:12Z)
• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• Modeling Multi-Task Model Merging as Adaptive Projective Gradient Descent [72.10987117380584]
  複数のエキスパートモデルをマージすることは、元のデータにアクセスせずにマルチタスク学習を実行するための有望なアプローチを提供する。 既存のメソッドは、競合を引き起こす一方で、パフォーマンスにとって重要なタスク固有の情報を捨てている。 我々の手法は従来の手法より一貫して優れており、視覚領域とNLP領域の両方において様々なアーキテクチャやタスクにまたがって最先端の結果が得られます。
  論文  参考訳（メタデータ） (2025-01-02T12:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。