論文の概要: Beyond Uniform Subspaces: Spectrum-Aware and Depth-Adaptive Fusion for Multi-Task Model Merging

• arxiv url: http://arxiv.org/abs/2609.24612v1
• Date: Mon, 21 Sep 2026 14:01:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.312052
• Title: Beyond Uniform Subspaces: Spectrum-Aware and Depth-Adaptive Fusion for Multi-Task Model Merging
• Title（参考訳）: 一様部分空間を超えて:マルチタスクモデルマージのためのスペクトル認識と深さ適応融合
• Abstract要約: データフリーモデルマージのためのスペクトル認識および奥行き適応フレームワークであるSADA-Mergingを提案する。 SADA-Mergingは、スペクトルの複雑さに応じてタスク固有のサブスペース容量を割り当て、タスクの可塑性に応じてスペクトル保存を適応し、投射誘起歪みを補償するために深さ依存アンカーを適用する。
• 参考スコア（独自算出の注目度）: 40.39333668557699
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model merging aims to consolidate multiple task-specific models without access to extra training process. However, existing subspace-based methods largely rely on a uniform treatment of task updates, overlooking their intrinsic spectral and depth-wise heterogeneity. We identify two key deviations from this assumption: different tasks require different subspace capacity and exhibit different tolerance to spectral transformation, while subspace projection introduces depth-dependent distortion. Based on these observations, we propose SADA-Merging, a spectrum-aware and depth-adaptive framework for data-free model merging. SADA-Merging allocates task-specific subspace capacity according to spectral complexity, adapts spectral preservation according to task-wise plasticity, and applies depth-dependent anchoring to compensate for projection-induced distortion. This enables the fusion process to adapt to both the intrinsic geometry of each task and its sensitivity across network depth. SADA-Merging operates directly on task updates and is applicable to both full fine-tuning and LoRA settings. Extensive experiments demonstrate consistent improvements over existing data-free merging methods across different task scales and adaptation settings.
• Abstract（参考訳）: モデルマージは、追加のトレーニングプロセスにアクセスすることなく、複数のタスク固有のモデルを統合することを目的としている。 しかし、既存のサブスペースベースの手法は主にタスク更新の均一な処理に依存しており、その固有のスペクトルと深さワイドな不均一性を見下ろしている。 異なるタスクは異なる部分空間キャパシティを必要とし、スペクトル変換に対する異なる耐性を示す一方、部分空間射影は深さに依存した歪みをもたらす。 これらの観測に基づいて,データフリーモデルマージのためのスペクトル認識および深度適応フレームワークであるSADA-Mergingを提案する。 SADA-Mergingは、スペクトルの複雑さに応じてタスク固有のサブスペース容量を割り当て、タスクの可塑性に応じてスペクトル保存を適応し、投射誘起歪みを補償するために深さ依存アンカーを適用する。 これにより、融合プロセスは各タスクの内在幾何学とネットワーク深度に対する感度の両方に適応することができる。 SADA-Mergingはタスク更新を直接実行し、完全な微調整とLoRA設定の両方に適用できる。 大規模な実験では、さまざまなタスクスケールと適応設定にまたがる既存のデータフリーマージメソッドに対して、一貫した改善が示されている。

関連論文リスト

• Essential Subspace Merging for Multi-Task Learning [78.5390284258307]
  タスク更新によって引き起こされる出力シフトを分析し、そのエネルギーが少数の主方向に集中していることを確認する。 残りのほとんどの方向は、タスク関連エネルギーをほとんど持たないが、複数のタスク更新にまたがる蓄積は、マージ中に深刻な干渉を引き起こす可能性がある。 ESDに基づいて,トレーニング不要な静的マージ手法であるEssential Subspace Merging (ESM)を導入する。 ESMをトレーニング不要な動的マージメソッドであるESM++に拡張し、タスク固有の残留物を低ランクの専門家に分解する。
  論文  参考訳（メタデータ） (2026-06-17T15:07:11Z)
• Local Precise Refinement: A Dual-Gated Mixture-of-Experts for Enhancing Foundation Model Generalization against Spectral Shifts [26.40090723572808]
  スペクトルリモートセンシングにおけるドメイン一般化セマンティック(DGSS)は、様々な取得条件のスペクトルシフトによって深刻な課題となる。 本稿では,DGSSのための新しいPEFTフレームワークであるSpectralMoEを提案する。
  論文  参考訳（メタデータ） (2026-03-08T04:53:05Z)
• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• Spatial-Temporal-Spectral Unified Modeling for Remote Sensing Dense Prediction [20.1863553357121]
  リモートセンシングのための現在のディープラーニングアーキテクチャは、基本的に堅固である。 本稿では,統合モデリングのための空間時間スペクトル統一ネットワーク(STSUN)について紹介する。 STSUNは任意の空間サイズ、時間長、スペクトル帯域で入力および出力データに適応することができる。 様々な密集した予測タスクと多様な意味クラス予測を統一する。
  論文  参考訳（メタデータ） (2025-05-18T07:39:17Z)
• FreSca: Scaling in Frequency Space Enhances Diffusion Models [55.75504192166779]
  本稿では,潜時拡散モデルにおける周波数制御について検討する。 本稿では,低周波成分と高周波成分にノイズ差を分解する新しいフレームワークFreScaを紹介する。 FreScaはモデルの再トレーニングやアーキテクチャの変更なしに動作し、モデルとタスクに依存しない制御を提供する。
  論文  参考訳（メタデータ） (2025-04-02T22:03:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。