論文の概要: Null-Space Filtering for Data-Free Continual Model Merging: Preserving Transparency, Promoting Fidelity

• arxiv url: http://arxiv.org/abs/2509.21413v1
• Date: Thu, 25 Sep 2025 03:33:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:53.915761
• Title: Null-Space Filtering for Data-Free Continual Model Merging: Preserving Transparency, Promoting Fidelity
• Title（参考訳）: データフリー連続モデルマージのためのNull空間フィルタリング:透明性を維持し、忠実性を促進する
• Authors: Zihuan Qiu, Lei Wang, Yang Cao, Runtong Zhang, Bing Su, Yi Xu, Fanman Meng, Linfeng Xu, Qingbo Wu, Hongliang Li,
• Abstract要約: データフリー連続モデルマージは、タスクデータにアクセスすることなく、入ってくるタスクで進化する単一のバックボーンに、独立して微調整されたモデルを融合することを目的としている。 本稿では,DFCMMにおける2つの基本的なデシラタを定式化する。 本稿では,これらのデシラタを最適化に直接リンクするデータフリーフレームワークであるNUFILTを提案する。
• 参考スコア（独自算出の注目度）: 43.7663151111347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-free continual model merging (DFCMM) aims to fuse independently fine-tuned models into a single backbone that evolves with incoming tasks without accessing task data. This paper formulate two fundamental desiderata for DFCMM: transparency, avoiding interference with earlier tasks, and fidelity, adapting faithfully to each new task. This poses a challenge that existing approaches fail to address: how to bridge data-level desiderata with parameter-space optimization to ensure transparency and fidelity in the absence of task data. To this end, we propose NUFILT (NUll-space FILTering), a data-free framework that directly links these desiderata to optimization. Our key observation is that task vectors approximately align with representation subspaces, providing structural surrogates for enforcing transparency and fidelity. Accordingly, we design a null-space projector that preserves prior responses by filtering out overlapping components of new task vectors, thereby ensuring transparency, and a lightweight LoRA adapter that injects complementary task-specific signals, enabling fidelity in adapting to new tasks. The adapter is trained with a projection-based surrogate loss to retain consistency with previous knowledge while introducing novel directions. This joint filtering-adaptation process allows the backbone to absorb new knowledge while retaining existing behaviors, and the updates are finally fused back in a layer-wise linear fashion without extra parameters or inference cost. Theoretically, we establish approximate subspace alignment guarantees that justify null-space filtering. Empirically, NUFILT achieves state-of-the-art performance with minimal forgetting on both vision and NLP benchmarks, improving average accuracy by 4-7% over OPCM and WUDI-Merging, while narrowing the gap to fine-tuning and reducing computation overhead.
• Abstract（参考訳）: データフリー連続モデルマージ(DFCMM)は、個別に調整されたモデルを単一のバックボーンに融合することを目的としており、タスクデータにアクセスすることなく、入ってくるタスクで進化する。 本稿では,DFCMMにおける2つの基本的なデシラタを定式化した。 データレベルのdeiderataをパラメータ空間の最適化でブリッジする方法によって、タスクデータの欠如における透明性と忠実性を保証する方法だ。 そこで我々は,これらのデシラタと最適化を直接リンクするデータフリーフレームワークであるNUFILT(NUll-space FILTering)を提案する。 我々のキーとなる観察は、タスクベクトルは表現部分空間とほぼ一致し、透明性と忠実さを強制するための構造的サロゲートを提供することである。 そこで我々は,新しいタスクベクトルの重なり合うコンポーネントをフィルタリングして事前応答を保存するヌルスペースプロジェクタと,補完的なタスク固有の信号を注入する軽量なLoRAアダプタを設計し,新しいタスクに適応するための忠実さを実現する。 このアダプタはプロジェクションベースのサロゲート損失で訓練され、新しい方向を導入しながら、以前の知識との整合性を維持する。 この共同フィルタリング適応プロセスにより、バックボーンは既存の動作を維持しながら新しい知識を吸収することができ、更新は余分なパラメータや推論コストを伴わず、最終的に階層的に線形に処理される。 理論的には、ヌル空間フィルタリングを正当化する近似部分空間アライメントを保証する。 実験的に、NUFILTはビジョンとNLPベンチマークの両方を最小限に忘れて最先端のパフォーマンスを実現し、OPCMとWUDI-Mergingよりも平均精度を4-7%向上させ、微調整と計算オーバーヘッドの削減にギャップを狭める。

関連論文リスト

• MINGLE: Mixtures of Null-Space Gated Low-Rank Experts for Test-Time Continual Model Merging [19.916880222546155]
  連続モデルマージは、オリジナルのトレーニングデータにアクセスすることなく、個別に微調整されたモデルを逐次統合する。 MINGLEは、少数の未ラベルテストサンプルを使用したテスト時間連続モデルマージのための新しいフレームワークである。 MINGLEは、従来の最先端のメソッドを、さまざまなタスクオーダの平均で7-9%上回っている。
  論文  参考訳（メタデータ） (2025-05-17T07:24:22Z)
• VAE-based Feature Disentanglement for Data Augmentation and Compression in Generalized GNSS Interference Classification [42.14439854721613]
  干渉の正確な分類を可能にする重要な潜伏特徴を抽出するために, アンタングル化のための変分オートエンコーダ (VAE) を提案する。 提案するVAEは512から8,192の範囲のデータ圧縮率を実現し,99.92%の精度を実現している。
  論文  参考訳（メタデータ） (2025-04-14T13:38:00Z)
• Continual LLaVA: Continual Instruction Tuning in Large Vision-Language Models [93.5327725085853]
  連続LLaVA(Continuous LLaVA)は、LVLMにおける連続的な命令チューニングに適したリハーサルフリーな手法である。 実験により,提案した連続LLaVAは,連続的な命令チューニング過程における忘れを著しく減らし,従来の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-11-04T19:55:32Z)
• Boosting Lossless Speculative Decoding via Feature Sampling and Partial Alignment Distillation [8.046705062670096]
  損失のない投機的復号化は、ターゲットとする大言語モデル推論を加速する。 FSPAD (Feature Sampling and partial Alignment Distillation for Lossless Speculative Decoding) を提案する。 我々の実験は、ヴィクナ級数とLLaMA3-インストラクト級数で最大かつ最小のモデルにおいて、欲求と非欲求デコーディングの両方を含む。
  論文  参考訳（メタデータ） (2024-08-28T06:28:01Z)
• Low-Rank Representations Meets Deep Unfolding: A Generalized and Interpretable Network for Hyperspectral Anomaly Detection [41.50904949744355]
  現在のハイパースペクトル異常検出(HAD)ベンチマークデータセットは、低解像度、単純なバックグラウンド、検出データの小さなサイズに悩まされている。 これらの要因は、ロバスト性の観点からよく知られた低ランク表現(LRR)モデルの性能も制限する。 我々は、複雑なシナリオにおけるHADアルゴリズムの堅牢性を改善するために、新しいHADベンチマークデータセットであるAIR-HADを構築した。
  論文  参考訳（メタデータ） (2024-02-23T14:15:58Z)
• Energizing Federated Learning via Filter-Aware Attention [39.17451229130728]
  フェデレートラーニング(FL)は有望な分散パラダイムであり、データ共有の必要性を排除しつつ、データの異質性による課題に直面している。 パラメータ再構成にパーソナライズされたフィルタアテンションを利用するFedOFAを提案する。 コアとなるTFAモジュールは、パーソナライズされたフィルタ対応アテンションマップを正確に抽出するように設計されている。 AGPSは、冗長なニューロンを隠蔽しながら重要なニューロンを選択的に保持し、性能犠牲なしに通信コストを低減させる。
  論文  参考訳（メタデータ） (2023-11-18T09:09:38Z)
• Transparent Object Tracking with Enhanced Fusion Module [56.403878717170784]
  我々は,我々の融合技術を用いて,透明物体追跡のための優れた結果を得る新しいトラッカーアーキテクチャを提案する。 我々の結果とコードの実装はhttps://github.com/kalyan05TOTEM.comで公開されます。
  論文  参考訳（メタデータ） (2023-09-13T03:52:09Z)
• Active Finetuning: Exploiting Annotation Budget in the Pretraining-Finetuning Paradigm [132.9949120482274]
  本稿では,事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てる。 本研究では,アクティブな微調整タスクのためのActiveFTと呼ばれる新しい手法を提案する。 画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。
  論文  参考訳（メタデータ） (2023-03-25T07:17:03Z)
• Task Residual for Tuning Vision-Language Models [69.22958802711017]
  タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。 提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
  論文  参考訳（メタデータ） (2022-11-18T15:09:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。