論文の概要: Null-Space Filtering for Data-Free Continual Model Merging: Preserving Transparency, Promoting Fidelity

• arxiv url: http://arxiv.org/abs/2509.21413v1
• Date: Thu, 25 Sep 2025 03:33:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:53.915761
• Title: Null-Space Filtering for Data-Free Continual Model Merging: Preserving Transparency, Promoting Fidelity
• Title（参考訳）: データフリー連続モデルマージのためのNull空間フィルタリング:透明性を維持し、忠実性を促進する
• Authors: Zihuan Qiu, Lei Wang, Yang Cao, Runtong Zhang, Bing Su, Yi Xu, Fanman Meng, Linfeng Xu, Qingbo Wu, Hongliang Li,
• Abstract要約: データフリー連続モデルマージは、タスクデータにアクセスすることなく、入ってくるタスクで進化する単一のバックボーンに、独立して微調整されたモデルを融合することを目的としている。 本稿では,DFCMMにおける2つの基本的なデシラタを定式化する。 本稿では,これらのデシラタを最適化に直接リンクするデータフリーフレームワークであるNUFILTを提案する。
• 参考スコア（独自算出の注目度）: 43.7663151111347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-free continual model merging (DFCMM) aims to fuse independently fine-tuned models into a single backbone that evolves with incoming tasks without accessing task data. This paper formulate two fundamental desiderata for DFCMM: transparency, avoiding interference with earlier tasks, and fidelity, adapting faithfully to each new task. This poses a challenge that existing approaches fail to address: how to bridge data-level desiderata with parameter-space optimization to ensure transparency and fidelity in the absence of task data. To this end, we propose NUFILT (NUll-space FILTering), a data-free framework that directly links these desiderata to optimization. Our key observation is that task vectors approximately align with representation subspaces, providing structural surrogates for enforcing transparency and fidelity. Accordingly, we design a null-space projector that preserves prior responses by filtering out overlapping components of new task vectors, thereby ensuring transparency, and a lightweight LoRA adapter that injects complementary task-specific signals, enabling fidelity in adapting to new tasks. The adapter is trained with a projection-based surrogate loss to retain consistency with previous knowledge while introducing novel directions. This joint filtering-adaptation process allows the backbone to absorb new knowledge while retaining existing behaviors, and the updates are finally fused back in a layer-wise linear fashion without extra parameters or inference cost. Theoretically, we establish approximate subspace alignment guarantees that justify null-space filtering. Empirically, NUFILT achieves state-of-the-art performance with minimal forgetting on both vision and NLP benchmarks, improving average accuracy by 4-7% over OPCM and WUDI-Merging, while narrowing the gap to fine-tuning and reducing computation overhead.
• Abstract（参考訳）: データフリー連続モデルマージ(DFCMM)は、個別に調整されたモデルを単一のバックボーンに融合することを目的としており、タスクデータにアクセスすることなく、入ってくるタスクで進化する。 本稿では,DFCMMにおける2つの基本的なデシラタを定式化した。 データレベルのdeiderataをパラメータ空間の最適化でブリッジする方法によって、タスクデータの欠如における透明性と忠実性を保証する方法だ。 そこで我々は,これらのデシラタと最適化を直接リンクするデータフリーフレームワークであるNUFILT(NUll-space FILTering)を提案する。 我々のキーとなる観察は、タスクベクトルは表現部分空間とほぼ一致し、透明性と忠実さを強制するための構造的サロゲートを提供することである。 そこで我々は,新しいタスクベクトルの重なり合うコンポーネントをフィルタリングして事前応答を保存するヌルスペースプロジェクタと,補完的なタスク固有の信号を注入する軽量なLoRAアダプタを設計し,新しいタスクに適応するための忠実さを実現する。 このアダプタはプロジェクションベースのサロゲート損失で訓練され、新しい方向を導入しながら、以前の知識との整合性を維持する。 この共同フィルタリング適応プロセスにより、バックボーンは既存の動作を維持しながら新しい知識を吸収することができ、更新は余分なパラメータや推論コストを伴わず、最終的に階層的に線形に処理される。 理論的には、ヌル空間フィルタリングを正当化する近似部分空間アライメントを保証する。 実験的に、NUFILTはビジョンとNLPベンチマークの両方を最小限に忘れて最先端のパフォーマンスを実現し、OPCMとWUDI-Mergingよりも平均精度を4-7%向上させ、微調整と計算オーバーヘッドの削減にギャップを狭める。

関連論文リスト

• LARV: Data-Free Layer-wise Adaptive Rescaling Veneer for Model Merging [11.135582038431368]
  LARVは、トレーニングフリー、データフリー、マージ非依存、レイヤワイド・アダプティブ・リスケーリング・ベネアである。 LARVは浅層干渉を適応的に抑制し、単純な決定論的スケジュールを用いて深層アライメントを増幅する。 階層解析と汚職試験は、LARVが浅層干渉を抑制する一方で、より深くタスク安定な特徴を緩やかに増幅していることを示している。
  論文  参考訳（メタデータ） (2026-02-10T05:10:31Z)
• ELLA: Efficient Lifelong Learning for Adapters in Large Language Models [12.489255789379817]
  大規模言語モデル(LLM)は、連続的な学習環境において、新しいタスクに逐次適応する際、深刻な破滅的な忘れを被る。 本稿では,選択部分空間デコリレーションの原理に基づくトレーニングフレームワークであるELLAを紹介する。 ELLAは、過去の更新の構造を明示的に特徴づけ、高エネルギーでタスク固有の方向に沿ってアライメントを罰する。 3つの人気のあるベンチマークで最先端のCL性能を達成し、相対的精度は9.6%、メモリフットプリントは35倍になる。
  論文  参考訳（メタデータ） (2026-01-05T15:58:08Z)
• Beyond Weight Adaptation: Feature-Space Domain Injection for Cross-Modal Ship Re-Identification [3.6907522136316975]
  CMS Re-ID(Cross-Modality Ship Re-Identification)は、全天候の海上目標追跡を実現するために重要である。 モダリティギャップのブリッジ化におけるビジョン・ファンデーション・モデル(VFM)の可能性を探る。 ドメイン表現注入(Domain Representation Injection, DRI)と呼ばれる新しいPEFT戦略を提案する。
  論文  参考訳（メタデータ） (2025-12-24T02:30:23Z)
• MINGLE: Mixtures of Null-Space Gated Low-Rank Experts for Test-Time Continual Model Merging [19.916880222546155]
  連続モデルマージは、オリジナルのトレーニングデータにアクセスすることなく、個別に微調整されたモデルを逐次統合する。 MINGLEは、少数の未ラベルテストサンプルを使用したテスト時間連続モデルマージのための新しいフレームワークである。 MINGLEは、従来の最先端のメソッドを、さまざまなタスクオーダの平均で7-9%上回っている。
  論文  参考訳（メタデータ） (2025-05-17T07:24:22Z)
• VAE-based Feature Disentanglement for Data Augmentation and Compression in Generalized GNSS Interference Classification [42.14439854721613]
  干渉の正確な分類を可能にする重要な潜伏特徴を抽出するために, アンタングル化のための変分オートエンコーダ (VAE) を提案する。 提案するVAEは512から8,192の範囲のデータ圧縮率を実現し,99.92%の精度を実現している。
  論文  参考訳（メタデータ） (2025-04-14T13:38:00Z)
• Continual LLaVA: Continual Instruction Tuning in Large Vision-Language Models [93.5327725085853]
  連続LLaVA(Continuous LLaVA)は、LVLMにおける連続的な命令チューニングに適したリハーサルフリーな手法である。 実験により,提案した連続LLaVAは,連続的な命令チューニング過程における忘れを著しく減らし,従来の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-11-04T19:55:32Z)
• Boosting Lossless Speculative Decoding via Feature Sampling and Partial Alignment Distillation [8.046705062670096]
  損失のない投機的復号化は、ターゲットとする大言語モデル推論を加速する。 FSPAD (Feature Sampling and partial Alignment Distillation for Lossless Speculative Decoding) を提案する。 我々の実験は、ヴィクナ級数とLLaMA3-インストラクト級数で最大かつ最小のモデルにおいて、欲求と非欲求デコーディングの両方を含む。
  論文  参考訳（メタデータ） (2024-08-28T06:28:01Z)
• Low-Rank Representations Meets Deep Unfolding: A Generalized and Interpretable Network for Hyperspectral Anomaly Detection [41.50904949744355]
  現在のハイパースペクトル異常検出(HAD)ベンチマークデータセットは、低解像度、単純なバックグラウンド、検出データの小さなサイズに悩まされている。 これらの要因は、ロバスト性の観点からよく知られた低ランク表現(LRR)モデルの性能も制限する。 我々は、複雑なシナリオにおけるHADアルゴリズムの堅牢性を改善するために、新しいHADベンチマークデータセットであるAIR-HADを構築した。
  論文  参考訳（メタデータ） (2024-02-23T14:15:58Z)
• Energizing Federated Learning via Filter-Aware Attention [39.17451229130728]
  フェデレートラーニング(FL)は有望な分散パラダイムであり、データ共有の必要性を排除しつつ、データの異質性による課題に直面している。 パラメータ再構成にパーソナライズされたフィルタアテンションを利用するFedOFAを提案する。 コアとなるTFAモジュールは、パーソナライズされたフィルタ対応アテンションマップを正確に抽出するように設計されている。 AGPSは、冗長なニューロンを隠蔽しながら重要なニューロンを選択的に保持し、性能犠牲なしに通信コストを低減させる。
  論文  参考訳（メタデータ） (2023-11-18T09:09:38Z)
• Transparent Object Tracking with Enhanced Fusion Module [56.403878717170784]
  我々は,我々の融合技術を用いて,透明物体追跡のための優れた結果を得る新しいトラッカーアーキテクチャを提案する。 我々の結果とコードの実装はhttps://github.com/kalyan05TOTEM.comで公開されます。
  論文  参考訳（メタデータ） (2023-09-13T03:52:09Z)
• Active Finetuning: Exploiting Annotation Budget in the Pretraining-Finetuning Paradigm [132.9949120482274]
  本稿では,事前学習ファインタニングパラダイムにおけるアノテーションのためのサンプルの選択に焦点を当てる。 本研究では,アクティブな微調整タスクのためのActiveFTと呼ばれる新しい手法を提案する。 画像分類とセマンティックセグメンテーションの両方に基づくベースラインよりも優れたActiveFTの先行性能と高効率性を示す。
  論文  参考訳（メタデータ） (2023-03-25T07:17:03Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)
• Task Residual for Tuning Vision-Language Models [69.22958802711017]
  タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。 提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
  論文  参考訳（メタデータ） (2022-11-18T15:09:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。