論文の概要: SAFE-Merge: Data-Free Continual Model Merging with General Knowledge Preservation
- arxiv url: http://arxiv.org/abs/2608.01184v1
- Date: Sun, 02 Aug 2026 12:09:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.113572
- Title: SAFE-Merge: Data-Free Continual Model Merging with General Knowledge Preservation
- Title（参考訳）: SAFE-Merge: 一般知識保存とデータフリー連続モデルの統合
- Abstract要約: 既存の手法は主に下流タスク間の干渉を抑制することでタスク更新をマージする。
単純なデータフリー連続マージフレームワークであるSAFE-Mergeを提案する。
どのパラメータ更新が安全に保持されているかを判断し、マスキングによって失われたタスク情報を復元する。
- 参考スコア（独自算出の注目度）: 28.36624652173189
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data-free continual model merging must incorporate a stream of specialized models while retaining both pretrained general knowledge and previously acquired tasks, without access to task data. Existing methods mainly merge task updates by suppressing interference among downstream tasks; while this protects previously acquired tasks, it overlooks the safety of the pretrained knowledge itself, whose erosion degrades generalization to held-out distributions and weakens the foundation for future task acquisition. We propose SAFE-Merge, a simple data-free continual-merging framework that first decides which parameter updates are safe to retain, and then recovers the task information lost through masking. Specifically, to ensure safety, risk-aware sparse masking selects parameter updates that carry task-specific information while posing low risk to general knowledge. Masked low-rank recovery then compensates for the lost task information using only the same retained parameter updates, while leaving all masked-out parameters strictly unchanged. Finally, the combined update is fused into the backbone, incurring no additional inference cost. Across vision and language benchmarks, SAFE-Merge consistently achieves the best H-score. On longer CLIP task sequences, it substantially improves H-score over NUFILT while also achieving the highest accuracy.
- Abstract（参考訳）: データフリー連続モデルマージは、事前訓練された一般的な知識と以前取得されたタスクの両方を保持しながら、タスクデータにアクセスせずに、特別なモデルのストリームを組み込まなければならない。
既存の手法は、下流タスク間の干渉を抑えることでタスク更新をマージするが、これは以前に獲得したタスクを保護しているが、浸食が一般化を減らし、将来のタスク獲得の基礎を弱める、事前訓練された知識自体の安全性を見落としている。
SFE-Mergeは単純なデータフリー連続マージフレームワークで、まずどのパラメータの更新が安全かを判断し、マスキングによって失われたタスク情報を復元する。
具体的には、安全性を確保するために、リスクを意識したスパースマスキングは、一般的な知識に対してリスクを低く保ちながら、タスク固有の情報を運ぶパラメータ更新を選択する。
マスク付き低ランクリカバリは、同じ保持されたパラメータ更新だけを使用して、失われたタスク情報を補償する。
最後に、統合されたアップデートはバックボーンに融合され、追加の推論コストは発生しない。
ビジョンと言語ベンチマークの他、SAFE-Mergeは一貫して最高のHスコアを達成している。
より長いCLIPタスクシーケンスでは、NUFILTよりもHスコアが大幅に向上し、高い精度を実現している。
関連論文リスト
- TRACE: Discovering Task-Specific Parameter via Adaptation-Aware Probing for Continual Fine-Tuning [33.07713704586859]
本稿では,タスク固有のpaRameterを探索するための新しいアプローチであるTRACEを紹介する。
提案手法の優れた性能を示すため,複数の標準ベンチマークを用いて実験を行った。
論文 参考訳（メタデータ） (2026-05-29T08:57:06Z) - Beyond Retention: Orchestrating Structural Safety and Plasticity in Continual Learning for LLMs [2.5202137607634407]
経験リプレイ(ER)は破滅的忘れに対する標準的な対策である。
ERはコード生成のような脆弱で構造化されたドメインに対して負の転送を引き起こす。
我々は,確立した知識構造に対する数学的根拠を持つ「安全保証」として,オルソゴン部分空間ウェイクアップ(OSW)を提案する。
論文 参考訳（メタデータ） (2026-01-26T08:28:02Z) - Forget Less, Retain More: A Lightweight Regularizer for Rehearsal-Based Continual Learning [51.07663354001582]
ディープニューラルネットワークは破滅的な忘れ込みに悩まされ、新しいタスクのトレーニング後に以前のタスクのパフォーマンスが低下する。
本稿では,メモリベースの手法と正規化手法の交わりに着目し,この問題に対処する新しいアプローチを提案する。
我々は、メモリベース連続学習法において、情報最大化(IM)正則化と呼ばれる正規化戦略を定式化する。
論文 参考訳（メタデータ） (2025-12-01T15:56:00Z) - Task-Agnostic Federated Continual Learning via Replay-Free Gradient Projection [23.99793728516052]
フェデレートされた連続学習(FCL)により、分散クライアントデバイスは、多様で進化するタスクにわたるストリーミングデータから学習することができる。
タスク識別予測(FedProTIP)を用いた連立勾配予測型連続学習を提案する。
このフレームワークは、クライアントのアップデートをグローバルモデルの以前に学習された表現によって分散されたサブスペースの補空間に投影することで、忘れを軽減します。
論文 参考訳（メタデータ） (2025-09-25T21:20:00Z) - Towards Rehearsal-Free Continual Relation Extraction: Capturing Within-Task Variance with Adaptive Prompting [2.818102173042532]
WAVE++は、プレフィックスチューニングとエキスパートの混在にインスパイアされた、新しいアプローチである。
タスク固有のプロンプトプールを導入し、多様なタスクの柔軟性と適応性を高めます。
我々は、よりリッチでグローバルなコンテキストを提供するラベル記述を組み込み、モデルが異なる関係をよりよく区別できるようにする。
論文 参考訳（メタデータ） (2025-05-20T05:22:17Z) - LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。
LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
論文 参考訳（メタデータ） (2024-10-22T16:26:05Z) - Do as I do (Safely): Mitigating Task-Specific Fine-tuning Risks in Large Language Models [93.08860674071636]
悪質なアクターが、ほぼすべてのタスク固有のデータセットの構造を微妙に操作して、危険なモデル行動を促進する方法を示す。
本稿では,タスク形式を模倣した安全データとユーザデータのスタイルを混合した新しい緩和戦略を提案する。
論文 参考訳（メタデータ） (2024-06-12T18:33:11Z) - Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。
本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
論文 参考訳（メタデータ） (2024-05-13T14:54:37Z) - PT-Tuning: Bridging the Gap between Time Series Masked Reconstruction
and Forecasting via Prompt Token Tuning [14.332279447231416]
近年,自己指導型学習が時系列領域で盛んに研究されている。
これらの手法の多くは、新しいデコーダが事前訓練されたデコーダを置き換える"事前訓練+微調整"パラダイムに従っている。
本稿では,事前学習したパラメータをすべて凍結し,拡張マスクトークンに数個のトレーニング可能なプロンプトトークンを追加する,シンプルで効果的なプロンプトチューニング(PT-Tuning)パラダイムを提案する。
論文 参考訳（メタデータ） (2023-11-07T07:11:27Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - Task Residual for Tuning Vision-Language Models [69.22958802711017]
タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。
TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。
提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
論文 参考訳（メタデータ） (2022-11-18T15:09:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。