論文の概要: Model Inversion with Layer-Specific Modeling and Alignment for Data-Free Continual Learning

• arxiv url: http://arxiv.org/abs/2510.26311v1
• Date: Thu, 30 Oct 2025 09:58:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.74753
• Title: Model Inversion with Layer-Specific Modeling and Alignment for Data-Free Continual Learning
• Title（参考訳）: データフリー連続学習のためのレイヤ特化モデリングとアライメントを用いたモデルインバージョン
• Authors: Ruilin Tong, Haodong Lu, Yuhang Liu, Dong Gong,
• Abstract要約: 継続的な学習は、以前のタスクのパフォーマンスを維持しながら、一連のタスクでモデルを漸進的にトレーニングすることを目的としています。 データの保存と再生は、プライバシやセキュリティ上の制約によって不可能になることが多い。 単層最適化における高速収束にインスパイアされたPMI(Per-layer Model Inversion)を提案する。
• 参考スコア（独自算出の注目度）: 19.12792297140574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning (CL) aims to incrementally train a model on a sequence of tasks while retaining performance on prior ones. However, storing and replaying data is often infeasible due to privacy or security constraints and impractical for arbitrary pre-trained models. Data-free CL seeks to update models without access to previous data. Beyond regularization, we employ model inversion to synthesize data from the trained model, enabling replay without storing samples. Yet, model inversion in predictive models faces two challenges: (1) generating inputs solely from compressed output labels causes drift between synthetic and real data, and replaying such data can erode prior knowledge; (2) inversion is computationally expensive since each step backpropagates through the full model. These issues are amplified in large pre-trained models such as CLIP. To improve efficiency, we propose Per-layer Model Inversion (PMI), inspired by faster convergence in single-layer optimization. PMI provides strong initialization for full-model inversion, substantially reducing iterations. To mitigate feature shift, we model class-wise features via Gaussian distributions and contrastive model, ensuring alignment between synthetic and real features. Combining PMI and feature modeling, our approach enables continual learning of new classes by generating pseudo-images from semantic-aware projected features, achieving strong effectiveness and compatibility across multiple CL settings.
• Abstract（参考訳）: 継続的学習(CL)は、タスクのシーケンス上でモデルを段階的にトレーニングし、以前のタスクのパフォーマンスを維持することを目的としている。 しかし、プライバシやセキュリティ上の制約のためにデータの保存と再生は不可能であり、任意の事前訓練されたモデルでは現実的ではない。 データフリーCLは、以前のデータにアクセスせずにモデルを更新しようとする。 正規化以外にも、トレーニングされたモデルからデータを合成するためにモデルインバージョンを使用し、サンプルを格納せずにリプレイを可能にします。 しかし, 予測モデルにおけるモデル逆転は, 1) 圧縮された出力ラベルからのみ入力を生成すると, 合成データと実データ間のドリフトが発生し, それらのデータの再生は事前知識を損なう。 これらの問題は、CLIPのような大規模で事前訓練されたモデルで増幅される。 効率を向上させるために,単層最適化における高速収束にインスパイアされたPMI(Per-layer Model Inversion)を提案する。 PMIはフルモデルインバージョンに対して強力な初期化を提供し、イテレーションを大幅に削減する。 特徴シフトを軽減するために,ガウス分布とコントラストモデルを用いてクラスワイドな特徴をモデル化し,合成特徴と実特徴との整合性を確保する。 提案手法は,PMIと特徴モデリングを組み合わせることで,意味認識された特徴から擬似イメージを生成し,複数のCL設定間で高い有効性と互換性を実現することによって,新しいクラスを連続的に学習することを可能にする。

関連論文リスト

• Middo: Model-Informed Dynamic Data Optimization for Enhanced LLM Fine-Tuning via Closed-Loop Learning [44.53583316198435]
  Supervised Fine-Tuning (SFT) Large Language Modelsは高品質なトレーニングデータに依存している。 自己進化型モデル駆動動的データ最適化フレームワークであるMiddoを紹介した。 その結果,Middoはシードデータの品質を継続的に向上し,LLMの性能を平均7.15%向上させることができた。
  論文  参考訳（メタデータ） (2025-08-29T12:47:27Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Maintaining Stability and Plasticity for Predictive Churn Reduction [8.971668467496055]
  我々は,累積モデル組合せ (AMC) という解を提案する。 AMCは一般的な手法であり、モデルやデータ特性に応じてそれぞれ独自の利点を持ついくつかの事例を提案する。
  論文  参考訳（メタデータ） (2023-05-06T20:56:20Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• End-to-End Weak Supervision [15.125993628007972]
  下流モデルを直接学習するためのエンドツーエンドアプローチを提案する。 下流テストセットにおけるエンドモデル性能の観点から,先行作業よりも性能が向上したことを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:10:11Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。