論文の概要: Data Unlearning via Inverse Distillation

• arxiv url: http://arxiv.org/abs/2609.36099v1
• Date: Mon, 28 Sep 2026 18:39:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.954787
• Title: Data Unlearning via Inverse Distillation
• Title（参考訳）: 逆蒸留によるデータアンラーニング
• Abstract要約: Inverse Distillation Unlearning (IDU) は、教師のマルチステップマッチングモデルを効率的なワンステップの学生ジェネレータに同時に蒸留するフレームワークである。 IDUは,保持クラスにおける生成品質を保ちながら,忘れられたクラスの生成頻度を大幅に低減することを示す。
• 参考スコア（独自算出の注目度）: 65.89214072069687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-step matching models, including flow and diffusion models, produce high-quality outputs but incur substantial inference costs and may reproduce unwanted components of their training datasets. We introduce Inverse Distillation Unlearning (IDU), a unified framework that simultaneously distills a teacher multi-step matching model into an efficient one-step student generator and suppresses outputs corresponding to a designated training subset. We first formulate distillation as a min-max objective over a data distribution and then represent this distribution as a mixture of the forget-set and the generated distributions. This allows us to compare this mixture with the teacher's training distribution and recover only the retained data at the optimum. Our method requires only a pretrained full-data teacher and data from the forget set, without access to retained training examples, extra feature extractors or classifiers. Extensive experiments on MNIST and CIFAR-10 datasets under flow-matching and score-based diffusion settings demonstrate that IDU substantially reduces the generation frequency of forgotten classes while preserving generation quality on the retained classes. To the best of our knowledge, IDU is the first unified framework for simultaneous unlearning and distillation in unconditional flow-matching and score-based models.
• Abstract（参考訳）: フローと拡散モデルを含む多段階マッチングモデルでは、高品質な出力を生成するが、かなりの推論コストがかかり、トレーニングデータセットの不要なコンポーネントを再現することができる。 Inverse Distillation Unlearning (IDU) は,教師の多段階マッチングモデルを効率の良い1ステップの学生生成器に同時に蒸留し,指定された訓練サブセットに対応する出力を抑える統合フレームワークである。 まず,データ分布上でのmin-max目標として蒸留を定式化し,この分布を差分集合と生成した分布の混合として表現する。 これにより、この混合物を教師のトレーニング分布と比較し、最適に保持されたデータのみを復元することができる。 本手法では,予備訓練済みのフルデータ教師と,学習例や追加特徴抽出器,分類器へのアクセスを必要とせず,ナードセットからのデータのみを必要とする。 フローマッチングおよびスコアベース拡散設定下でのMNISTおよびCIFAR-10データセットの大規模な実験により、IDUは保持クラスにおける生成品質を維持しながら、忘れられたクラスの生成頻度を著しく低減することが示された。 我々の知る限り、IDUは、無条件のフローマッチングとスコアベースモデルにおいて、同時未学習と蒸留を同時に行うための最初の統合フレームワークである。

関連論文リスト

• Efficient Diffusion Distillation via Embedding Loss [5.036053636785486]
  埋め込み損失 (EL) は, 既存の拡散蒸留法を補完する新たな補足損失関数であり, 生成品質を高め, バッチサイズを小さくして訓練を加速する。 提案手法は,非条件生成に1.475,条件生成に1.380のFID値を実現する。 また,本手法は,資源制約環境下での拡散型生成モデルを展開するための,より実用的でスケーラブルなソリューションを提供するため,最大80%のトレーニングイテレーションを短縮する。
  論文  参考訳（メタデータ） (2026-04-24T09:16:47Z)
• Learnability-Guided Diffusion for Dataset Distillation [51.56484100374058]
  本稿では, 連続的な段階を通して段階的に合成データセットを構成する学習可能性駆動型データセット蒸留法を提案する。 本稿では,学習可能性誘導拡散(LGD)について紹介する。これは,現在のモデルのトレーニングユーティリティと基準モデルの下での妥当性のバランスをとり,カリキュラムに整合したサンプルを生成する。 提案手法は,トレーニング段階間の専門化を促進し,ImageNet-1K (60.1%), ImageNette (87.2%), ImageWoof (72.9%) の最先端結果を実現する。
  論文  参考訳（メタデータ） (2026-04-01T06:04:59Z)
• Distillation of Discrete Diffusion by Exact Conditional Distribution Matching [9.460409527892345]
  本稿では, 空調分布マッチングに基づく簡易かつ原理的な蒸留法を提案する。 我々は,この構造を利用して,事前学習した教師と低NFE学生の条件分布を直接一致させる蒸留目標を定義する。
  論文  参考訳（メタデータ） (2025-12-15T00:16:10Z)
• Universal Inverse Distillation for Matching Models with Real-Data Supervision (No GANs) [63.681263056053666]
  提案するRealUIDは,GANを使わずに実データを蒸留プロセスにシームレスに組み込む,全てのマッチングモデルのための汎用蒸留フレームワークである。 我々のRealUIDアプローチは、フローマッチングと拡散モデルに対する以前の蒸留方法をカバーする単純な理論基盤を提供し、ブリッジマッチングや補間といった修正にも拡張されている。
  論文  参考訳（メタデータ） (2025-09-26T15:12:02Z)
• Denoising Score Distillation: From Noisy Diffusion Pretraining to One-Step High-Quality Generation [82.39763984380625]
  低品質データから高品質な生成モデルをトレーニングするための驚くほど効果的で斬新なアプローチであるDSD(Denoising score distillation)を導入する。 DSDはノイズの多い劣化したサンプルにのみ拡散モデルを事前訓練し、精製されたクリーンな出力を生成することができる1ステップの発電機に蒸留する。
  論文  参考訳（メタデータ） (2025-03-10T17:44:46Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Continual Learning with Optimal Transport based Mixture Model [17.398605698033656]
  成熟最適輸送理論(OT-MM)の優れた性質に基づくオンライン混合モデル学習手法を提案する。 提案手法は,現在の最先端のベースラインを大きく上回ることができる。
  論文  参考訳（メタデータ） (2022-11-30T06:40:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。