論文の概要: Score Forgetting Distillation: A Swift, Data-Free Method for Machine Unlearning in Diffusion Models

• arxiv url: http://arxiv.org/abs/2409.11219v2
• Date: Tue, 8 Oct 2024 03:59:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 20:13:03.732965
• Title: Score Forgetting Distillation: A Swift, Data-Free Method for Machine Unlearning in Diffusion Models
• Title（参考訳）: Score Forgetting Distillation: 拡散モデルにおける機械学習のためのスウィフトでデータフリーな手法
• Authors: Tianqi Chen, Shujian Zhang, Mingyuan Zhou,
• Abstract要約: マシン・アンラーニング(MU)は安全でセキュアで信頼性の高いGenAIモデルを開発する上で重要な基盤である。 従来のMUメソッドは、しばしば厳密な仮定に依存し、実際のデータへのアクセスを必要とする。 本稿では,拡散モデルにおいて望ましくない情報を忘れることを促進する革新的なMUアプローチであるScore Forgetting Distillation (SFD)を紹介する。
• 参考スコア（独自算出の注目度）: 63.43422118066493
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The machine learning community is increasingly recognizing the importance of fostering trust and safety in modern generative AI (GenAI) models. We posit machine unlearning (MU) as a crucial foundation for developing safe, secure, and trustworthy GenAI models. Traditional MU methods often rely on stringent assumptions and require access to real data. This paper introduces Score Forgetting Distillation (SFD), an innovative MU approach that promotes the forgetting of undesirable information in diffusion models by aligning the conditional scores of "unsafe" classes or concepts with those of "safe" ones. To eliminate the need for real data, our SFD framework incorporates a score-based MU loss into the score distillation objective of a pretrained diffusion model. This serves as a regularization term that preserves desired generation capabilities while enabling the production of synthetic data through a one-step generator. Our experiments on pretrained label-conditional and text-to-image diffusion models demonstrate that our method effectively accelerates the forgetting of target classes or concepts during generation, while preserving the quality of other classes or concepts. This unlearned and distilled diffusion not only pioneers a novel concept in MU but also accelerates the generation speed of diffusion models. Our experiments and studies on a range of diffusion models and datasets confirm that our approach is generalizable, effective, and advantageous for MU in diffusion models. (Warning: This paper contains sexually explicit imagery, discussions of pornography, racially-charged terminology, and other content that some readers may find disturbing, distressing, and/or offensive.)
• Abstract（参考訳）: 機械学習コミュニティは、現代のジェネレーティブAI(GenAI)モデルにおいて、信頼と安全性を促進することの重要性をますます認識している。 我々は、安全でセキュアで信頼性の高いGenAIモデルを開発するための重要な基盤として、機械学習(MU)を定めている。 従来のMUメソッドは、しばしば厳密な仮定に依存し、実際のデータへのアクセスを必要とする。 本稿では「安全でない」クラスや概念の条件付きスコアを「安全でない」クラスと整列させることにより、拡散モデルにおける望ましくない情報の忘れを促進させる革新的なMUアプローチである「スコアフォーッティング蒸留(SFD)」を紹介する。 実データを必要としないため,本フレームワークでは,事前学習した拡散モデルのスコア蒸留目標にスコアベースのMU損失を組み込む。 これは、所望の生成能力を保ちつつ、ワンステップジェネレータによる合成データの生成を可能にする正規化用語として機能する。 事前学習したラベル条件およびテキスト・ツー・イメージ拡散モデルを用いた実験により,本手法は,他のクラスや概念の品質を維持しつつ,生成中の対象クラスや概念の忘れ忘れを効果的に促進することを示した。 この未学習で蒸留された拡散は、MUにおける新しい概念の先駆けとなるだけでなく、拡散モデルの生成速度も加速する。 拡散モデルとデータセットに関する実験と研究により、拡散モデルにおけるMUのアプローチが一般化可能であり、有効であり、有利であることが確認された。 (ウォーニング)本論文は、性的に明示的なイメージ、ポルノグラフィーの議論、人種的にチャージされた用語など、一部の読者が混乱、苦悩、あるいは不快感を感じているかもしれない内容を含んでいる。)

関連論文リスト

• Diffusion Imitation from Observation [4.205946699819021]
  敵対的模倣学習アプローチは、差別者と区別できない状態遷移を生成するために、ジェネレータポリシーを学ぶ。 生成モデルにおける拡散モデルの成功を動機として,観測フレームワークからの逆模倣学習に拡散モデルを統合することを提案する。
  論文  参考訳（メタデータ） (2024-10-07T18:49:55Z)
• Real-World Benchmarks Make Membership Inference Attacks Fail on Diffusion Models [12.386823277082746]
  拡散モデルに対するメンバーシップ推論攻撃(MIA)は、不正なデータ使用の潜在的証拠として浮上している。 本研究は,拡散モデルにおける最先端MIAの評価について検討し,重大な欠陥と過度に楽観的な性能評価を明らかにした。 CopyMarkはより現実的なMIAベンチマークで、事前訓練された拡散モデル、偏りのないデータセット、公正な評価パイプラインのサポートを通じて自分自身を区別する。
  論文  参考訳（メタデータ） (2024-10-04T17:46:06Z)
• Unlearning or Concealment? A Critical Analysis and Evaluation Metrics for Unlearning in Diffusion Models [7.9993879763024065]
  既存の手法で未学習に使用する目的関数が,対象概念の分離に繋がることを示す。 現在の手法の非効率性は、主に特定のプロンプト集合の生成確率の減少に焦点を絞ったものである。 CRS(Concept Retrieval Score)とCCS(Concept Confidence Score)の2つの新しい評価指標を紹介した。
  論文  参考訳（メタデータ） (2024-09-09T14:38:31Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Latent Diffusion Counterfactual Explanations [28.574246724214962]
  潜在拡散対実説明(LDCE)について紹介する。 LDCEは、最近のクラスまたはテキスト条件の潜在拡散モデルの能力を利用して、対実生成を高速化する。 LDCEがモデルエラーに対する洞察を提供し、ブラックボックスモデル行動の理解を深める方法を示す。
  論文  参考訳（メタデータ） (2023-10-10T14:42:34Z)
• Diff-Instruct: A Universal Approach for Transferring Knowledge From Pre-trained Diffusion Models [77.83923746319498]
  本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。 Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。 GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
  論文  参考訳（メタデータ） (2023-05-29T04:22:57Z)
• Your Diffusion Model is Secretly a Zero-Shot Classifier [90.40799216880342]
  大規模テキスト・画像拡散モデルからの密度推定をゼロショット分類に活用できることを示す。 分類に対する我々の生成的アプローチは、様々なベンチマークで強い結果が得られる。 我々の結果は、下流タスクにおける差別的モデルよりも生成的な利用に向けての一歩である。
  論文  参考訳（メタデータ） (2023-03-28T17:59:56Z)
• DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.84866217721361]
  DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。 本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。 非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-28T03:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。