論文の概要: Meta-Unlearning on Diffusion Models: Preventing Relearning Unlearned Concepts

• arxiv url: http://arxiv.org/abs/2410.12777v1
• Date: Wed, 16 Oct 2024 17:51:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:44:59.671538
• Title: Meta-Unlearning on Diffusion Models: Preventing Relearning Unlearned Concepts
• Title（参考訳）: 拡散モデルに基づくメタ学習:未学習概念の再学習を防ぐ
• Authors: Hongcheng Gao, Tianyu Pang, Chao Du, Taihang Hu, Zhijie Deng, Min Lin,
• Abstract要約: メタ学習事前学習拡散モデル(DM)の枠組みを提案する。 我々のフレームワークは既存のほとんどの未学習メソッドと互換性があり、実装が容易なメタオブジェクトを追加するだけでよい。
• 参考スコア（独自算出の注目度）: 34.74792073509646
• License:
• Abstract: With the rapid progress of diffusion-based content generation, significant efforts are being made to unlearn harmful or copyrighted concepts from pretrained diffusion models (DMs) to prevent potential model misuse. However, it is observed that even when DMs are properly unlearned before release, malicious finetuning can compromise this process, causing DMs to relearn the unlearned concepts. This occurs partly because certain benign concepts (e.g., "skin") retained in DMs are related to the unlearned ones (e.g., "nudity"), facilitating their relearning via finetuning. To address this, we propose meta-unlearning on DMs. Intuitively, a meta-unlearned DM should behave like an unlearned DM when used as is; moreover, if the meta-unlearned DM undergoes malicious finetuning on unlearned concepts, the related benign concepts retained within it will be triggered to self-destruct, hindering the relearning of unlearned concepts. Our meta-unlearning framework is compatible with most existing unlearning methods, requiring only the addition of an easy-to-implement meta objective. We validate our approach through empirical experiments on meta-unlearning concepts from Stable Diffusion models (SD-v1-4 and SDXL), supported by extensive ablation studies. Our code is available at https://github.com/sail-sg/Meta-Unlearning.
• Abstract（参考訳）: 拡散ベースのコンテンツ生成の急速な進歩により、潜在的なモデル誤用を防ぐために、事前訓練された拡散モデル(DM)から有害または著作権のある概念を解放するための重要な努力がなされている。 しかし、DMがリリース前に適切に未学習である場合でも、悪意のある微調整がこの過程を損なう可能性があり、DMは未学習の概念を再学習させる。 これは、DMに保持されている特定の良性概念(例:「皮膚」)が、未学習の概念(例:「栄養」)と関連しているためであり、微調整による再学習を容易にするためである。 そこで本研究では,DMのメタ・アンラーニングを提案する。 直感的には、メタ未学習のDMは、そのまま使う場合、未学習のDMのように振る舞うべきである。さらに、メタ未学習のDMが未学習のコンセプトに悪質な微調整を施す場合、その中に保持される関連する良性の概念が自己破壊を引き起こし、未学習のコンセプトの再学習を妨げる。 我々のメタアンラーニングフレームワークは既存のほとんどのアンラーニング手法と互換性があり、簡単に実装できるメタ目標を追加するだけでよい。 我々は,SD-v1-4とSDXLのメタ・アンラーニングモデルを用いたメタ・アンラーニングの実証実験を通じて,我々のアプローチを検証した。 私たちのコードはhttps://github.com/sail-sg/Meta-Unlearning.comで利用可能です。

関連論文リスト

• Unlearning or Concealment? A Critical Analysis and Evaluation Metrics for Unlearning in Diffusion Models [7.9993879763024065]
  既存の手法で未学習に使用する目的関数が,対象概念の分離に繋がることを示す。 現在の手法の非効率性は、主に特定のプロンプト集合の生成確率の減少に焦点を絞ったものである。 CRS(Concept Retrieval Score)とCCS(Concept Confidence Score)の2つの新しい評価指標を紹介した。
  論文  参考訳（メタデータ） (2024-09-09T14:38:31Z)
• UnUnlearning: Unlearning is not sufficient for content regulation in advanced generative AI [50.61495097098296]
  大規模言語モデル(LLM)におけるアンラーニングのパラダイムを再考する。 未学習の概念を導入し、未学習の知識を文脈内で再導入する。 我々は、不寛容な知識に対するコンテンツフィルタリングが不可欠であり、正確な未学習スキームでさえ、効果的なコンテンツ規制には不十分であると主張している。
  論文  参考訳（メタデータ） (2024-06-27T10:24:35Z)
• Defensive Unlearning with Adversarial Training for Robust Concept Erasure in Diffusion Models [42.734578139757886]
  拡散モデル(DM)はテキスト・画像生成において顕著な成功を収めてきたが、安全性のリスクも生じている。 マシン・アンラーニングのテクニックは、概念消去としても知られ、これらのリスクに対処するために開発されている。 本研究は, 対人訓練(AT)の原理をマシン・アンラーニングに統合することにより, 概念消去の堅牢性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-05-24T05:47:23Z)
• UnlearnCanvas: Stylized Image Dataset for Enhanced Machine Unlearning Evaluation in Diffusion Models [31.48739583108113]
  拡散モデル(DM)はテキスト・画像生成において前例のない機能を示し、多様な用途で広く利用されている。 彼らはまた、有害なコンテンツの生成や著作権紛争など、社会的な問題も提起している。 マシン・アンラーニング(MU)は、DMから望ましくない生成能力を除去できる有望なソリューションとして登場した。
  論文  参考訳（メタデータ） (2024-02-19T05:25:53Z)
• One-Dimensional Adapter to Rule Them All: Concepts, Diffusion Models and Erasing Applications [65.66700972754118]
  既存の学界における概念消去手法はすべて、完全なパラメータや仕様ベースの微調整に基づいている。 それまでのモデル固有の消去は、概念の柔軟な組み合わせと、他のモデルへのトレーニング不要な移行を妨げる。 我々は,一次元アダプタをベースとした消去フレームワークを構築し,多くのDMから複数の概念を一度に消去する。
  論文  参考訳（メタデータ） (2023-12-26T18:08:48Z)
• To Generate or Not? Safety-Driven Unlearned Diffusion Models Are Still Easy To Generate Unsafe Images ... For Now [22.75295925610285]
  拡散モデル(DM)は、現実的で複雑な画像の生成に革命をもたらした。 DMはまた、有害なコンテンツの生成やデータ著作権の侵害など、潜在的な安全上の危険性も導入している。 安全駆動の未学習技術の発展にもかかわらず、その有効性に対する疑念は続いている。
  論文  参考訳（メタデータ） (2023-10-18T10:36:34Z)
• VillanDiffusion: A Unified Backdoor Attack Framework for Diffusion Models [69.20464255450788]
  拡散モデル(英: Diffusion Models, DM)は、可逆的ノイズ付加から可逆的腐敗過程を学習し、雑音を除去する手法である。 最近の研究では、基本的な無条件DMがバックドア注入に弱いことが示されている。 本稿では,DMのバックドア分析の現在の範囲を広げるために,統合されたバックドア攻撃フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-12T05:14:13Z)
• CMVAE: Causal Meta VAE for Unsupervised Meta-Learning [3.0839245814393728]
  教師なしメタ学習は、ラベルのないデータからメタ知識を学習し、新しいタスクに迅速に適応することを目的としている。 既存のアプローチは、トレーニングデータからコンテキストバイアスに誤解される可能性がある。 因果空間の潜伏符号に先行情報をエンコードし,それらの関係を同時に学習し,下流の複数ショット画像分類タスクを実現するための因果メタVAE(CMVAE)を提案する。
  論文  参考訳（メタデータ） (2023-02-20T02:49:35Z)
• Meta-Learning with Variational Semantic Memory for Word Sense Disambiguation [56.830395467247016]
  メタ学習環境におけるWSDのセマンティックメモリモデルを提案する。 我々のモデルは階層的変動推論に基づいており、ハイパーネットワークを介して適応的なメモリ更新ルールを組み込んでいる。 極めて少ないシナリオでの効果的な学習を支援するために,本モデルがWSDで最先端の技術を数ショットで実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-05T20:40:01Z)
• On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning [100.14809391594109]
  モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。 本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:03:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。