論文の概要: Forget-Me-Not: Learning to Forget in Text-to-Image Diffusion Models

• arxiv url: http://arxiv.org/abs/2303.17591v1
• Date: Thu, 30 Mar 2023 17:58:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-31 12:25:05.495831
• Title: Forget-Me-Not: Learning to Forget in Text-to-Image Diffusion Models
• Title（参考訳）: Forget-Me-Not: テキスト・画像拡散モデルにおける予測学習
• Authors: Eric Zhang, Kai Wang, Xingqian Xu, Zhangyang Wang, Humphrey Shi
• Abstract要約: textbfForget-Me-Notは、適切に設定されたテキスト・ツー・イメージモデルから、指定されたID、オブジェクト、スタイルを30秒で安全に削除するように設計されている。 我々は,Forget-Me-Notが,モデルの性能を他の概念に保ちながら,ターゲットとなる概念を効果的に排除できることを実証した。 また、Stable Diffusionの軽量モデルパッチとして適応することができ、コンセプト操作と便利な配布を可能にしている。
• 参考スコア（独自算出の注目度）: 79.50701155336198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The unlearning problem of deep learning models, once primarily an academic concern, has become a prevalent issue in the industry. The significant advances in text-to-image generation techniques have prompted global discussions on privacy, copyright, and safety, as numerous unauthorized personal IDs, content, artistic creations, and potentially harmful materials have been learned by these models and later utilized to generate and distribute uncontrolled content. To address this challenge, we propose \textbf{Forget-Me-Not}, an efficient and low-cost solution designed to safely remove specified IDs, objects, or styles from a well-configured text-to-image model in as little as 30 seconds, without impairing its ability to generate other content. Alongside our method, we introduce the \textbf{Memorization Score (M-Score)} and \textbf{ConceptBench} to measure the models' capacity to generate general concepts, grouped into three primary categories: ID, object, and style. Using M-Score and ConceptBench, we demonstrate that Forget-Me-Not can effectively eliminate targeted concepts while maintaining the model's performance on other concepts. Furthermore, Forget-Me-Not offers two practical extensions: a) removal of potentially harmful or NSFW content, and b) enhancement of model accuracy, inclusion and diversity through \textbf{concept correction and disentanglement}. It can also be adapted as a lightweight model patch for Stable Diffusion, allowing for concept manipulation and convenient distribution. To encourage future research in this critical area and promote the development of safe and inclusive generative models, we will open-source our code and ConceptBench at \href{https://github.com/SHI-Labs/Forget-Me-Not}{https://github.com/SHI-Labs/Forget-Me-Not}.
• Abstract（参考訳）: かつては学術的な関心事であったディープラーニングモデルの未学習問題は、業界で一般的な問題となっている。 テキストから画像への生成技術の大幅な進歩は、プライバシー、著作権、安全性に関する世界的な議論を促し、多くの無許可の個人id、コンテンツ、芸術作品、潜在的に有害な素材がこれらのモデルによって学習され、後に制御されていないコンテンツの生成と配布に利用された。 この課題に対処するために,我々は,指定したid,オブジェクト,スタイルを30秒以内のテキスト・イメージモデルから安全に削除し,他のコンテンツを生成する能力を損なうことなく,効率良く低コストなソリューションである \textbf{forget-me-not} を提案する。 提案手法と並行して,モデルが一般概念を生成する能力を測定するために,<textbf{Memorization Score (M-Score)} と<textbf{ConceptBench} を導入し,ID,オブジェクト,スタイルの3つの主要なカテゴリに分類した。 M-Score と ConceptBench を用いて、Forget-Me-Not がターゲットとなる概念を効果的に排除し、モデルの性能を他の概念で維持できることを実証する。 さらに、Forget-Me-Notは2つの実用的な拡張を提供している。 a)潜在的に有害またはNSFW内容の除去、及び b) \textbf{concept correct and disentanglement}によるモデル精度、包摂性及び多様性の向上 安定した拡散のための軽量なモデルパッチとしても適用でき、概念操作と便利な分散を可能にする。 この重要な領域における将来の研究を奨励し、安全かつ包括的な生成モデルの開発を促進するため、私たちは、コードとConceptBenchを、 \href{https://github.com/SHI-Labs/Forget-Me-Not}{https://github.com/SHI-Labs/Forget-Me-Not}でオープンソース化します。

関連論文リスト

• Safety Without Semantic Disruptions: Editing-free Safe Image Generation via Context-preserving Dual Latent Reconstruction [49.60774626839712]
  マルチモーダル生成モデルのトレーニングは、ユーザを有害で安全でない、議論の余地のない、あるいは文化的に不適切なアウトプットに晒すことができる。 安全コンテクストの埋め込みと、より安全な画像を生成するための二重再構成プロセスを活用するモジュール型動的ソリューションを提案する。 我々は、モデル安全性の制御可能なバリエーションを提供しながら、安全な画像生成ベンチマークの最先端結果を達成する。
  論文  参考訳（メタデータ） (2024-11-21T09:47:13Z)
• Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models [76.39651111467832]
  本稿では,Reliable and Efficient Concept Erasure (RECE)を提案する。 派生した埋め込みによって表現される不適切なコンテンツを緩和するために、RECEはそれらをクロスアテンション層における無害な概念と整合させる。 新たな表現埋め込みの導出と消去を反復的に行い、不適切な概念の徹底的な消去を実現する。
  論文  参考訳（メタデータ） (2024-07-17T08:04:28Z)
• Latent Guard: a Safety Framework for Text-to-image Generation [64.49596711025993]
  既存の安全対策は、容易に回避できるテキストブラックリストや有害なコンテンツ分類に基づいている。 テキスト・ツー・イメージ生成の安全性向上を目的としたフレームワークであるLatent Guardを提案する。 ブラックリストベースのアプローチにインスパイアされたLatent Guardは、T2Iモデルのテキストエンコーダの上に潜在空間を学習し、有害な概念の存在を確認することができる。
  論文  参考訳（メタデータ） (2024-04-11T17:59:52Z)
• Create Your World: Lifelong Text-to-Image Diffusion [75.14353789007902]
  本稿では,過去の概念の「破滅的忘れ」を克服するために,ライフロングテキスト・画像拡散モデル(L2DM)を提案する。 我々のL2DMフレームワークは,知識の「破滅的忘れ」に関して,タスク対応メモリ拡張モジュールと弾性概念蒸留モジュールを考案している。 我々のモデルは、質的および定量的な指標の両方の観点から、連続的なテキストプロンプトの範囲にわたって、より忠実な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-09-08T16:45:56Z)
• Towards Safe Self-Distillation of Internet-Scale Text-to-Image Diffusion Models [63.20512617502273]
  テキストから画像への拡散モデルにおいて,問題のあるコンテンツ生成を防止するため,SDDと呼ばれる手法を提案する。 本手法は,画像の全体的な品質を劣化させることなく,生成した画像から有害なコンテンツをはるかに多く除去する。
  論文  参考訳（メタデータ） (2023-07-12T07:48:29Z)
• Selective Amnesia: A Continual Learning Approach to Forgetting in Deep Generative Models [12.188240438657512]
  我々は、事前学習された深層生成モデルの概念を選択的に忘れる連続学習にインスパイアされた手法を導出する。 提案手法はSelective Amnesiaと呼ばれ,ユーザがどのように概念を忘れるべきかを指定することで,制御可能な記憶を可能にする。
  論文  参考訳（メタデータ） (2023-05-17T10:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。