論文の概要: Erasing Concepts from Text-to-Image Diffusion Models with Few-shot Unlearning

• arxiv url: http://arxiv.org/abs/2405.07288v2
• Date: Thu, 29 Aug 2024 06:22:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 19:08:38.947167
• Title: Erasing Concepts from Text-to-Image Diffusion Models with Few-shot Unlearning
• Title（参考訳）: わずかな未学習によるテキスト・画像拡散モデルからの概念の消去
• Authors: Masane Fuchi, Tomohiro Takagi,
• Abstract要約: 本稿では,数発のアンラーニングを用いてテキストエンコーダを更新する新しい概念消去手法を提案する。 提案手法は10秒以内に概念を消去し,概念の消去をこれまで以上に容易に行えるようにする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating images from text has become easier because of the scaling of diffusion models and advancements in the field of vision and language. These models are trained using vast amounts of data from the Internet. Hence, they often contain undesirable content such as copyrighted material. As it is challenging to remove such data and retrain the models, methods for erasing specific concepts from pre-trained models have been investigated. We propose a novel concept-erasure method that updates the text encoder using few-shot unlearning in which a few real images are used. The discussion regarding the generated images after erasing a concept has been lacking. While there are methods for specifying the transition destination for concepts, the validity of the specified concepts is unclear. Our method implicitly achieves this by transitioning to the latent concepts inherent in the model or the images. Our method can erase a concept within 10 s, making concept erasure more accessible than ever before. Implicitly transitioning to related concepts leads to more natural concept erasure. We applied the proposed method to various concepts and confirmed that concept erasure can be achieved tens to hundreds of times faster than with current methods. By varying the parameters to be updated, we obtained results suggesting that, like previous research, knowledge is primarily accumulated in the feed-forward networks of the text encoder. Our code is available at \url{https://github.com/fmp453/few-shot-erasing}
• Abstract（参考訳）: テキストから画像を生成することは、拡散モデルのスケーリングと視覚・言語分野の進歩により容易になっている。 これらのモデルは、インターネットから大量のデータを使って訓練されている。 したがって、著作権のある資料のような望ましくない内容もしばしば含んでいる。 このようなデータを取り除き、モデルを再訓練することは難しいため、事前訓練されたモデルから特定の概念を消去する方法が研究されている。 本稿では,テキストエンコーダを数発のアンラーニングで更新するコンセプト・エミッション手法を提案する。 概念の消去後の生成画像に関する議論は欠落している。 概念の移行先を特定する方法はあるが,その妥当性は明らかではない。 提案手法は,モデルや画像に固有の潜在概念に遷移することで,暗黙的にこれを実現する。 提案手法は10秒以内に概念を消去し,概念の消去をこれまで以上に容易に行えるようにする。 暗黙的に関連する概念に移行することは、より自然な概念の消去につながる。 提案手法を様々な概念に適用し, 提案手法の数十倍から数百倍の速度で実現可能であることを確認した。 更新すべきパラメータを変化させることで、従来の研究と同様に、知識が主にテキストエンコーダのフィードフォワードネットワークに蓄積されていることを示唆する結果を得た。 私たちのコードは \url{https://github.com/fmp453/few-shot-erasing} で利用可能です。

関連論文リスト

• Scaling Concept With Text-Guided Diffusion Models [53.80799139331966]
  概念を置き換える代わりに、概念自体を強化するか、あるいは抑圧できるだろうか? ScalingConceptは、分解された概念を、新しい要素を導入することなく、実際の入力でスケールアップまたはスケールダウンする、シンプルで効果的な方法である。 さらに重要なのは、ScalingConceptは画像とオーディオドメインにまたがる様々な新しいゼロショットアプリケーションを可能にすることだ。
  論文  参考訳（メタデータ） (2024-10-31T17:09:55Z)
• Receler: Reliable Concept Erasing of Text-to-Image Diffusion Models via Lightweight Erasers [24.64639078273091]
  テキストから画像への拡散モデルにおける概念消去は、対象概念に関連する画像の生成から事前学習された拡散モデルを無効にすることを目的としている。 軽量エローザ(レセラー)による信頼性概念消去の提案
  論文  参考訳（メタデータ） (2023-11-29T15:19:49Z)
• Multi-Concept T2I-Zero: Tweaking Only The Text Embeddings and Nothing Else [75.6806649860538]
  我々は,事前学習した拡散モデルを用いた自然多概念生成という,より野心的な目標を考える。 マルチコンセプト生成性能を著しく低下させる概念支配と非局所的貢献を観察する。 我々は、より現実的なマルチコンセプトのテキスト・ツー・イメージ生成のために、テキストの埋め込みを微調整することで、上記の問題を克服する最小の低コストのソリューションを設計する。
  論文  参考訳（メタデータ） (2023-10-11T12:05:44Z)
• Implicit Concept Removal of Diffusion Models [92.55152501707995]
  テキスト・ツー・イメージ(T2I)拡散モデルはしばしば、透かしや安全でない画像のような望ましくない概念を不注意に生成する。 幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
  論文  参考訳（メタデータ） (2023-10-09T17:13:10Z)
• Create Your World: Lifelong Text-to-Image Diffusion [75.14353789007902]
  本稿では,過去の概念の「破滅的忘れ」を克服するために,ライフロングテキスト・画像拡散モデル(L2DM)を提案する。 我々のL2DMフレームワークは,知識の「破滅的忘れ」に関して,タスク対応メモリ拡張モジュールと弾性概念蒸留モジュールを考案している。 我々のモデルは、質的および定量的な指標の両方の観点から、連続的なテキストプロンプトの範囲にわたって、より忠実な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-09-08T16:45:56Z)
• Circumventing Concept Erasure Methods For Text-to-Image Generative Models [26.804057000265434]
  テキストから画像への生成モデルは、非常に幅広い概念のフォトリアリスティック画像を生成することができる。 これらのモデルには、性的に明示的なコンテンツを特徴とする画像を生成する可能性など、多くの欠点がある。 テキスト・ツー・イメージ・モデルからセンシティブな概念を「取り除く」ための様々な手法が提案されている。
  論文  参考訳（メタデータ） (2023-08-03T02:34:01Z)
• Towards Safe Self-Distillation of Internet-Scale Text-to-Image Diffusion Models [63.20512617502273]
  テキストから画像への拡散モデルにおいて,問題のあるコンテンツ生成を防止するため,SDDと呼ばれる手法を提案する。 本手法は,画像の全体的な品質を劣化させることなく,生成した画像から有害なコンテンツをはるかに多く除去する。
  論文  参考訳（メタデータ） (2023-07-12T07:48:29Z)
• Ablating Concepts in Text-to-Image Diffusion Models [57.9371041022838]
  大規模テキスト・画像拡散モデルでは、強力な構成能力を持つ高忠実度画像を生成することができる。 これらのモデルは典型的には膨大な量のインターネットデータに基づいて訓練されており、しばしば著作権のある資料、ライセンスされた画像、個人写真を含んでいる。 本稿では,事前訓練されたモデルにおいて,目標概念の生成を防止し,効率的に概念を宣言する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T17:59:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。