論文の概要: Implicit Concept Removal of Diffusion Models
- arxiv url: http://arxiv.org/abs/2310.05873v4
- Date: Wed, 31 Jan 2024 02:31:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 19:00:03.408011
- Title: Implicit Concept Removal of Diffusion Models
- Title(参考訳): 拡散モデルの暗黙的概念除去
- Authors: Zhili Liu, Kai Chen, Yifan Zhang, Jianhua Han, Lanqing Hong, Hang Xu,
Zhenguo Li, Dit-Yan Yeung, James Kwok
- Abstract要約: テキスト・ツー・イメージ(T2I)拡散モデルは、透かしや安全でない画像などの不要な概念を不注意に生成する。
幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
- 参考スコア(独自算出の注目度): 96.03200681493348
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-to-image (T2I) diffusion models often inadvertently generate unwanted
concepts such as watermarks and unsafe images. These concepts, termed as the
"implicit concepts", could be unintentionally learned during training and then
be generated uncontrollably during inference. Existing removal methods still
struggle to eliminate implicit concepts primarily due to their dependency on
the model's ability to recognize concepts it actually can not discern. To
address this, we utilize the intrinsic geometric characteristics of implicit
concepts and present the Geom-Erasing, a novel concept removal method based on
geometric-driven control. Specifically, once an unwanted implicit concept is
identified, we integrate the existence and geometric information of the concept
into text prompts with the help of an accessible classifier or detector model.
Subsequently, the model is optimized to identify and disentangle this
information, which is adopted as negative prompts for generation. Moreover, we
introduce Implicit Concept Dataset (ICD), a novel image-text dataset imbued
with three typical implicit concepts (i.e., QR codes, watermarks, and text),
reflecting real-life situations where implicit concepts are easily injected.
Geom-Erasing effectively mitigates the generation of implicit concepts,
achieving state-of-the-art results on the Inappropriate Image Prompts (I2P) and
our challenging Implicit Concept Dataset (ICD) benchmarks.
- Abstract(参考訳): テキスト・ツー・イメージ(T2I)拡散モデルはしばしば、透かしや安全でない画像のような望ましくない概念を生成する。
これらの概念は「単純概念」と呼ばれ、訓練中に意図せず学習され、推論中に制御不能に生成される。
既存の削除メソッドは、主にモデルが実際に認識できない概念を認識する能力に依存しているため、暗黙的な概念を排除するのに苦労している。
そこで我々は,暗黙的概念の内在的幾何学的特徴を活用し,幾何学的制御に基づく新しい概念除去手法Geom-Erasingを提案する。
具体的には、不要な暗黙的な概念が特定されると、概念の存在と幾何学的情報をテキストプロンプトに統合し、アクセス可能な分類器や検出器モデルの助けを借ります。
その後、モデルは、生成のための負のプロンプトとして採用される、この情報を識別し、切り離すように最適化される。
さらに、暗黙的概念が容易に注入される現実の状況を反映した3つの典型的な暗黙的概念(QRコード、透かし、テキスト)を組み込んだ新しい画像テキストデータセットであるImplicit Concept Dataset(ICD)を導入する。
Geom-Erasingは暗黙的な概念の生成を効果的に軽減し、不適切なイメージプロンプト(I2P)と我々の挑戦的なImplicit Concept Dataset(ICD)ベンチマークで最先端の結果を達成する。
関連論文リスト
- Separable Multi-Concept Erasure from Diffusion Models [52.51972530398691]
大規模拡散モデルから安全でない概念を排除するために,分離可能なマルチコンセプト消去器(SepME)を提案する。
後者は最適化可能なモデルウェイトを分離し、各ウェイトインクリメントは特定の概念の消去に対応する。
広範囲にわたる実験は, 概念の排除, モデル性能の保存, 各種概念の消去・回復における柔軟性の確保に, アプローチの有効性を示すものである。
論文 参考訳(メタデータ) (2024-02-03T11:10:57Z) - Receler: Reliable Concept Erasing of Text-to-Image Diffusion Models via Lightweight Erasers [24.64639078273091]
テキストから画像への拡散モデルにおける概念消去は、対象概念に関連する画像の生成から事前学習された拡散モデルを無効にすることを目的としている。
軽量エローザ(レセラー)による信頼性概念消去の提案
論文 参考訳(メタデータ) (2023-11-29T15:19:49Z) - Text-to-Image Generation for Abstract Concepts [76.32278151607763]
抽象概念のためのテキスト・画像生成フレームワーク(TIAC)を提案する。
抽象概念は曖昧さを避けるための詳細な定義で明確な意図に明確化されている。
LLM抽出フォームパターンセットから概念依存型フォームを検索する。
論文 参考訳(メタデータ) (2023-09-26T02:22:39Z) - Create Your World: Lifelong Text-to-Image Diffusion [75.14353789007902]
本稿では,過去の概念の「破滅的忘れ」を克服するために,ライフロングテキスト・画像拡散モデル(L2DM)を提案する。
我々のL2DMフレームワークは,知識の「破滅的忘れ」に関して,タスク対応メモリ拡張モジュールと弾性概念蒸留モジュールを考案している。
我々のモデルは、質的および定量的な指標の両方の観点から、連続的なテキストプロンプトの範囲にわたって、より忠実な画像を生成することができる。
論文 参考訳(メタデータ) (2023-09-08T16:45:56Z) - Circumventing Concept Erasure Methods For Text-to-Image Generative
Models [26.804057000265434]
テキストから画像への生成モデルは、非常に幅広い概念のフォトリアリスティック画像を生成することができる。
これらのモデルには、性的に明示的なコンテンツを特徴とする画像を生成する可能性など、多くの欠点がある。
テキスト・ツー・イメージ・モデルからセンシティブな概念を「取り除く」ための様々な手法が提案されている。
論文 参考訳(メタデータ) (2023-08-03T02:34:01Z) - Hierarchical Semantic Tree Concept Whitening for Interpretable Image
Classification [19.306487616731765]
ポストホック分析は、モデルに自然に存在するパターンやルールのみを発見することができる。
我々は、隠された層における人間の理解可能な概念の表現を変えるために、積極的に知識を注入する。
本手法は,モデル分類性能に悪影響を及ぼすことなく,セマンティックな概念の絡み合いを良くし,モデルの解釈可能性を向上させる。
論文 参考訳(メタデータ) (2023-07-10T04:54:05Z) - Ablating Concepts in Text-to-Image Diffusion Models [57.9371041022838]
大規模テキスト・画像拡散モデルでは、強力な構成能力を持つ高忠実度画像を生成することができる。
これらのモデルは典型的には膨大な量のインターネットデータに基づいて訓練されており、しばしば著作権のある資料、ライセンスされた画像、個人写真を含んでいる。
本稿では,事前訓練されたモデルにおいて,目標概念の生成を防止し,効率的に概念を宣言する手法を提案する。
論文 参考訳(メタデータ) (2023-03-23T17:59:42Z) - Kernelized Concept Erasure [108.65038124096907]
概念消去のための線形ミニマックスゲームのカーネル化を提案する。
特定の非線形敵が概念を予測するのを防ぐことができる。
しかし、保護は異なる非線形敵に移動しない。
論文 参考訳(メタデータ) (2022-01-28T15:45:13Z) - A Context-based Disambiguation Model for Sentiment Concepts Using a
Bag-of-concepts Approach [0.0]
本研究では,コモンセンス知識を用いてあいまいな極性概念を解くための文脈モデルを提案する。
提案モデルは,Semevalと呼ばれる製品レビューコーパスを適用して評価する。
実験の結果,提案モデルの有効性を示す精度は82.07%であった。
論文 参考訳(メタデータ) (2020-08-07T07:16:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。