論文の概要: Degeneration-Tuning: Using Scrambled Grid shield Unwanted Concepts from
Stable Diffusion
- arxiv url: http://arxiv.org/abs/2308.02552v2
- Date: Tue, 8 Aug 2023 01:30:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-09 16:06:51.358938
- Title: Degeneration-Tuning: Using Scrambled Grid shield Unwanted Concepts from
Stable Diffusion
- Title(参考訳): デジェネレーションチューニング:安定拡散から不要な概念をスクランブルグリッドシールドを用いて
- Authors: Zixuan Ni, Longhui Wei, Jiacheng Li, Siliang Tang, Yueting Zhuang, Qi
Tian
- Abstract要約: SD重みから不要な概念の内容を保護するために,textbf Degeneration-Tuning (DT) という新しい手法を提案する。
この適応はモデルの重みのレベルで発生するため、DT後のSDは、CrutNetのような他の条件付き拡散フレームワークに移植して不要な概念を保護することができる。
- 参考スコア(独自算出の注目度): 106.42918868850249
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Owing to the unrestricted nature of the content in the training data, large
text-to-image diffusion models, such as Stable Diffusion (SD), are capable of
generating images with potentially copyrighted or dangerous content based on
corresponding textual concepts information. This includes specific intellectual
property (IP), human faces, and various artistic styles. However, Negative
Prompt, a widely used method for content removal, frequently fails to conceal
this content due to inherent limitations in its inference logic. In this work,
we propose a novel strategy named \textbf{Degeneration-Tuning (DT)} to shield
contents of unwanted concepts from SD weights. By utilizing Scrambled Grid to
reconstruct the correlation between undesired concepts and their corresponding
image domain, we guide SD to generate meaningless content when such textual
concepts are provided as input. As this adaptation occurs at the level of the
model's weights, the SD, after DT, can be grafted onto other conditional
diffusion frameworks like ControlNet to shield unwanted concepts. In addition
to qualitatively showcasing the effectiveness of our DT method in protecting
various types of concepts, a quantitative comparison of the SD before and after
DT indicates that the DT method does not significantly impact the generative
quality of other contents. The FID and IS scores of the model on COCO-30K
exhibit only minor changes after DT, shifting from 12.61 and 39.20 to 13.04 and
38.25, respectively, which clearly outperforms the previous methods.
- Abstract(参考訳): トレーニングデータにおけるコンテンツの制約のない性質のため、SD(Stable Diffusion)のような大きなテキスト間拡散モデルは、対応するテキスト概念情報に基づいて、潜在的に著作権付きまたは危険なコンテンツを生成できる。
これには、特定の知的財産権(IP)、人間の顔、様々な芸術様式が含まれる。
しかし、広く使われるコンテンツ削除の方法である負のプロンプトは、推論ロジックに固有の制限があるため、しばしばこのコンテンツを隠すことに失敗する。
本研究では,不必要な概念の内容をsd重みから保護するための新しい戦略である \textbf{degeneration-tuning (dt) を提案する。
Scrambled Gridを利用して、望ましくない概念とそれに対応する画像領域の相関関係を再構築することにより、そのようなテキスト概念が入力として提供されるとき、SDを無意味なコンテンツを生成するように誘導する。
この適応はモデルの重みのレベルで発生するため、DTの後、SDはCrutNetのような他の条件付き拡散フレームワークに移植して不要な概念を保護することができる。
各種概念の保護におけるDT法の有効性を定性的に示すことに加えて,DT前後のSDの定量的比較は,DT法が他のコンテンツの生成品質に悪影響を及ぼさないことを示している。
COCO-30KのFIDとISスコアはDT後、それぞれ12.61と39.20から13.04と38.25に微妙な変化しか示していない。
関連論文リスト
- CosalPure: Learning Concept from Group Images for Robust Co-Saliency Detection [22.82243087156918]
Co-Salient Object Detection (CoSOD) は、特定の画像群をまたいだ共通領域(通常は前景)を特定することを目的としている。
逆行性摂動は、いくつかの逆行性摂動の影響を受けやすいため、かなりの精度の低下につながる。
本稿では,入力群画像に基づいて,共分散オブジェクトの概念を学習し,新しいロバストネス向上フレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-27T13:33:14Z) - Contrastive Denoising Score for Text-guided Latent Diffusion Image Editing [58.48890547818074]
潜在拡散モデル(LDM)に対するコントラストデノナイジングスコア(CUT)の強力な修正を提案する。
提案手法により,ゼロショット画像から画像への変換とニューラルフィールド(NeRF)の編集が可能となり,入力と出力の間の構造的対応が達成される。
論文 参考訳(メタデータ) (2023-11-30T15:06:10Z) - Noise-Free Score Distillation [78.79226724549456]
ノイズフリースコア蒸留(NFSD)プロセスは、オリジナルのSDSフレームワークに最小限の変更を必要とする。
我々は,CFG尺度を用いて,事前学習したテキスト・画像拡散モデルのより効果的な蒸留を行う。
論文 参考訳(メタデータ) (2023-10-26T17:12:26Z) - Implicit Concept Removal of Diffusion Models [96.03200681493348]
テキスト・ツー・イメージ(T2I)拡散モデルは、透かしや安全でない画像などの不要な概念を不注意に生成する。
幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
論文 参考訳(メタデータ) (2023-10-09T17:13:10Z) - Towards Safe Self-Distillation of Internet-Scale Text-to-Image Diffusion
Models [63.20512617502273]
テキストから画像への拡散モデルにおいて,問題のあるコンテンツ生成を防止するため,SDDと呼ばれる手法を提案する。
本手法は,画像の全体的な品質を劣化させることなく,生成した画像から有害なコンテンツをはるかに多く除去する。
論文 参考訳(メタデータ) (2023-07-12T07:48:29Z) - Diffusion-Based Adversarial Sample Generation for Improved Stealthiness
and Controllability [62.105715985563656]
そこで本研究では,現実的な対向サンプルを生成するための拡散型射影勾配 Descent (Diff-PGD) という新しいフレームワークを提案する。
我々のフレームワークは、デジタルアタック、物理世界アタック、スタイルベースのアタックなど、特定のタスクに簡単にカスタマイズできる。
論文 参考訳(メタデータ) (2023-05-25T21:51:23Z) - Zero-Shot Contrastive Loss for Text-Guided Diffusion Image Style
Transfer [38.957512116073616]
我々は、追加の微調整や補助的なネットワークを必要としない拡散モデルに対して、ゼロショットのコントラスト損失を提案する。
本手法は,ゼロショット方式で,ソース画像と同一のセマンティックな内容の画像を生成できる。
論文 参考訳(メタデータ) (2023-03-15T13:47:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。