論文の概要: Degeneration-Tuning: Using Scrambled Grid shield Unwanted Concepts from Stable Diffusion

• arxiv url: http://arxiv.org/abs/2308.02552v2
• Date: Tue, 8 Aug 2023 01:30:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-09 16:06:51.358938
• Title: Degeneration-Tuning: Using Scrambled Grid shield Unwanted Concepts from Stable Diffusion
• Title（参考訳）: デジェネレーションチューニング:安定拡散から不要な概念をスクランブルグリッドシールドを用いて
• Authors: Zixuan Ni, Longhui Wei, Jiacheng Li, Siliang Tang, Yueting Zhuang, Qi Tian
• Abstract要約: SD重みから不要な概念の内容を保護するために,textbf Degeneration-Tuning (DT) という新しい手法を提案する。 この適応はモデルの重みのレベルで発生するため、DT後のSDは、CrutNetのような他の条件付き拡散フレームワークに移植して不要な概念を保護することができる。
• 参考スコア（独自算出の注目度）: 106.42918868850249
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Owing to the unrestricted nature of the content in the training data, large text-to-image diffusion models, such as Stable Diffusion (SD), are capable of generating images with potentially copyrighted or dangerous content based on corresponding textual concepts information. This includes specific intellectual property (IP), human faces, and various artistic styles. However, Negative Prompt, a widely used method for content removal, frequently fails to conceal this content due to inherent limitations in its inference logic. In this work, we propose a novel strategy named \textbf{Degeneration-Tuning (DT)} to shield contents of unwanted concepts from SD weights. By utilizing Scrambled Grid to reconstruct the correlation between undesired concepts and their corresponding image domain, we guide SD to generate meaningless content when such textual concepts are provided as input. As this adaptation occurs at the level of the model's weights, the SD, after DT, can be grafted onto other conditional diffusion frameworks like ControlNet to shield unwanted concepts. In addition to qualitatively showcasing the effectiveness of our DT method in protecting various types of concepts, a quantitative comparison of the SD before and after DT indicates that the DT method does not significantly impact the generative quality of other contents. The FID and IS scores of the model on COCO-30K exhibit only minor changes after DT, shifting from 12.61 and 39.20 to 13.04 and 38.25, respectively, which clearly outperforms the previous methods.
• Abstract（参考訳）: トレーニングデータにおけるコンテンツの制約のない性質のため、SD(Stable Diffusion)のような大きなテキスト間拡散モデルは、対応するテキスト概念情報に基づいて、潜在的に著作権付きまたは危険なコンテンツを生成できる。 これには、特定の知的財産権(IP)、人間の顔、様々な芸術様式が含まれる。 しかし、広く使われるコンテンツ削除の方法である負のプロンプトは、推論ロジックに固有の制限があるため、しばしばこのコンテンツを隠すことに失敗する。 本研究では,不必要な概念の内容をsd重みから保護するための新しい戦略である \textbf{degeneration-tuning (dt) を提案する。 Scrambled Gridを利用して、望ましくない概念とそれに対応する画像領域の相関関係を再構築することにより、そのようなテキスト概念が入力として提供されるとき、SDを無意味なコンテンツを生成するように誘導する。 この適応はモデルの重みのレベルで発生するため、DTの後、SDはCrutNetのような他の条件付き拡散フレームワークに移植して不要な概念を保護することができる。 各種概念の保護におけるDT法の有効性を定性的に示すことに加えて,DT前後のSDの定量的比較は,DT法が他のコンテンツの生成品質に悪影響を及ぼさないことを示している。 COCO-30KのFIDとISスコアはDT後、それぞれ12.61と39.20から13.04と38.25に微妙な変化しか示していない。

関連論文リスト

• Erasing Undesirable Concepts in Diffusion Models with Adversarial Preservation [22.3077678575067]
  拡散モデルは、テキストから視覚的に印象的なコンテンツを生成するのに優れています。 本稿では,パラメータ変化によって最も影響を受ける概念を同定し,保存することを提案する。 安定拡散モデルを用いて本手法の有効性を実証し, 不要なコンテンツの除去において, 最先端の消去方法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-21T03:40:29Z)
• EIUP: A Training-Free Approach to Erase Non-Compliant Concepts Conditioned on Implicit Unsafe Prompts [32.590822043053734]
  非有毒なテキストは、暗黙の安全でないプロンプトと呼ばれる非準拠のイメージを生成するリスクを伴っている。 我々は、非準拠の概念を消去プロンプトに組み込む、単純で効果的なアプローチを提案する。 本手法は,画像の忠実度を高いスコアで評価しながら,優れた消去効果を示す。
  論文  参考訳（メタデータ） (2024-08-02T05:17:14Z)
• Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models [76.39651111467832]
  本稿では,Reliable and Efficient Concept Erasure (RECE)を提案する。 派生した埋め込みによって表現される不適切なコンテンツを緩和するために、RECEはそれらをクロスアテンション層における無害な概念と整合させる。 新たな表現埋め込みの導出と消去を反復的に行い、不適切な概念の徹底的な消去を実現する。
  論文  参考訳（メタデータ） (2024-07-17T08:04:28Z)
• Six-CD: Benchmarking Concept Removals for Benign Text-to-image Diffusion Models [58.74606272936636]
  テキスト・ツー・イメージ(T2I)拡散モデルは、テキスト・プロンプトと密接に対応した画像を生成する際、例外的な機能を示す。 モデルは、暴力やヌードの画像を生成したり、不適切な文脈で公共の人物の無許可の肖像画を作成するなど、悪意ある目的のために利用することができる。 悪質な概念や望ましくない概念の発生を防ぐために拡散モデルを変更する概念除去法が提案されている。
  論文  参考訳（メタデータ） (2024-06-21T03:58:44Z)
• CosalPure: Learning Concept from Group Images for Robust Co-Saliency Detection [22.82243087156918]
  Co-Salient Object Detection (CoSOD) は、特定の画像群をまたいだ共通領域(通常は前景)を特定することを目的としている。 逆行性摂動は、いくつかの逆行性摂動の影響を受けやすいため、かなりの精度の低下につながる。 本稿では,入力群画像に基づいて,共分散オブジェクトの概念を学習し,新しいロバストネス向上フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T13:33:14Z)
• Contrastive Denoising Score for Text-guided Latent Diffusion Image Editing [58.48890547818074]
  潜在拡散モデル(LDM)に対するコントラストデノナイジングスコア(CUT)の強力な修正を提案する。 提案手法により,ゼロショット画像から画像への変換とニューラルフィールド(NeRF)の編集が可能となり,入力と出力の間の構造的対応が達成される。
  論文  参考訳（メタデータ） (2023-11-30T15:06:10Z)
• Noise-Free Score Distillation [78.79226724549456]
  ノイズフリースコア蒸留(NFSD)プロセスは、オリジナルのSDSフレームワークに最小限の変更を必要とする。 我々は,CFG尺度を用いて,事前学習したテキスト・画像拡散モデルのより効果的な蒸留を行う。
  論文  参考訳（メタデータ） (2023-10-26T17:12:26Z)
• Towards Safe Self-Distillation of Internet-Scale Text-to-Image Diffusion Models [63.20512617502273]
  テキストから画像への拡散モデルにおいて,問題のあるコンテンツ生成を防止するため,SDDと呼ばれる手法を提案する。 本手法は,画像の全体的な品質を劣化させることなく,生成した画像から有害なコンテンツをはるかに多く除去する。
  論文  参考訳（メタデータ） (2023-07-12T07:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。