論文の概要: Towards Safe Self-Distillation of Internet-Scale Text-to-Image Diffusion
Models
- arxiv url: http://arxiv.org/abs/2307.05977v1
- Date: Wed, 12 Jul 2023 07:48:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-13 13:48:49.286460
- Title: Towards Safe Self-Distillation of Internet-Scale Text-to-Image Diffusion
Models
- Title(参考訳): インターネット規模テキスト・画像拡散モデルの安全な自己蒸留に向けて
- Authors: Sanghyun Kim, Seohyeon Jung, Balhae Kim, Moonseok Choi, Jinwoo Shin,
Juho Lee
- Abstract要約: テキストから画像への拡散モデルにおいて,問題のあるコンテンツ生成を防止するため,SDDと呼ばれる手法を提案する。
本手法は,画像の全体的な品質を劣化させることなく,生成した画像から有害なコンテンツをはるかに多く除去する。
- 参考スコア(独自算出の注目度): 63.20512617502273
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale image generation models, with impressive quality made possible by
the vast amount of data available on the Internet, raise social concerns that
these models may generate harmful or copyrighted content. The biases and
harmfulness arise throughout the entire training process and are hard to
completely remove, which have become significant hurdles to the safe deployment
of these models. In this paper, we propose a method called SDD to prevent
problematic content generation in text-to-image diffusion models. We
self-distill the diffusion model to guide the noise estimate conditioned on the
target removal concept to match the unconditional one. Compared to the previous
methods, our method eliminates a much greater proportion of harmful content
from the generated images without degrading the overall image quality.
Furthermore, our method allows the removal of multiple concepts at once,
whereas previous works are limited to removing a single concept at a time.
- Abstract(参考訳): 大規模な画像生成モデルは、インターネット上で利用可能な膨大な量のデータによって可能になった印象的な品質を持ち、これらのモデルが有害または著作権のあるコンテンツを生成できるという社会的懸念を提起する。
バイアスと有害性はトレーニングプロセス全体を通して発生し、完全に排除することは困難であり、これらのモデルの安全なデプロイには大きなハードルとなりました。
本稿では,テキスト・画像拡散モデルにおける問題コンテンツ生成を防止するためのSDDという手法を提案する。
拡散モデルを自己蒸留し, 目標除去概念に基づく騒音推定条件を非条件モデルと一致させるために導出する。
従来の手法に比べ, 画像全体の画質を低下させることなく, 生成画像から有害なコンテンツの比率を大幅に削減できる。
さらに,本手法では一度に複数の概念を除去できるが,従来の手法では一度に1つの概念を除去するしかなかった。
関連論文リスト
- All but One: Surgical Concept Erasing with Model Preservation in
Text-to-Image Diffusion Models [22.60023885544265]
大規模なデータセットには、性的に明示的な、著作権のある、または望ましくないコンテンツが含まれており、モデルがそれらを直接生成することができる。
拡散モデルにおける概念消去に取り組むために、ファインチューニングアルゴリズムが開発された。
これらの課題をすべて解決する新しいアプローチを提示します。
論文 参考訳(メタデータ) (2023-12-20T07:04:33Z) - Image Inpainting via Tractable Steering of Diffusion Models [54.13818673257381]
本稿では,トラクタブル確率モデル(TPM)の制約後部を正確に,かつ効率的に計算する能力を活用することを提案する。
具体的には、確率回路(PC)と呼ばれる表現型TPMのクラスを採用する。
提案手法は, 画像の全体的な品質とセマンティックコヒーレンスを, 計算オーバーヘッドを10%加えるだけで一貫的に改善できることを示す。
論文 参考訳(メタデータ) (2023-11-28T21:14:02Z) - CoDi: Conditional Diffusion Distillation for Higher-Fidelity and Faster
Image Generation [49.3016007471979]
大規模な生成拡散モデルは、テキスト・ツー・イメージ生成に革命をもたらし、条件付き生成タスクに大きな可能性を秘めている。
しかし、彼らの普及は高い計算コストによって妨げられ、リアルタイムの応用が制限される。
本稿では,事前学習した潜伏拡散モデルに付加的な画像条件入力を適応させるCoDiという新しい手法を提案する。
論文 参考訳(メタデータ) (2023-10-02T17:59:18Z) - Circumventing Concept Erasure Methods For Text-to-Image Generative
Models [26.804057000265434]
テキストから画像への生成モデルは、非常に幅広い概念のフォトリアリスティック画像を生成することができる。
これらのモデルには、性的に明示的なコンテンツを特徴とする画像を生成する可能性など、多くの欠点がある。
テキスト・ツー・イメージ・モデルからセンシティブな概念を「取り除く」ための様々な手法が提案されている。
論文 参考訳(メタデータ) (2023-08-03T02:34:01Z) - Degeneration-Tuning: Using Scrambled Grid shield Unwanted Concepts from
Stable Diffusion [106.42918868850249]
SD重みから不要な概念の内容を保護するために,textbf Degeneration-Tuning (DT) という新しい手法を提案する。
この適応はモデルの重みのレベルで発生するため、DT後のSDは、CrutNetのような他の条件付き拡散フレームワークに移植して不要な概念を保護することができる。
論文 参考訳(メタデータ) (2023-08-02T03:34:44Z) - WOUAF: Weight Modulation for User Attribution and Fingerprinting in
Text-to-Image Diffusion Models [34.64349387422059]
本稿では,生成画像に責任を負うモデルフィンガープリントの新たなアプローチを提案する。
提案手法は,ユーザ固有のデジタル指紋に基づいて生成モデルを修正し,ユーザへ遡ることができるコンテンツにユニークな識別子を印字する。
論文 参考訳(メタデータ) (2023-06-07T19:44:14Z) - Forget-Me-Not: Learning to Forget in Text-to-Image Diffusion Models [79.50701155336198]
textbfForget-Me-Notは、適切に設定されたテキスト・ツー・イメージモデルから、指定されたID、オブジェクト、スタイルを30秒で安全に削除するように設計されている。
我々は,Forget-Me-Notが,モデルの性能を他の概念に保ちながら,ターゲットとなる概念を効果的に排除できることを実証した。
また、Stable Diffusionの軽量モデルパッチとして適応することができ、コンセプト操作と便利な配布を可能にしている。
論文 参考訳(メタデータ) (2023-03-30T17:58:11Z) - Ablating Concepts in Text-to-Image Diffusion Models [57.9371041022838]
大規模テキスト・画像拡散モデルでは、強力な構成能力を持つ高忠実度画像を生成することができる。
これらのモデルは典型的には膨大な量のインターネットデータに基づいて訓練されており、しばしば著作権のある資料、ライセンスされた画像、個人写真を含んでいる。
本稿では,事前訓練されたモデルにおいて,目標概念の生成を防止し,効率的に概念を宣言する手法を提案する。
論文 参考訳(メタデータ) (2023-03-23T17:59:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。