論文の概要: Self-Discovering Interpretable Diffusion Latent Directions for Responsible Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2311.17216v1
• Date: Tue, 28 Nov 2023 20:40:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 23:30:13.763319
• Title: Self-Discovering Interpretable Diffusion Latent Directions for Responsible Text-to-Image Generation
• Title（参考訳）: 責任のあるテキスト対画像生成のための自己発見型拡散潜在方向
• Authors: Hang Li, Chengzhi Shen, Philip Torr, Volker Tresp, Jindong Gu
• Abstract要約: 拡散モデルによるリスクは、バイアスや有害な画像などの不適切なコンテンツの潜在的な生成である。 これまでの研究は、拡散モデルの解釈可能な潜在空間におけるベクトルを意味論的概念として解釈する。 本稿では,ある概念に対する解釈可能な潜在方向を見つけるための,新たな自己教師型アプローチを提案する。
• 参考スコア（独自算出の注目度）: 39.6271021612604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion-based models have gained significant popularity for text-to-image generation due to their exceptional image-generation capabilities. A risk with these models is the potential generation of inappropriate content, such as biased or harmful images. However, the underlying reasons for generating such undesired content from the perspective of the diffusion model's internal representation remain unclear. Previous work interprets vectors in an interpretable latent space of diffusion models as semantic concepts. However, existing approaches cannot discover directions for arbitrary concepts, such as those related to inappropriate concepts. In this work, we propose a novel self-supervised approach to find interpretable latent directions for a given concept. With the discovered vectors, we further propose a simple approach to mitigate inappropriate generation. Extensive experiments have been conducted to verify the effectiveness of our mitigation approach, namely, for fair generation, safe generation, and responsible text-enhancing generation.
• Abstract（参考訳）: 拡散に基づくモデルは、例外的な画像生成能力のため、テキスト・画像生成において大きな人気を集めている。 これらのモデルによるリスクは、バイアスや有害な画像などの不適切なコンテンツの潜在的な生成である。 しかし、拡散モデルの内部表現の観点から、そのような望ましくないコンテンツを生成する根本的な理由は不明である。 以前の研究では、拡散モデルの解釈可能な潜在空間内のベクトルを意味概念として解釈している。 しかし、既存のアプローチでは、不適切な概念に関連するような任意の概念の方向を見つけることはできない。 本研究では,ある概念に対する解釈可能な潜在方向を見つけるための,新たな自己教師型アプローチを提案する。 さらに, 検出ベクトルを用いて, 不適切な生成を緩和するための簡易な手法を提案する。 公平な生成,安全な生成,責任のあるテキストエンハンシング生成といった緩和手法の有効性を検証するために,広範な実験が行われてきた。

関連論文リスト

• On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [49.60774626839712]
  マルチモーダル生成モデルは 彼らの公正さ、信頼性、そして誤用の可能性について 批判的な議論を呼んだ 組込み空間における摂動に対する応答を通じてモデルの信頼性を評価するための評価フレームワークを提案する。 本手法は, 信頼できない, バイアス注入されたモデルを検出し, バイアス前駆体の検索を行うための基礎となる。
  論文  参考訳（メタデータ） (2024-11-21T09:46:55Z)
• Decoding Diffusion: A Scalable Framework for Unsupervised Analysis of Latent Space Biases and Representations Using Natural Language Prompts [68.48103545146127]
  本稿では拡散潜在空間の教師なし探索のための新しい枠組みを提案する。 我々は、自然言語のプロンプトと画像キャプションを直接利用して、遅延方向をマップする。 本手法は,拡散モデルに符号化された意味的知識をよりスケーラブルで解釈可能な理解を提供する。
  論文  参考訳（メタデータ） (2024-10-25T21:44:51Z)
• Unstable Unlearning: The Hidden Risk of Concept Resurgence in Diffusion Models [13.479224197351673]
  一見無関係な画像にテキストから画像への拡散モデルを微調整することで、以前は「未学習」だった概念を「再学習」することができることを示す。 この結果から,インクリメンタルなモデル更新の脆弱さが浮き彫りになった。
  論文  参考訳（メタデータ） (2024-10-10T16:10:27Z)
• Safeguard Text-to-Image Diffusion Models with Human Feedback Inversion [51.931083971448885]
  本稿では,Human Feedback Inversion (HFI) というフレームワークを提案する。 実験の結果,画像品質を維持しながら,好ましくないコンテンツ生成を著しく削減し,公的な領域におけるAIの倫理的展開に寄与することが示された。
  論文  参考訳（メタデータ） (2024-07-17T05:21:41Z)
• Six-CD: Benchmarking Concept Removals for Benign Text-to-image Diffusion Models [58.74606272936636]
  テキスト・ツー・イメージ(T2I)拡散モデルは、テキスト・プロンプトと密接に対応した画像を生成する際、例外的な機能を示す。 モデルは、暴力やヌードの画像を生成したり、不適切な文脈で公共の人物の無許可の肖像画を作成するなど、悪意ある目的のために利用することができる。 悪質な概念や望ましくない概念の発生を防ぐために拡散モデルを変更する概念除去法が提案されている。
  論文  参考訳（メタデータ） (2024-06-21T03:58:44Z)
• Concept Arithmetics for Circumventing Concept Inhibition in Diffusion Models [58.065255696601604]
  拡散モデルの合成特性を使い、単一の画像生成において複数のプロンプトを利用することができる。 本論では, 画像生成の可能なすべてのアプローチを, 相手が適用可能な拡散モデルで検討することが重要であると論じる。
  論文  参考訳（メタデータ） (2024-04-21T16:35:16Z)
• Semantic Guidance Tuning for Text-To-Image Diffusion Models [3.3881449308956726]
  本研究では,推論中の拡散モデルの誘導方向を変調する学習自由アプローチを提案する。 まず,素早い意味論を概念の集合に分解し,各概念に関するガイダンスの軌跡をモニタリングする。 そこで本研究では,モデルが発散する概念に対して,誘導方向を制御するための手法を考案した。
  論文  参考訳（メタデータ） (2023-12-26T09:02:17Z)
• Trade-offs in Fine-tuned Diffusion Models Between Accuracy and Interpretability [5.865936619867771]
  生成拡散モデルにおける従来の計測値とモデル解釈可能性による画像の忠実度との間に連続的なトレードオフが生じる。 我々は、真に解釈可能な生成モデルを開発するための設計原則のセットを提示する。
  論文  参考訳（メタデータ） (2023-03-31T09:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。