論文の概要: All but One: Surgical Concept Erasing with Model Preservation in Text-to-Image Diffusion Models

• arxiv url: http://arxiv.org/abs/2312.12807v1
• Date: Wed, 20 Dec 2023 07:04:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 16:41:22.693563
• Title: All but One: Surgical Concept Erasing with Model Preservation in Text-to-Image Diffusion Models
• Title（参考訳）: テキスト・画像拡散モデルにおけるモデル保存による外科的概念消去
• Authors: Seunghoo Hong, Juhun Lee, Simon S. Woo
• Abstract要約: 大規模なデータセットには、性的に明示的な、著作権のある、または望ましくないコンテンツが含まれており、モデルがそれらを直接生成することができる。 拡散モデルにおける概念消去に取り組むために、ファインチューニングアルゴリズムが開発された。 これらの課題をすべて解決する新しいアプローチを提示します。
• 参考スコア（独自算出の注目度）: 22.60023885544265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-Image models such as Stable Diffusion have shown impressive image generation synthesis, thanks to the utilization of large-scale datasets. However, these datasets may contain sexually explicit, copyrighted, or undesirable content, which allows the model to directly generate them. Given that retraining these large models on individual concept deletion requests is infeasible, fine-tuning algorithms have been developed to tackle concept erasing in diffusion models. While these algorithms yield good concept erasure, they all present one of the following issues: 1) the corrupted feature space yields synthesis of disintegrated objects, 2) the initially synthesized content undergoes a divergence in both spatial structure and semantics in the generated images, and 3) sub-optimal training updates heighten the model's susceptibility to utility harm. These issues severely degrade the original utility of generative models. In this work, we present a new approach that solves all of these challenges. We take inspiration from the concept of classifier guidance and propose a surgical update on the classifier guidance term while constraining the drift of the unconditional score term. Furthermore, our algorithm empowers the user to select an alternative to the erasing concept, allowing for more controllability. Our experimental results show that our algorithm not only erases the target concept effectively but also preserves the model's generation capability.
• Abstract（参考訳）: 安定拡散のようなテキスト間画像モデルは、大規模データセットの利用により、印象的な画像生成合成を示している。 しかし、これらのデータセットには性的に明示的、著作権的、または望ましくないコンテンツが含まれており、モデルがそれらを直接生成することができる。 個々の概念削除要求に対するこれらの大きなモデルの再訓練は不可能であるため、拡散モデルにおける概念消去に取り組むための微調整アルゴリズムが開発されている。 これらのアルゴリズムは良質な概念消去をもたらすが、いずれも次のような問題を提示している。 1) 崩壊した特徴空間は分解対象の合成をもたらす。 2)最初に合成されたコンテンツは、生成した画像における空間構造と意味論の両方において発散し、 3) 準最適トレーニング更新により,モデルの実用被害に対する感受性が高まる。 これらの問題は、生成モデルの本来の有用性を著しく低下させる。 本研究では,これらの課題をすべて解決する新しいアプローチを提案する。 分類器指導の概念から着想を得て,無条件スコア項のドリフトを制約しながら分類器指導項の外科的更新を提案する。 さらに,本アルゴリズムにより,消去概念の代替案を選択することができ,制御性が向上する。 実験の結果,本アルゴリズムは対象概念を効果的に消去するだけでなく,モデル生成能力も保持できることがわかった。

関連論文リスト

• Model Integrity when Unlearning with T2I Diffusion Models [11.321968363411145]
  「忘れ分布からのサンプルを特徴とする特定種類の画像の生成を減らすために、近似機械学習アルゴリズムを提案する。」 次に、既存のベースラインと比較してモデルの整合性を保つ上で優れた効果を示す未学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-04T13:15:28Z)
• Unstable Unlearning: The Hidden Risk of Concept Resurgence in Diffusion Models [13.479224197351673]
  一見無関係な画像にテキストから画像への拡散モデルを微調整することで、以前は「未学習」だった概念を「再学習」することができることを示す。 この結果から,インクリメンタルなモデル更新の脆弱さが浮き彫りになった。
  論文  参考訳（メタデータ） (2024-10-10T16:10:27Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models [76.39651111467832]
  本稿では,Reliable and Efficient Concept Erasure (RECE)を提案する。 派生した埋め込みによって表現される不適切なコンテンツを緩和するために、RECEはそれらをクロスアテンション層における無害な概念と整合させる。 新たな表現埋め込みの導出と消去を反復的に行い、不適切な概念の徹底的な消去を実現する。
  論文  参考訳（メタデータ） (2024-07-17T08:04:28Z)
• Unlearning Concepts in Diffusion Model via Concept Domain Correction and Concept Preserving Gradient [20.091446060893638]
  本稿では,拡散モデルにおける非学習概念のための概念領域補正フレームワークを提案する。 直感的概念とアンカー的概念の出力領域を敵対的訓練によって整合させることにより、未学習結果の一般化性を高める。
  論文  参考訳（メタデータ） (2024-05-24T07:47:36Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• Towards Safe Self-Distillation of Internet-Scale Text-to-Image Diffusion Models [63.20512617502273]
  テキストから画像への拡散モデルにおいて,問題のあるコンテンツ生成を防止するため,SDDと呼ばれる手法を提案する。 本手法は,画像の全体的な品質を劣化させることなく,生成した画像から有害なコンテンツをはるかに多く除去する。
  論文  参考訳（メタデータ） (2023-07-12T07:48:29Z)
• Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
  本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。 時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
  論文  参考訳（メタデータ） (2023-05-11T17:55:25Z)
• Image Generation with Multimodal Priors using Denoising Diffusion Probabilistic Models [54.1843419649895]
  このタスクを達成するために生成モデルを使用する際の大きな課題は、すべてのモダリティと対応する出力を含むペアデータの欠如である。 本稿では,拡散確率的合成モデルに基づく多モデル先行画像生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-10T12:23:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。