論文の概要: Pruning for Robust Concept Erasing in Diffusion Models

• arxiv url: http://arxiv.org/abs/2405.16534v1
• Date: Sun, 26 May 2024 11:42:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 20:39:12.301330
• Title: Pruning for Robust Concept Erasing in Diffusion Models
• Title（参考訳）: 拡散モデルにおけるロバスト概念消去のためのプルーニング
• Authors: Tianyun Yang, Juan Cao, Chang Xu,
• Abstract要約: 概念消去のための新しいプルーニングベースの戦略を導入する。 本手法は, 除去対象概念に関連する重要なパラメータを選択的に抽出し, 概念関連ニューロンの感度を低下させる。 実験の結果, 逆入力に抵抗するモデルの能力は著しく向上した。
• 参考スコア（独自算出の注目度）: 27.67237515704348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the impressive capabilities of generating images, text-to-image diffusion models are susceptible to producing undesirable outputs such as NSFW content and copyrighted artworks. To address this issue, recent studies have focused on fine-tuning model parameters to erase problematic concepts. However, existing methods exhibit a major flaw in robustness, as fine-tuned models often reproduce the undesirable outputs when faced with cleverly crafted prompts. This reveals a fundamental limitation in the current approaches and may raise risks for the deployment of diffusion models in the open world. To address this gap, we locate the concept-correlated neurons and find that these neurons show high sensitivity to adversarial prompts, thus could be deactivated when erasing and reactivated again under attacks. To improve the robustness, we introduce a new pruning-based strategy for concept erasing. Our method selectively prunes critical parameters associated with the concepts targeted for removal, thereby reducing the sensitivity of concept-related neurons. Our method can be easily integrated with existing concept-erasing techniques, offering a robust improvement against adversarial inputs. Experimental results show a significant enhancement in our model's ability to resist adversarial inputs, achieving nearly a 40% improvement in erasing the NSFW content and a 30% improvement in erasing artwork style.
• Abstract（参考訳）: 画像を生成するという印象的な能力にもかかわらず、テキストから画像への拡散モデルは、NSFWコンテンツや著作権付きアートワークのような望ましくないアウトプットを生成できる。 この問題に対処するために、最近の研究では、問題のある概念を消すための微調整モデルパラメータに焦点を当てている。 しかし、既存の手法は、巧妙に製作されたプロンプトに直面すると望ましくない出力をしばしば再現するため、ロバスト性に大きな欠陥を示す。 これは、現在のアプローチの根本的な制限を明らかにし、オープンな世界における拡散モデルの展開のリスクを高める可能性がある。 このギャップに対処するために、概念関連ニューロンを見つけ、これらのニューロンは敵のプロンプトに対して高い感度を示すので、攻撃下で再び消去と再活性化を行う際には、非活性化される可能性がある。 堅牢性を向上させるため,我々は概念消去のための新しいプルーニングベースの戦略を導入する。 本手法は, 除去対象概念に関連する重要なパラメータを選択的に抽出し, 概念関連ニューロンの感度を低下させる。 提案手法は,既存の概念評価手法と容易に統合でき,対向入力に対する堅牢な改善を提供する。 実験結果から,NSFW内容の消去は40%,アートスタイルの消去は30%に向上した。

関連論文リスト

• DuMo: Dual Encoder Modulation Network for Precise Concept Erasure [75.05165577219425]
  非ターゲット概念に対する最小限の障害を伴う不適切なターゲット概念の正確な消去を実現するDuMo(Dual Encoder Modulation Network)を提案する。 提案手法は, 明示的コンテンツ消去, カートゥーン概念除去, アーティスティックスタイル消去における最先端性能を実現し, 代替手法よりも明らかに優れている。
  論文  参考訳（メタデータ） (2025-01-02T07:47:34Z)
• AdvAnchor: Enhancing Diffusion Model Unlearning with Adversarial Anchors [61.007590285263376]
  セキュリティ上の懸念から、研究者たちは微調整によって不適切な概念を学ばざるを得なくなった。 最近の微調整手法は、望ましくない概念を排除し、他の概念を保存することの間のかなりの性能のトレードオフを示す。 本稿では,貿易問題を軽減するために,敵対的アンカーを生成する新しいアプローチであるAdvAnchorを提案する。
  論文  参考訳（メタデータ） (2024-12-28T04:44:07Z)
• Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models [76.39651111467832]
  本稿では,Reliable and Efficient Concept Erasure (RECE)を提案する。 派生した埋め込みによって表現される不適切なコンテンツを緩和するために、RECEはそれらをクロスアテンション層における無害な概念と整合させる。 新たな表現埋め込みの導出と消去を反復的に行い、不適切な概念の徹底的な消去を実現する。
  論文  参考訳（メタデータ） (2024-07-17T08:04:28Z)
• Six-CD: Benchmarking Concept Removals for Benign Text-to-image Diffusion Models [58.74606272936636]
  テキスト・ツー・イメージ(T2I)拡散モデルは、テキスト・プロンプトと密接に対応した画像を生成する際、例外的な機能を示す。 モデルは、暴力やヌードの画像を生成したり、不適切な文脈で公共の人物の無許可の肖像画を作成するなど、悪意ある目的のために利用することができる。 悪質な概念や望ましくない概念の発生を防ぐために拡散モデルを変更する概念除去法が提案されている。
  論文  参考訳（メタデータ） (2024-06-21T03:58:44Z)
• ConceptPrune: Concept Editing in Diffusion Models via Skilled Neuron Pruning [10.201633236997104]
  大規模テキスト・画像拡散モデルでは、印象的な画像生成能力が示されている。 提案するConceptPruneでは,まず,望ましくない概念を生成するための事前学習モデル内の重要な領域を同定する。 芸術的スタイル、ヌード性、オブジェクトの消去、ジェンダーのデバイアスなど、さまざまな概念に対する実験は、ターゲットのコンセプトをごくわずかに刈って効率よく消去できることを実証している。
  論文  参考訳（メタデータ） (2024-05-29T16:19:37Z)
• Hiding and Recovering Knowledge in Text-to-Image Diffusion Models via Learnable Prompts [23.04942433104886]
  我々は、望ましくない概念を公開ユーザにとってアクセスし難いものにする、新しいコンセプトハイディングアプローチを導入する。 モデルから知識を完全に消去する代わりに、学習可能なプロンプトをクロスアテンションモジュールに組み込む。 これにより、フレキシブルなアクセス制御が可能になります -- 望ましくないコンテンツが簡単に生成されないようにし、再保存するオプションを保持します。
  論文  参考訳（メタデータ） (2024-03-18T23:42:04Z)
• Separable Multi-Concept Erasure from Diffusion Models [52.51972530398691]
  大規模拡散モデルから安全でない概念を排除するために,分離可能なマルチコンセプト消去器(SepME)を提案する。 後者は最適化可能なモデルウェイトを分離し、各ウェイトインクリメントは特定の概念の消去に対応する。 広範囲にわたる実験は, 概念の排除, モデル性能の保存, 各種概念の消去・回復における柔軟性の確保に, アプローチの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-03T11:10:57Z)
• All but One: Surgical Concept Erasing with Model Preservation in Text-to-Image Diffusion Models [22.60023885544265]
  大規模なデータセットには、性的に明示的な、著作権のある、または望ましくないコンテンツが含まれており、モデルがそれらを直接生成することができる。 拡散モデルにおける概念消去に取り組むために、ファインチューニングアルゴリズムが開発された。 これらの課題をすべて解決する新しいアプローチを提示します。
  論文  参考訳（メタデータ） (2023-12-20T07:04:33Z)
• Receler: Reliable Concept Erasing of Text-to-Image Diffusion Models via Lightweight Erasers [24.64639078273091]
  テキストから画像への拡散モデルにおける概念消去は、対象概念に関連する画像の生成から事前学習された拡散モデルを無効にすることを目的としている。 軽量エローザ(レセラー)による信頼性概念消去の提案
  論文  参考訳（メタデータ） (2023-11-29T15:19:49Z)
• Towards Safe Self-Distillation of Internet-Scale Text-to-Image Diffusion Models [63.20512617502273]
  テキストから画像への拡散モデルにおいて,問題のあるコンテンツ生成を防止するため,SDDと呼ばれる手法を提案する。 本手法は,画像の全体的な品質を劣化させることなく,生成した画像から有害なコンテンツをはるかに多く除去する。
  論文  参考訳（メタデータ） (2023-07-12T07:48:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。