論文の概要: RealEra: Semantic-level Concept Erasure via Neighbor-Concept Mining

• arxiv url: http://arxiv.org/abs/2410.09140v1
• Date: Fri, 11 Oct 2024 17:55:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 16:03:11.147813
• Title: RealEra: Semantic-level Concept Erasure via Neighbor-Concept Mining
• Title（参考訳）: RealEra: 近隣のコンセプトマイニングによるセマンティックレベルのコンセプト消去
• Authors: Yufan Liu, Jinyang An, Wanqian Zhang, Ming Li, Dayan Wu, Jingzi Gu, Zheng Lin, Weiping Wang,
• Abstract要約: 概念消去は、モデルが保護され不適切な概念に関する知識を取り除くために提案されている。 この「概念残余」問題に対処するためにRealEraを提案する。 また,RealEraは,有効性,特異性,汎用性において,従来の消去方法よりも優れていたことを示す。
• 参考スコア（独自算出の注目度）: 25.769144703607214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The remarkable development of text-to-image generation models has raised notable security concerns, such as the infringement of portrait rights and the generation of inappropriate content. Concept erasure has been proposed to remove the model's knowledge about protected and inappropriate concepts. Although many methods have tried to balance the efficacy (erasing target concepts) and specificity (retaining irrelevant concepts), they can still generate abundant erasure concepts under the steering of semantically related inputs. In this work, we propose RealEra to address this "concept residue" issue. Specifically, we first introduce the mechanism of neighbor-concept mining, digging out the associated concepts by adding random perturbation into the embedding of erasure concept, thus expanding the erasing range and eliminating the generations even through associated concept inputs. Furthermore, to mitigate the negative impact on the generation of irrelevant concepts caused by the expansion of erasure scope, RealEra preserves the specificity through the beyond-concept regularization. This makes irrelevant concepts maintain their corresponding spatial position, thereby preserving their normal generation performance. We also employ the closed-form solution to optimize weights of U-Net for the cross-attention alignment, as well as the prediction noise alignment with the LoRA module. Extensive experiments on multiple benchmarks demonstrate that RealEra outperforms previous concept erasing methods in terms of superior erasing efficacy, specificity, and generality. More details are available on our project page https://realerasing.github.io/RealEra/ .
• Abstract（参考訳）: テキスト・ツー・イメージ・ジェネレーション・モデルの顕著な発展は、肖像画の権利侵害や不適切なコンテンツの生成など、顕著なセキュリティ上の懸念を引き起こしている。 概念消去は、モデルが保護され不適切な概念に関する知識を取り除くために提案されている。 多くの手法は、有効性と特異性(無関係な概念を含む)のバランスをとろうとしてきたが、意味論的に関連する入力を操りながら、豊富な消去概念を生成することができる。 本研究では,この「概念残余」問題に対処するためにRealEraを提案する。 具体的には,消去概念の埋め込みにランダムな摂動を加え,消去範囲を拡大し,関連する概念入力を通じて世代を排除することによって,近隣概念マイニングのメカニズムを紹介した。 さらに、消去範囲の拡大による無関係な概念の生成に対するネガティブな影響を軽減するため、RealEraは概念の超越正規化を通じて特異性を保っている。 これにより、無関係な概念は対応する空間的位置を維持し、通常の生成性能を維持することができる。 また, クロスアテンションアライメントにおけるU-Netの重み付けの最適化や, LoRAモジュールとの予測ノイズアライメントにも, クローズドフォームの解を用いる。 複数のベンチマークでの大規模な実験により、RealEraは、有効性、特異性、一般化性の点で、過去の概念消去方法よりも優れていたことが示されている。 詳細はプロジェクトのページ https://realerasing.github.io/RealEra/ で確認できます。

関連論文リスト

• Fantastic Targets for Concept Erasure in Diffusion Models and Where To Find Them [21.386640828092524]
  概念消去は拡散モデルにおける有害なコンテンツ生成のリスクを軽減するための有望な手法として現れてきた。 本稿では,各望ましくない概念に合わせて最適な目標概念を動的に選択するAdaptive Guided Erasure (AGE)法を提案する。 その結果, AGEは, 有効消去性能を維持しつつ, 無関係な概念を保存し, 最先端の消去手法を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-01-31T08:17:23Z)
• ACE: Anti-Editing Concept Erasure in Text-to-Image Models [73.00930293474009]
  既存の概念消去手法は、削除された概念がプロンプトから生成されるのを防ぐために優れた結果が得られる。 本稿では、生成時にターゲット概念を消去するだけでなく、編集時に除去する反編集概念消去(ACE)手法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T04:57:27Z)
• DuMo: Dual Encoder Modulation Network for Precise Concept Erasure [75.05165577219425]
  非ターゲット概念に対する最小限の障害を伴う不適切なターゲット概念の正確な消去を実現するDuMo(Dual Encoder Modulation Network)を提案する。 提案手法は, 明示的コンテンツ消去, カートゥーン概念除去, アーティスティックスタイル消去における最先端性能を実現し, 代替手法よりも明らかに優れている。
  論文  参考訳（メタデータ） (2025-01-02T07:47:34Z)
• Memories of Forgotten Concepts [16.53173953073833]
  削除された概念画像は正しい潜伏子を用いて生成可能であることを示す。 これを拡張して、消去された概念セットのすべてのイメージに対して、消去された概念を生成する多くのシードを生成することができることを示す。 この結果から,概念情報の完全消去は困難である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-01T12:12:24Z)
• How to Continually Adapt Text-to-Image Diffusion Models for Flexible Customization? [91.49559116493414]
  本稿では,CIDM(Concept-Incremental Text-to-image Diffusion Model)を提案する。 破滅的な忘れと概念の無視を解決し、新しいカスタマイズタスクを概念的な方法で学習する。 実験により、CIDMが既存のカスタム拡散モデルを上回ることが確認された。
  論文  参考訳（メタデータ） (2024-10-23T06:47:29Z)
• Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models [76.39651111467832]
  本稿では,Reliable and Efficient Concept Erasure (RECE)を提案する。 派生した埋め込みによって表現される不適切なコンテンツを緩和するために、RECEはそれらをクロスアテンション層における無害な概念と整合させる。 新たな表現埋め込みの導出と消去を反復的に行い、不適切な概念の徹底的な消去を実現する。
  論文  参考訳（メタデータ） (2024-07-17T08:04:28Z)
• MACE: Mass Concept Erasure in Diffusion Models [11.12833789743765]
  我々は、マス・コンセプト・エミッションのタスクのための微調整・フレームワークであるMACEを紹介した。 このタスクは、トリガー時に不要な概念を具現化した画像が生成されるのを防ぐことを目的としている。 我々は,4つのタスクにまたがる先行手法に対して,MISを広範囲に評価する。
  論文  参考訳（メタデータ） (2024-03-10T08:50:56Z)
• Separable Multi-Concept Erasure from Diffusion Models [52.51972530398691]
  大規模拡散モデルから安全でない概念を排除するために,分離可能なマルチコンセプト消去器(SepME)を提案する。 後者は最適化可能なモデルウェイトを分離し、各ウェイトインクリメントは特定の概念の消去に対応する。 広範囲にわたる実験は, 概念の排除, モデル性能の保存, 各種概念の消去・回復における柔軟性の確保に, アプローチの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-03T11:10:57Z)
• Implicit Concept Removal of Diffusion Models [92.55152501707995]
  テキスト・ツー・イメージ(T2I)拡散モデルはしばしば、透かしや安全でない画像のような望ましくない概念を不注意に生成する。 幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
  論文  参考訳（メタデータ） (2023-10-09T17:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。