論文の概要: Concept Unlearning via Cross-Attention Activation Projection for Diffusion Models

• arxiv url: http://arxiv.org/abs/2605.25765v1
• Date: Mon, 25 May 2026 12:18:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.943933
• Title: Concept Unlearning via Cross-Attention Activation Projection for Diffusion Models
• Title（参考訳）: 拡散モデルにおけるクロスアテンション・アクティベーション・プロジェクションによる概念学習
• Authors: Saemi Moon, Suhyeon Jun, Seoyeon Lee, Dongwoo Kim,
• Abstract要約: 概念アンラーニングは、事前訓練されたテキスト-画像拡散モデルからターゲット概念を再トレーニングせずに消去することを目的としている。 既存のクローズドフォームメソッドは、テキストエンコーダの応答を通じてターゲット概念を表現する。 本稿では,層間相互アテンションアクティベーションからベースを隠蔽・保持するクローズドフォーム手法PUREを提案する。
• 参考スコア（独自算出の注目度）: 6.701045531467819
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Concept unlearning aims to erase a target concept from a pretrained text-to-image diffusion model without retraining. Closed-form methods are attractive in this setting because they apply a single deterministic edit to the cross-attention weights and add no inference-time cost. Existing closed-form methods, however, represent the target concept through the text encoder's response to a few short anchor prompts that name it, and paraphrased prompts that evoke the concept without naming it consistently bypass the edit. We argue that the target should instead be represented in the cross-attention activation space. Text embeddings describe the user's prompt, while cross-attention activations describe what the model is about to render, and the latter generalize to paraphrase the anchor templates do not cover. Building on this observation, we propose PURE (Projection in U-Net Rendering for Erasure), a closed-form method that builds the forget and retain bases from per-layer cross-attention activations captured along a short denoising trajectory and applies a single linear projector to the cross-attention key and value weights. On a recent holistic concept-unlearning benchmark covering ten concepts across artistic style, intellectual property, celebrity, and NSFW categories, PURE significantly reduces target leakage under paraphrased and adversarial prompts while preserving retain concepts close to the unedited model, yielding the best overall forget-retain trade-off among evaluated methods.
• Abstract（参考訳）: 概念アンラーニングは、事前訓練されたテキスト-画像拡散モデルからターゲット概念を再トレーニングせずに消去することを目的としている。 この設定では、クロスアテンション重みに1つの決定論的編集を適用し、推論時間コストを加算しないので、クローズドフォーム法は魅力的である。 しかし、既存のクローズドフォームメソッドは、テキストエンコーダの応答を通じてターゲット概念を表現し、いくつかの短いアンカープロンプトにその名前を付ける。 ターゲットはクロスアテンションアクティベーション空間で表現されるべきである。 テキスト埋め込みはユーザのプロンプトを記述し、クロスアテンションアクティベーションはモデルがレンダリングしようとしているものを記述し、後者はアンカーテンプレートがカバーしていないことを言い換えるように一般化する。 本研究は,短時間の聴覚軌跡に沿って捕獲された層間クロスアテンションアクティベーションからベースを忘れ,保持するクローズドフォーム手法であるPURE(Projection in U-Net Rendering for Erasure)を提案し,クロスアテンションキーと値重みに単一線形プロジェクタを適用した。 芸術的スタイル、知的財産権、有名人、NSFWのカテゴリにまたがる10のコンセプトを網羅した最近の総合的な概念アンラーニングベンチマークでは、PUREは、非編集モデルに近い概念を維持しながら、パラフレーズ的および敵対的なプロンプトの下でターゲットの漏れを著しく低減し、評価された方法の中で最高の全体的な忘れがちなトレードオフをもたらす。

関連論文リスト

• Beyond Heuristic Prompting: A Concept-Guided Bayesian Framework for Zero-Shot Image Recognition [81.2779530670268]
  VLM(Vision-Language Models)は、ゼロショット画像認識を著しく進歩させたモデルである。 本稿では、クラス固有の概念を取り入れることで、プロンプトを強化する。 我々の手法は一貫して最先端の手法より優れている。
  論文  参考訳（メタデータ） (2026-03-09T03:11:11Z)
• ConceptPrism: Concept Disentanglement in Personalized Diffusion Models via Residual Token Optimization [11.472088067393074]
  ConceptPrismは、画像固有の残留物から共有視覚概念を自動的に切り離す新しいフレームワークである。 実験では、ConceptPrismは概念の絡み合いを効果的に解決し、忠実さと整合性の間のトレードオフを著しく改善する。
  論文  参考訳（メタデータ） (2026-02-23T07:46:19Z)
• Concept Pinpoint Eraser for Text-to-image Diffusion Models via Residual Attention Gate [10.996274286143244]
  拡散モデルにおける対象概念を最小限の歪みで保存しながら削除することを目的として,概念消去について検討した。 本研究では, 対象概念を選択的に消去(あるいはカット)するEmphnonlinear Residual Attention Gates (ResAGs) を追加することで, 概念ピンポイント消去 (Concept Pinpoint Eraser, CPE) と呼ばれる新しいフレームワークを提案する。 CPEは、様々な概念を維持しながら、攻撃プロンプトに対する堅牢さで目標概念を削除し、先行技術より優れています。
  論文  参考訳（メタデータ） (2025-06-28T08:17:19Z)
• ACE: Attentional Concept Erasure in Diffusion Models [0.0]
  Attentional Concept Erasureは、クローズドフォームのアテンション操作と軽量な微調整を統合している。 ACEは最先端の概念の除去とロバスト性を実現する。 従来の方法と比較して、ACEは一般性(概念と関連する用語)と特異性(無関係なコンテンツを保存する)のバランスが良い。
  論文  参考訳（メタデータ） (2025-04-16T08:16:28Z)
• Fine-Grained Erasure in Text-to-Image Diffusion-based Foundation Models [56.35484513848296]
  FADE(Fine grained Attenuation for Diffusion Erasure)は、テキストから画像への生成モデルのための非学習アルゴリズムである。 関連する概念に最小限の影響で目標概念を排除し、最先端の手法よりも保持性能が12%向上した。
  論文  参考訳（メタデータ） (2025-03-25T15:49:48Z)
• Sparse Autoencoder as a Zero-Shot Classifier for Concept Erasing in Text-to-Image Diffusion Models [17.694838443796026]
  Interpret then Deactivate (ItD) は、T2I拡散モデルにおける正確な概念除去を可能にする新しいフレームワークである。 ItDはスパースオートエンコーダを使用して、各概念を複数の機能の組み合わせとして解釈する。 さらなるトレーニングを必要とせずに、簡単に複数の概念を消去できる。
  論文  参考訳（メタデータ） (2025-03-12T14:46:40Z)
• Concept Replacer: Replacing Sensitive Concepts in Diffusion Models via Precision Localization [48.20360860166279]
  大規模な拡散モデルは高品質な画像を生成するが、しばしば性的に明示的なコンテンツや暴力的なコンテンツのような望ましくないコンテンツを生成する。 本研究では,非対象領域に影響を及ぼすことなく,特定の概念を除去することが可能な拡散モデルにおいて,対象概念を置き換えるための新しい手法を提案する。 本手法では,最小限のラベル付きデータを必要とする数発の学習で学習し,目標概念を正確に識別する専用概念ローカライザを提案する。 特定領域内では,DPCA(Dual Prompts Cross-Attention)モジュールが導入された。
  論文  参考訳（メタデータ） (2024-12-02T08:05:39Z)
• Implicit Concept Removal of Diffusion Models [92.55152501707995]
  テキスト・ツー・イメージ(T2I)拡散モデルはしばしば、透かしや安全でない画像のような望ましくない概念を不注意に生成する。 幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
  論文  参考訳（メタデータ） (2023-10-09T17:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。