論文の概要: CURE: Concept Unlearning via Orthogonal Representation Editing in Diffusion Models
- arxiv url: http://arxiv.org/abs/2505.12677v1
- Date: Mon, 19 May 2025 03:53:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:11.389754
- Title: CURE: Concept Unlearning via Orthogonal Representation Editing in Diffusion Models
- Title（参考訳）: CURE:拡散モデルにおける直交表現編集による概念学習
- Authors: Shristi Das Biswas, Arani Roy, Kaushik Roy,
- Abstract要約: CUREは、事前訓練された拡散モデルの重み空間で直接動作する、トレーニング不要の概念未学習フレームワークである。
スペクトル消去器は、安全な属性を保持しながら、望ましくない概念に特有の特徴を特定し、分離する。
CUREは、対象とする芸術スタイル、オブジェクト、アイデンティティ、明示的なコンテンツに対して、より効率的で徹底的な除去を実現する。
- 参考スコア（独自算出の注目度）: 6.738409533239947
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As Text-to-Image models continue to evolve, so does the risk of generating unsafe, copyrighted, or privacy-violating content. Existing safety interventions - ranging from training data curation and model fine-tuning to inference-time filtering and guidance - often suffer from incomplete concept removal, susceptibility to jail-breaking, computational inefficiency, or collateral damage to unrelated capabilities. In this paper, we introduce CURE, a training-free concept unlearning framework that operates directly in the weight space of pre-trained diffusion models, enabling fast, interpretable, and highly specific suppression of undesired concepts. At the core of our method is the Spectral Eraser, a closed-form, orthogonal projection module that identifies discriminative subspaces using Singular Value Decomposition over token embeddings associated with the concepts to forget and retain. Intuitively, the Spectral Eraser identifies and isolates features unique to the undesired concept while preserving safe attributes. This operator is then applied in a single step update to yield an edited model in which the target concept is effectively unlearned - without retraining, supervision, or iterative optimization. To balance the trade-off between filtering toxicity and preserving unrelated concepts, we further introduce an Expansion Mechanism for spectral regularization which selectively modulates singular vectors based on their relative significance to control the strength of forgetting. All the processes above are in closed-form, guaranteeing extremely efficient erasure in only $2$ seconds. Benchmarking against prior approaches, CURE achieves a more efficient and thorough removal for targeted artistic styles, objects, identities, or explicit content, with minor damage to original generation ability and demonstrates enhanced robustness against red-teaming.
- Abstract（参考訳）: Text-to-Imageモデルは進化を続けるため、安全でない、著作権のある、あるいはプライバシーを侵害するコンテンツを生成するリスクも伴う。
既存の安全介入 - トレーニングデータキュレーションやモデル微調整から推論時フィルタリングやガイダンスまで - は、しばしば、不完全な概念の除去、脱獄への感受性、計算の非効率性、無関係な機能に対する担保的なダメージに悩まされる。
本稿では,事前学習した拡散モデルの重み空間内で直接動作し,高速かつ解釈可能で,望ましくない概念の高度に特異的な抑制を可能にする,学習不要な概念学習フレームワークであるCUREを紹介する。
本手法の核となるのはスペクトル消去器(Spectral Eraser)である。これは閉じた形状の直交射影モジュールで、トークンの埋め込みに関する特異値分解を用いて識別的部分空間を識別し、その概念を忘れ、保持する。
直感的には、スペクトル消去器は、安全な属性を保持しながら、望ましくない概念に特有の特徴を特定し、分離する。
このオペレーターは1ステップのアップデートで適用され、ターゲット概念が事実上未学習の編集モデルを生成する。
さらに, フィルタ毒性と非関連概念のバランスをとるために, スペクトル正則化のための拡張機構を導入する。
上記のプロセスはすべてクローズド形式で、非常に効率的な消去をわずか2ドル秒で保証します。
従来のアプローチと比較すると、CUREはターゲットとなる芸術スタイル、オブジェクト、アイデンティティ、明示的なコンテンツをより効率的かつ徹底的に除去し、オリジナル生成能力に小さなダメージを与え、レッドチームに対する堅牢性を高める。
関連論文リスト
- TRACE: Trajectory-Constrained Concept Erasure in Diffusion Models [0.0]
概念消去は、生成モデルにおいて特定の概念情報を削除または抑制することを目的としている。
Trajectory-Constrained Attentional Concept Erasure (TRACE) は拡散モデルから対象概念を消去する新しい手法である。
TRACEは最先端のパフォーマンスを実現し、ANT、EraseAnything、MACEといった最近の手法よりも、除去効率と出力品質の点で優れています。
論文 参考訳（メタデータ） (2025-05-29T10:15:22Z) - Set You Straight: Auto-Steering Denoising Trajectories to Sidestep Unwanted Concepts [12.04985139116705]
我々は、望ましくない概念を避けるためにdeNoising TrajectoriesをガイドするANTと呼ばれる微調整フレームワークを導入する。
ANTは重要な洞察に基づいて構築されている。
単一概念の消去のために,より徹底的かつ効率的な消去を可能にする拡張型重み対応マップを提案する。
マルチコンセプト消去のために,目的関数は汎用的なプラグアンドプレイソリューションを提供し,性能を大幅に向上させる。
論文 参考訳（メタデータ） (2025-04-17T09:29:30Z) - Fine-Grained Erasure in Text-to-Image Diffusion-based Foundation Models [56.35484513848296]
FADE(Fine grained Attenuation for Diffusion Erasure)は、テキストから画像への生成モデルのための非学習アルゴリズムである。
関連する概念に最小限の影響で目標概念を排除し、最先端の手法よりも保持性能が12%向上した。
論文 参考訳（メタデータ） (2025-03-25T15:49:48Z) - Continual Unlearning for Foundational Text-to-Image Models without Generalization Erosion [56.35484513848296]
本研究は,基本生成モデルから複数の特定の概念を対象とする除去を可能にする新しいパラダイムである連続的アンラーニングを導入する。
本稿では,望ましくない概念の生成を選択的に解き放つような一般化エロージョン(DUGE)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-03-17T23:17:16Z) - Modular Customization of Diffusion Models via Blockwise-Parameterized Low-Rank Adaptation [73.16975077770765]
コンセプトのスタイリングやマルチコンセプトのカスタマイズといったアプリケーションには、モジュール化が不可欠である。
インスタントマージ法は、個々のマージされた概念のアイデンティティ損失と干渉を引き起こすことが多い。
個々の概念のアイデンティティを正確に保存しつつ,複数の概念を効率的に組み合わせたインスタントマージ手法であるBlockLoRAを提案する。
論文 参考訳（メタデータ） (2025-03-11T16:10:36Z) - SPEED: Scalable, Precise, and Efficient Concept Erasure for Diffusion Models [41.284399182295026]
モデル編集に基づく概念消去手法であるSPEEDを導入する。
SPEEDは、効率的かつ高忠実な概念消去を達成しつつ、保存前の既存の手法を一貫して上回っている。
論文 参考訳（メタデータ） (2025-03-10T14:40:01Z) - DuMo: Dual Encoder Modulation Network for Precise Concept Erasure [75.05165577219425]
非ターゲット概念に対する最小限の障害を伴う不適切なターゲット概念の正確な消去を実現するDuMo(Dual Encoder Modulation Network)を提案する。
提案手法は, 明示的コンテンツ消去, カートゥーン概念除去, アーティスティックスタイル消去における最先端性能を実現し, 代替手法よりも明らかに優れている。
論文 参考訳（メタデータ） (2025-01-02T07:47:34Z) - Precise, Fast, and Low-cost Concept Erasure in Value Space: Orthogonal Complement Matters [38.355389084255386]
本稿では,Adaptive Value Decomposer (AdaVD) という,高精度で高速かつ低コストな概念消去手法を提案する。
AdaVDはシングルとマルチのコンセプト消去に優れており、保存前の2倍から10倍の改善が見られた。
論文 参考訳（メタデータ） (2024-12-09T01:56:25Z) - Safety Without Semantic Disruptions: Editing-free Safe Image Generation via Context-preserving Dual Latent Reconstruction [88.18235230849554]
大規模で未処理のデータセットでマルチモーダル生成モデルをトレーニングすることで、ユーザは有害で安全でない、議論の余地のない、文化的に不適切なアウトプットにさらされる可能性がある。
我々は、安全な埋め込みと、より安全な画像を生成するために、潜伏空間の重み付け可能な総和による修正拡散プロセスを活用する。
安全と検閲のトレードオフを特定し、倫理的AIモデルの開発に必要な視点を提示します。
論文 参考訳（メタデータ） (2024-11-21T09:47:13Z) - Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models [76.39651111467832]
本稿では,Reliable and Efficient Concept Erasure (RECE)を提案する。
派生した埋め込みによって表現される不適切なコンテンツを緩和するために、RECEはそれらをクロスアテンション層における無害な概念と整合させる。
新たな表現埋め込みの導出と消去を反復的に行い、不適切な概念の徹底的な消去を実現する。
論文 参考訳（メタデータ） (2024-07-17T08:04:28Z) - Unlearning Concepts in Diffusion Model via Concept Domain Correction and Concept Preserving Gradient [20.698305103879232]
我々はtextbfDoCo (textbfDomaintextbfCorrection) という新しい概念領域補正フレームワークを提案する。
本手法は, 対象概念の包括的未学習を保証し, 先進的学習を通して, センシティブな概念とアンカーの概念の出力領域を整合させることにより, 対象概念の包括的未学習を確実にする。
また、矛盾する勾配成分を緩和し、特定の概念を学習しながらモデルの実用性を維持するための概念保存的勾配手術手法も導入する。
論文 参考訳（メタデータ） (2024-05-24T07:47:36Z) - Ring-A-Bell! How Reliable are Concept Removal Methods for Diffusion Models? [52.238883592674696]
Ring-A-Bellは、T2I拡散モデルのためのモデルに依存しないレッドチームツールである。
これは、不適切なコンテンツの生成に対応する拡散モデルに対する問題的プロンプトを特定する。
この結果から,安全プロンプトベンチマークの操作により,既存の安全メカニズムを回避できると考えられるプロンプトを変換できることが示唆された。
論文 参考訳（メタデータ） (2023-10-16T02:11:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。