論文の概要: Precise, Fast, and Low-cost Concept Erasure in Value Space: Orthogonal Complement Matters

• arxiv url: http://arxiv.org/abs/2412.06143v2
• Date: Sun, 30 Mar 2025 15:46:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 15:20:31.204385
• Title: Precise, Fast, and Low-cost Concept Erasure in Value Space: Orthogonal Complement Matters
• Title（参考訳）: 価値空間における精密で高速で低コストな概念消去:直交補足事項
• Authors: Yuan Wang, Ouxiang Li, Tingting Mu, Yanbin Hao, Kuien Liu, Xiang Wang, Xiangnan He,
• Abstract要約: 本稿では,Adaptive Value Decomposer (AdaVD) という,高精度で高速かつ低コストな概念消去手法を提案する。 AdaVDはシングルとマルチのコンセプト消去に優れており、保存前の2倍から10倍の改善が見られた。
• 参考スコア（独自算出の注目度）: 38.355389084255386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent success of text-to-image (T2I) generation and its increasing practical applications, enabled by diffusion models, require urgent consideration of erasing unwanted concepts, e.g., copyrighted, offensive, and unsafe ones, from the pre-trained models in a precise, timely, and low-cost manner. The twofold demand of concept erasure includes not only a precise removal of the target concept (i.e., erasure efficacy) but also a minimal change on non-target content (i.e., prior preservation), during generation. Existing methods face challenges in maintaining an effective balance between erasure efficacy and prior preservation, and they can be computationally costly. To improve, we propose a precise, fast, and low-cost concept erasure method, called Adaptive Value Decomposer (AdaVD), which is training-free. Our method is grounded in a classical linear algebraic operation of computing the orthogonal complement, implemented in the value space of each cross-attention layer within the UNet of diffusion models. We design a shift factor to adaptively navigate the erasure strength, enhancing effective prior preservation without sacrificing erasure efficacy. Extensive comparative experiments with both training-based and training-free state-of-the-art methods demonstrate that the proposed AdaVD excels in both single and multiple concept erasure, showing 2 to 10 times improvement in prior preservation than the second best, meanwhile achieving the best or near best erasure efficacy. AdaVD supports a series of diffusion models and downstream image generation tasks, with code available on: https://github.com/WYuan1001/AdaVD.
• Abstract（参考訳）: 近年のテキスト・ツー・イメージ(T2I)生成の成功と、拡散モデルによって実現される実用的応用は、事前訓練されたモデルから、正確に、タイムリーで、低コストで、望ましくない概念、例えば著作権、攻撃的、安全でない概念を消去する緊急の考慮を必要とする。 概念消去の2倍の需要は、ターゲット概念の正確な除去(すなわち、消去効果)だけでなく、生成中の非ターゲット内容(すなわち、事前保存)の最小限の変更を含む。 既存の方法では, 消去効果と保存前の有効バランスを維持する上で課題があり, 計算コストがかかる。 そこで我々は,AdaVD(Adaptive Value Decomposer)と呼ばれる,高精度で高速で低コストな概念消去手法を提案する。 本手法は直交補関数を演算する古典線形代数演算に基礎を置いており, 拡散モデルのUNet内の各クロスアテンション層の値空間に実装されている。 我々は、消去強度を適応的にナビゲートするシフトファクタを設計し、消去効果を犠牲にすることなく、効果的な事前保存を向上する。 トレーニングベースとトレーニングフリーの両方法による大規模な比較実験により、提案したAdaVDは、単一および複数概念の消去において優れており、保存前の2倍から10倍の改善が見られ、同時に、最良の、あるいは最も近い消去効果が達成されている。 AdaVDは一連の拡散モデルと下流の画像生成タスクをサポートしており、https://github.com/WYuan1001/AdaVDでコードが公開されている。

関連論文リスト

• SPEED: Scalable, Precise, and Efficient Concept Erasure for Diffusion Models [41.284399182295026]
  モデル編集に基づく概念消去手法であるSPEEDを導入する。 SPEEDは、効率的かつ高忠実な概念消去を達成しつつ、保存前の既存の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-03-10T14:40:01Z)
• EraseAnything: Enabling Concept Erasure in Rectified Flow Transformers [33.195628798316754]
  EraseAnythingは、最新のフローベースのT2Iフレームワークにおける概念消去に対処するために特別に開発された最初の方法である。 概念消去を二段階最適化問題として定式化し,LoRAに基づくパラメータチューニングとアテンションマップ正規化器を用いた。 本研究では,意図しない概念の除去が意図せず,無関係な概念のパフォーマンスを損なうことのない自己矛盾型学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-12-29T09:42:53Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models [76.39651111467832]
  本稿では,Reliable and Efficient Concept Erasure (RECE)を提案する。 派生した埋め込みによって表現される不適切なコンテンツを緩和するために、RECEはそれらをクロスアテンション層における無害な概念と整合させる。 新たな表現埋め込みの導出と消去を反復的に行い、不適切な概念の徹底的な消去を実現する。
  論文  参考訳（メタデータ） (2024-07-17T08:04:28Z)
• Unlearning Concepts in Diffusion Model via Concept Domain Correction and Concept Preserving Gradient [20.091446060893638]
  本稿では,拡散モデルにおける非学習概念のための概念領域補正フレームワークを提案する。 直感的概念とアンカー的概念の出力領域を敵対的訓練によって整合させることにより、未学習結果の一般化性を高める。
  論文  参考訳（メタデータ） (2024-05-24T07:47:36Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Erasing Undesirable Influence in Diffusion Models [51.225365010401006]
  拡散モデルは高品質な画像を生成するのに非常に効果的であるが、NSFW(職場では安全ではない)コンテンツの意図しない生成のようなリスクを引き起こす。 本研究では,データに関連付けられた不要な情報を取り除き,保存データに対する拡散モデルの実用性を維持するために設計されたアルゴリズムであるEraseDiffを紹介する。
  論文  参考訳（メタデータ） (2024-01-11T09:30:36Z)
• All but One: Surgical Concept Erasing with Model Preservation in Text-to-Image Diffusion Models [22.60023885544265]
  大規模なデータセットには、性的に明示的な、著作権のある、または望ましくないコンテンツが含まれており、モデルがそれらを直接生成することができる。 拡散モデルにおける概念消去に取り組むために、ファインチューニングアルゴリズムが開発された。 これらの課題をすべて解決する新しいアプローチを提示します。
  論文  参考訳（メタデータ） (2023-12-20T07:04:33Z)
• Fine-tuning can cripple your foundation model; preserving features may be the solution [87.35911633187204]
  タスク上の概念を認識できる微調整モデルの能力は、事前訓練されたモデルに比べて大幅に低下する。 我々は、下流タスクに関連する新しい概念を学習しながら、モデルが事前学習した知識を保存できる「textitLDIFS$」という新しい微調整手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T11:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。