論文の概要: MANCE: Manifold Aware Concept Erasure
- arxiv url: http://arxiv.org/abs/2607.03973v1
- Date: Sat, 04 Jul 2026 18:11:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.782077
- Title: MANCE: Manifold Aware Concept Erasure
- Title(参考訳): MANCE:manifold Aware Concept Erasure
- Abstract要約: 概念消去は、その中にエンコードされた他の情報を保持しながら、対象概念を表現から削除することを目的としている。
新しい概念消去法でMCHをインスタンス化する:MANifold aware Concept Erasure (MANCE)
- 参考スコア(独自算出の注目度): 34.11810780499784
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Concept erasure aims to remove a target concept from a representation while preserving the other information encoded in it. This is difficult because representations encode many concepts that are often correlated with the erasure target, so removing the target risks damaging them. We propose the Manifold Constraint Hypothesis (MCH): if natural representations concentrate on a structured, lower-dimensional manifold, then interventions should be constrained to that manifold and better preserve other information encoded in the representation during interventions. We instantiate MCH in a new concept erasure method: MANifold aware Concept Erasure (MANCE). MANCE performs iterative updates to the representations using signals from a classifier that predicts a target concept. We estimate the manifold using representations obtained from natural inputs, and then we project the concept removal update to the estimated manifold. We perform extensive evaluation on 119 settings spanning text and vision, including 13 language models, three NLP concepts, and 40 CelebA-CLIP attributes. Employing MANCE on top of previous methods shows consistent improved leakage results. We also introduce MANCE+ and MANCE++, which prepend a closed-form erasure algorithm before employing MANCE, achieving better leakage--surgicality tradeoffs relative to matched full-space updates. MANCE++, our best method, achieves state-of-the-art results on nonlinear concept erasure. These results support MCH in the erasure setting: interventions should be constrained to the natural representation manifold.
- Abstract(参考訳): 概念消去は、その中にエンコードされた他の情報を保持しながら、対象概念を表現から削除することを目的としている。
これは、表現が、しばしば消去ターゲットと相関する多くの概念を符号化しているため、ターゲットのリスクを除去することが困難である。
自然表現が構造的、低次元多様体に集中すると、介入は、その多様体に制約され、介入中に表現に符号化された他の情報をよりよく保存されるべきである。
我々はMCHを新しい概念消去法、MANifold aware Concept Erasure (MANCE)でインスタンス化する。
MANCEは、ターゲット概念を予測する分類器からの信号を使用して、表現を反復的に更新する。
自然な入力から得られた表現を用いて多様体を推定し、次に推定された多様体に対する概念除去更新を投影する。
13の言語モデル,3つのNLP概念,40のCelebA-CLIP属性を含む,テキストと視覚にまたがる119の設定について広範な評価を行った。
以前の手法でMANCEを使用すると、一貫性のあるリーク結果が得られる。
我々はまた、MANCE+とMANCE++を導入し、MANCEを採用する前にクローズドフォーム消去アルゴリズムをプリペイトし、マッチしたフルスペース更新に対して、より優れたリーク-サージリティトレードオフを実現する。
我々の最良の方法であるMANCE++は、非線形概念消去に関する最先端の結果を得る。
これらの結果は消去設定において MCH をサポートする: 介入は自然表現多様体に制約されるべきである。
関連論文リスト
- EraseSAE: Surgical Concept Erasure in Text-to-Video Diffusion Models via Sparse Autoencoders [103.46709005379591]
概念消去は、事前訓練されたモデルから不要なセマンティクスを取り除くことによって、原則化された救済を提供する。
既存のアプローチは一般に粗い品質で動作し、概念表現の微細で分散した性質と不一致である。
外科的概念の消去を実現するためにスパースオートエンコーダを利用する新しいフレームワークであるEraseSAEを提案する。
論文 参考訳(メタデータ) (2026-09-03T10:23:37Z) - Rethinking Concept Bottleneck Models: From Pitfalls to Solutions [53.84388497227224]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、人間の理解可能な概念の基底予測である。
CBM-Suiteはこれらの課題に対処するための方法論的なフレームワークである。
論文 参考訳(メタデータ) (2026-03-05T19:37:49Z) - Differential Vector Erasure: Unified Training-Free Concept Erasure for Flow Matching Models [49.10620605347065]
本研究では,フローマッチングモデルに特化して設計されたトレーニング不要な概念消去手法である差分ベクトル消去(DVE)を提案する。
我々の重要な洞察は、意味論的概念は生成フローを管理する速度場の方向構造に暗黙的に符号化されていることである。
推論中、DVEは速度場を微分方向に投影することで概念固有の成分を選択的に除去し、無関係な意味論に影響を与えることなく正確な概念抑圧を可能にする。
論文 参考訳(メタデータ) (2026-02-01T08:05:45Z) - Mass Concept Erasure in Diffusion Models with Concept Hierarchy [19.349576384727737]
消去された概念を親子構造に整理するスーパータイプサブタイプ概念階層を提案する。
概念を個別に消去するのではなく,効果的かつ効率的なグループワイド抑制手法を導入する。
さまざまな領域にまたがる概念の同時消去を必要とする、より困難なベンチマークを構築します。
論文 参考訳(メタデータ) (2026-01-06T08:41:15Z) - SAGE: Exploring the Boundaries of Unsafe Concept Domain with Semantic-Augment Erasing [65.82241040239452]
望ましくない概念に微妙な重みを消去する概念。
既存の方法は、安全でない概念を固定語として扱い、繰り返し消去する。
本稿では,概念語消去を概念ドメイン消去に変換する意味拡張消去について紹介する。
論文 参考訳(メタデータ) (2025-06-11T03:21:24Z) - TRACE: Trajectory-Constrained Concept Erasure in Diffusion Models [0.0]
概念消去は、生成モデルにおいて特定の概念情報を削除または抑制することを目的としている。
Trajectory-Constrained Attentional Concept Erasure (TRACE) は拡散モデルから対象概念を消去する新しい手法である。
TRACEは最先端のパフォーマンスを実現し、ANT、EraseAnything、MACEといった最近の手法よりも、除去効率と出力品質の点で優れています。
論文 参考訳(メタデータ) (2025-05-29T10:15:22Z) - Does Representation Intervention Really Identify Desired Concepts and Elicit Alignment? [73.80382983108997]
表現の介入(Representation intervention)は、大規模言語モデルにおいて基礎となる概念を符号化する表現の発見と修正を目的としている。
介入が忠実であれば、介入されたLLMは有害な概念を消去し、非分配的敵のプロンプトとアウト・オブ・ディストリビューションのジェイルブレイクの両方に対して堅牢であるべきである。
本研究では,有害表現と良性表現の境界を簡易化する概念集中(COCA)を提案する。
論文 参考訳(メタデータ) (2025-05-24T12:23:52Z) - CURE: Concept Unlearning via Orthogonal Representation Editing in Diffusion Models [7.68494752148263]
CUREは、事前訓練された拡散モデルの重み空間で直接動作する、トレーニング不要の概念未学習フレームワークである。
スペクトル消去器は、安全な属性を保持しながら、望ましくない概念に特有の特徴を特定し、分離する。
CUREは、対象とする芸術スタイル、オブジェクト、アイデンティティ、明示的なコンテンツに対して、より効率的で徹底的な除去を実現する。
論文 参考訳(メタデータ) (2025-05-19T03:53:06Z) - Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models [76.39651111467832]
本稿では,Reliable and Efficient Concept Erasure (RECE)を提案する。
派生した埋め込みによって表現される不適切なコンテンツを緩和するために、RECEはそれらをクロスアテンション層における無害な概念と整合させる。
新たな表現埋め込みの導出と消去を反復的に行い、不適切な概念の徹底的な消去を実現する。
論文 参考訳(メタデータ) (2024-07-17T08:04:28Z) - Implicit Concept Removal of Diffusion Models [92.55152501707995]
テキスト・ツー・イメージ(T2I)拡散モデルはしばしば、透かしや安全でない画像のような望ましくない概念を不注意に生成する。
幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
論文 参考訳(メタデータ) (2023-10-09T17:13:10Z) - LEACE: Perfect linear concept erasure in closed form [97.78661458934953]
概念消去は、埋め込みから特定の機能を削除することを目的としている。
LEAst-squares Concept Erasure (LEACE) は、すべての線形分類器が可能な限り少ない埋め込みで概念を検出することを確実に防止する閉形式手法である。
LEACEを"concept scrubbing"と呼ばれる新しい手法で大規模言語モデルに適用し、ネットワーク内の各層からターゲット概念情報を消去する。
論文 参考訳(メタデータ) (2023-06-06T16:07:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。