論文の概要: Fundamental Limits of Perfect Concept Erasure

• arxiv url: http://arxiv.org/abs/2503.20098v1
• Date: Tue, 25 Mar 2025 22:36:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:18:15.987484
• Title: Fundamental Limits of Perfect Concept Erasure
• Title（参考訳）: 完全概念消去の基本的限界
• Authors: Somnath Basu Roy Chowdhury, Avinava Dubey, Ahmad Beirami, Rahul Kidambi, Nicholas Monath, Amr Ahmed, Snigdha Chaturvedi,
• Abstract要約: 概念消去は、公平性を達成するために繊細な概念を取り除くことや、特定の概念がモデルの性能に与える影響を解釈することなど、いくつかのアプリケーションで有用である。 従来の概念消去技術は、結果表現の実用性を維持することよりも、概念の堅牢な消去を優先してきた。 提案手法は,GPT-4表現を用いた合成および実世界のデータセットにおいて,既存の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 41.82150352631872
• License:
• Abstract: Concept erasure is the task of erasing information about a concept (e.g., gender or race) from a representation set while retaining the maximum possible utility -- information from original representations. Concept erasure is useful in several applications, such as removing sensitive concepts to achieve fairness and interpreting the impact of specific concepts on a model's performance. Previous concept erasure techniques have prioritized robustly erasing concepts over retaining the utility of the resultant representations. However, there seems to be an inherent tradeoff between erasure and retaining utility, making it unclear how to achieve perfect concept erasure while maintaining high utility. In this paper, we offer a fresh perspective toward solving this problem by quantifying the fundamental limits of concept erasure through an information-theoretic lens. Using these results, we investigate constraints on the data distribution and the erasure functions required to achieve the limits of perfect concept erasure. Empirically, we show that the derived erasure functions achieve the optimal theoretical bounds. Additionally, we show that our approach outperforms existing methods on a range of synthetic and real-world datasets using GPT-4 representations.
• Abstract（参考訳）: 概念消去とは、概念に関する情報(例えば、性別や人種)を表現セットから消去するタスクであり、最大で可能なユーティリティー(元の表現からの情報)を保持しながら表現セットから消去する。 概念消去は、公平性を達成するために繊細な概念を取り除くことや、特定の概念がモデルの性能に与える影響を解釈することなど、いくつかのアプリケーションで有用である。 従来の概念消去技術は、結果表現の実用性を維持することよりも、概念の堅牢な消去を優先してきた。 しかし, 省エネと省エネの間には固有のトレードオフがあるようで, 省エネと省エネの両立が図られている。 本稿では,情報理論レンズによる概念消去の基本的限界を定量化することにより,この問題の解決に向けた新たな視点を提供する。 これらの結果を用いて、完全概念消去の限界を達成するために必要なデータ分布と消去関数の制約について検討する。 実験により, 導出した消去関数が最適理論的境界を達成することを示す。 さらに,本手法は,GPT-4表現を用いた合成および実世界のデータセットにおいて,既存の手法よりも優れていることを示す。

関連論文リスト

• Fantastic Targets for Concept Erasure in Diffusion Models and Where To Find Them [21.386640828092524]
  概念消去は拡散モデルにおける有害なコンテンツ生成のリスクを軽減するための有望な手法として現れてきた。 本稿では,各望ましくない概念に合わせて最適な目標概念を動的に選択するAdaptive Guided Erasure (AGE)法を提案する。 その結果, AGEは, 有効消去性能を維持しつつ, 無関係な概念を保存し, 最先端の消去手法を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-01-31T08:17:23Z)
• EraseBench: Understanding The Ripple Effects of Concept Erasure Techniques [20.2544260436998]
  概念消去技術は、テキスト・ツー・イメージ・モデルから不要な概念を取り除くことができる。 我々は,現在の概念消去技術の障害モードを体系的に検討する。 本稿では,概念消去手法をより深く評価するためのベンチマークであるEraseBENCHを紹介する。 以上の結果から,最先端技術でさえ品質維持に苦慮していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-01-16T20:42:17Z)
• RealEra: Semantic-level Concept Erasure via Neighbor-Concept Mining [25.769144703607214]
  概念消去は、モデルが保護され不適切な概念に関する知識を取り除くために提案されている。 この「概念残余」問題に対処するためにRealEraを提案する。 また,RealEraは,有効性,特異性,汎用性において,従来の消去方法よりも優れていたことを示す。
  論文  参考訳（メタデータ） (2024-10-11T17:55:30Z)
• Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models [76.39651111467832]
  本稿では,Reliable and Efficient Concept Erasure (RECE)を提案する。 派生した埋め込みによって表現される不適切なコンテンツを緩和するために、RECEはそれらをクロスアテンション層における無害な概念と整合させる。 新たな表現埋め込みの導出と消去を反復的に行い、不適切な概念の徹底的な消去を実現する。
  論文  参考訳（メタデータ） (2024-07-17T08:04:28Z)
• ClassDiffusion: More Aligned Personalization Tuning with Explicit Class Guidance [90.57708419344007]
  新しい概念を学ぶ際に, 概念空間を明示的に規制するために, ** 連続保存損失** を利用するテクニックである **ClassDiffusion** を提示する。 このアプローチは単純ではあるが、ターゲット概念の微調整過程における意味的ドリフトを効果的に防止する。
  論文  参考訳（メタデータ） (2024-05-27T17:50:10Z)
• Unlearning Concepts in Diffusion Model via Concept Domain Correction and Concept Preserving Gradient [20.698305103879232]
  我々はtextbfDoCo (textbfDomaintextbfCorrection) という新しい概念領域補正フレームワークを提案する。 本手法は, 対象概念の包括的未学習を保証し, 先進的学習を通して, センシティブな概念とアンカーの概念の出力領域を整合させることにより, 対象概念の包括的未学習を確実にする。 また、矛盾する勾配成分を緩和し、特定の概念を学習しながらモデルの実用性を維持するための概念保存的勾配手術手法も導入する。
  論文  参考訳（メタデータ） (2024-05-24T07:47:36Z)
• Separable Multi-Concept Erasure from Diffusion Models [52.51972530398691]
  大規模拡散モデルから安全でない概念を排除するために,分離可能なマルチコンセプト消去器(SepME)を提案する。 後者は最適化可能なモデルウェイトを分離し、各ウェイトインクリメントは特定の概念の消去に対応する。 広範囲にわたる実験は, 概念の排除, モデル性能の保存, 各種概念の消去・回復における柔軟性の確保に, アプローチの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-03T11:10:57Z)
• Implicit Concept Removal of Diffusion Models [92.55152501707995]
  テキスト・ツー・イメージ(T2I)拡散モデルはしばしば、透かしや安全でない画像のような望ましくない概念を不注意に生成する。 幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
  論文  参考訳（メタデータ） (2023-10-09T17:13:10Z)
• Linear Adversarial Concept Erasure [108.37226654006153]
  与えられた概念に対応する線形部分空間の同定と消去の問題を定式化する。 提案手法は, トラクタビリティと解釈性を維持しつつ, 深い非線形分類器のバイアスを効果的に軽減し, 高い表現性を有することを示す。
  論文  参考訳（メタデータ） (2022-01-28T13:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。