論文の概要: Concept Steerers: Leveraging K-Sparse Autoencoders for Controllable Generations

• arxiv url: http://arxiv.org/abs/2501.19066v1
• Date: Fri, 31 Jan 2025 11:52:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 22:46:12.999403
• Title: Concept Steerers: Leveraging K-Sparse Autoencoders for Controllable Generations
• Title（参考訳）: コンセプトステアラー:制御可能ジェネレーションのためのKスパースオートエンコーダの活用
• Authors: Dahye Kim, Deepti Ghadiyaram,
• Abstract要約: テキスト・ツー・イメージ生成モデルは、敵対的な攻撃をしがちであり、不安全で非倫理的なコンテンツを不注意に生成する。 我々は,k-スパースオートエンコーダ(k-SAE)を活用して,効率的な,解釈可能な概念操作を実現する新しいフレームワークを提案する。 提案手法は, 安全でない概念除去において$mathbf20.01%$の改善を実現し, スタイル操作に有効であり, 現在の最先端技術よりも$mathbfsim5$x高速である。
• 参考スコア（独自算出の注目度）: 10.86252546314626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the remarkable progress in text-to-image generative models, they are prone to adversarial attacks and inadvertently generate unsafe, unethical content. Existing approaches often rely on fine-tuning models to remove specific concepts, which is computationally expensive, lack scalability, and/or compromise generation quality. In this work, we propose a novel framework leveraging k-sparse autoencoders (k-SAEs) to enable efficient and interpretable concept manipulation in diffusion models. Specifically, we first identify interpretable monosemantic concepts in the latent space of text embeddings and leverage them to precisely steer the generation away or towards a given concept (e.g., nudity) or to introduce a new concept (e.g., photographic style). Through extensive experiments, we demonstrate that our approach is very simple, requires no retraining of the base model nor LoRA adapters, does not compromise the generation quality, and is robust to adversarial prompt manipulations. Our method yields an improvement of $\mathbf{20.01\%}$ in unsafe concept removal, is effective in style manipulation, and is $\mathbf{\sim5}$x faster than current state-of-the-art.
• Abstract（参考訳）: テキストから画像への生成モデルが著しく進歩しているにもかかわらず、敵対的な攻撃や、不安全で非倫理的なコンテンツを不注意に生成する傾向にある。 既存のアプローチは、計算コストがかかり、スケーラビリティが欠如し、生成品質が損なわれる、特定の概念を取り除くための微調整モデルに依存していることが多い。 そこで本研究では,k-スパースオートエンコーダ(k-SAE)を利用して,拡散モデルにおける効率的かつ解釈可能な概念操作を実現する新しいフレームワークを提案する。 具体的には、まずテキスト埋め込みの潜在空間における解釈可能な単意味概念を特定し、それらを活用して、生成を正確に制御したり、与えられた概念(例えば、ヌード)へ向けたり、新しい概念(例えば、写真スタイル)を導入する。 大規模な実験を通じて、我々のアプローチは非常に単純で、ベースモデルやLoRAアダプタの再訓練を必要とせず、生成品質を損なうことなく、敵の迅速な操作に頑健であることを示す。 提案手法は, 安全でない概念除去において$\mathbf{20.01\%}$を改良し, スタイル操作に有効であり, 現在の最先端技術よりも$\mathbf{\sim5}$x高速である。

関連論文リスト

• ACE: Attentional Concept Erasure in Diffusion Models [0.0]
  Attentional Concept Erasureは、クローズドフォームのアテンション操作と軽量な微調整を統合している。 ACEは最先端の概念の除去とロバスト性を実現する。 従来の方法と比較して、ACEは一般性(概念と関連する用語)と特異性(無関係なコンテンツを保存する)のバランスが良い。
  論文  参考訳（メタデータ） (2025-04-16T08:16:28Z)
• Sparse Autoencoder as a Zero-Shot Classifier for Concept Erasing in Text-to-Image Diffusion Models [24.15603438969762]
  Interpret then Deactivate (ItD) は、T2I拡散モデルにおける正確な概念除去を可能にする新しいフレームワークである。 ItDはスパースオートエンコーダを使用して、各概念を複数の機能の組み合わせとして解釈する。 さらなるトレーニングを必要とせずに、簡単に複数の概念を消去できる。
  論文  参考訳（メタデータ） (2025-03-12T14:46:40Z)
• SAeUron: Interpretable Concept Unlearning in Diffusion Models with Sparse Autoencoders [4.013156524547073]
  拡散モデルは、必然的に有害または望ましくないコンテンツを生成できる。 最近の機械学習アプローチは潜在的な解決策を提供するが、透明性を欠いていることが多い。 本稿では,スパースオートエンコーダが学習した特徴を利用して不要な概念を除去する手法であるSAeUronを紹介する。
  論文  参考訳（メタデータ） (2025-01-29T23:29:47Z)
• Continuous Concepts Removal in Text-to-image Diffusion Models [27.262721132177845]
  著作権を侵害したり、乱暴な主題を描写するコンテンツを作成するためのテキスト・ツー・イメージモデルの可能性について懸念が高まっている。 本稿では,知識蒸留パラダイムを設計したCCRTという新しい手法を提案する。 一連のテキストプロンプトを使用することで、連続的な概念削除プロセス中のテキストイメージのアライメント動作を制限します。
  論文  参考訳（メタデータ） (2024-11-30T20:40:10Z)
• Safety Without Semantic Disruptions: Editing-free Safe Image Generation via Context-preserving Dual Latent Reconstruction [88.18235230849554]
  大規模で未処理のデータセットでマルチモーダル生成モデルをトレーニングすることで、ユーザは有害で安全でない、議論の余地のない、文化的に不適切なアウトプットにさらされる可能性がある。 我々は、安全な埋め込みと、より安全な画像を生成するために、潜伏空間の重み付け可能な総和による修正拡散プロセスを活用する。 安全と検閲のトレードオフを特定し、倫理的AIモデルの開発に必要な視点を提示します。
  論文  参考訳（メタデータ） (2024-11-21T09:47:13Z)
• Scaling Concept With Text-Guided Diffusion Models [53.80799139331966]
  概念を置き換える代わりに、概念自体を強化するか、あるいは抑圧できるだろうか? ScalingConceptは、分解された概念を、新しい要素を導入することなく、実際の入力でスケールアップまたはスケールダウンする、シンプルで効果的な方法である。 さらに重要なのは、ScalingConceptは画像とオーディオドメインにまたがる様々な新しいゼロショットアプリケーションを可能にすることだ。
  論文  参考訳（メタデータ） (2024-10-31T17:09:55Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
  ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。 本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。 我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
  論文  参考訳（メタデータ） (2024-07-19T17:50:11Z)
• Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models [76.39651111467832]
  本稿では,Reliable and Efficient Concept Erasure (RECE)を提案する。 派生した埋め込みによって表現される不適切なコンテンツを緩和するために、RECEはそれらをクロスアテンション層における無害な概念と整合させる。 新たな表現埋め込みの導出と消去を反復的に行い、不適切な概念の徹底的な消去を実現する。
  論文  参考訳（メタデータ） (2024-07-17T08:04:28Z)
• Safeguard Text-to-Image Diffusion Models with Human Feedback Inversion [51.931083971448885]
  本稿では,Human Feedback Inversion (HFI) というフレームワークを提案する。 実験の結果,画像品質を維持しながら,好ましくないコンテンツ生成を著しく削減し,公的な領域におけるAIの倫理的展開に寄与することが示された。
  論文  参考訳（メタデータ） (2024-07-17T05:21:41Z)
• Erasing Concepts from Text-to-Image Diffusion Models with Few-shot Unlearning [0.0]
  本稿では,数発のアンラーニングを用いてテキストエンコーダを更新する新しい概念消去手法を提案する。 提案手法は10秒以内に概念を消去し,概念の消去をこれまで以上に容易に行えるようにする。
  論文  参考訳（メタデータ） (2024-05-12T14:01:05Z)
• All but One: Surgical Concept Erasing with Model Preservation in Text-to-Image Diffusion Models [22.60023885544265]
  大規模なデータセットには、性的に明示的な、著作権のある、または望ましくないコンテンツが含まれており、モデルがそれらを直接生成することができる。 拡散モデルにおける概念消去に取り組むために、ファインチューニングアルゴリズムが開発された。 これらの課題をすべて解決する新しいアプローチを提示します。
  論文  参考訳（メタデータ） (2023-12-20T07:04:33Z)
• Ring-A-Bell! How Reliable are Concept Removal Methods for Diffusion Models? [52.238883592674696]
  Ring-A-Bellは、T2I拡散モデルのためのモデルに依存しないレッドチームツールである。 これは、不適切なコンテンツの生成に対応する拡散モデルに対する問題的プロンプトを特定する。 この結果から,安全プロンプトベンチマークの操作により,既存の安全メカニズムを回避できると考えられるプロンプトを変換できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-16T02:11:20Z)
• Implicit Concept Removal of Diffusion Models [92.55152501707995]
  テキスト・ツー・イメージ(T2I)拡散モデルはしばしば、透かしや安全でない画像のような望ましくない概念を不注意に生成する。 幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
  論文  参考訳（メタデータ） (2023-10-09T17:13:10Z)
• Transferable Sparse Adversarial Attack [62.134905824604104]
  オーバーフィッティング問題を緩和するジェネレータアーキテクチャを導入し、転送可能なスパース対逆例を効率的に作成する。 提案手法は,他の最適化手法よりも700$times$高速な推論速度を実現する。
  論文  参考訳（メタデータ） (2021-05-31T06:44:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。