論文の概要: Concept Steerers: Leveraging K-Sparse Autoencoders for Controllable Generations

• arxiv url: http://arxiv.org/abs/2501.19066v1
• Date: Fri, 31 Jan 2025 11:52:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:01:49.098544
• Title: Concept Steerers: Leveraging K-Sparse Autoencoders for Controllable Generations
• Title（参考訳）: コンセプトステアラー:制御可能ジェネレーションのためのKスパースオートエンコーダの活用
• Authors: Dahye Kim, Deepti Ghadiyaram,
• Abstract要約: テキスト・ツー・イメージ生成モデルは、敵対的な攻撃をしがちであり、不安全で非倫理的なコンテンツを不注意に生成する。 我々は,k-スパースオートエンコーダ(k-SAE)を活用して,効率的な,解釈可能な概念操作を実現する新しいフレームワークを提案する。 提案手法は, 安全でない概念除去において$mathbf20.01%$の改善を実現し, スタイル操作に有効であり, 現在の最先端技術よりも$mathbfsim5$x高速である。
• 参考スコア（独自算出の注目度）: 10.86252546314626
• License:
• Abstract: Despite the remarkable progress in text-to-image generative models, they are prone to adversarial attacks and inadvertently generate unsafe, unethical content. Existing approaches often rely on fine-tuning models to remove specific concepts, which is computationally expensive, lack scalability, and/or compromise generation quality. In this work, we propose a novel framework leveraging k-sparse autoencoders (k-SAEs) to enable efficient and interpretable concept manipulation in diffusion models. Specifically, we first identify interpretable monosemantic concepts in the latent space of text embeddings and leverage them to precisely steer the generation away or towards a given concept (e.g., nudity) or to introduce a new concept (e.g., photographic style). Through extensive experiments, we demonstrate that our approach is very simple, requires no retraining of the base model nor LoRA adapters, does not compromise the generation quality, and is robust to adversarial prompt manipulations. Our method yields an improvement of $\mathbf{20.01\%}$ in unsafe concept removal, is effective in style manipulation, and is $\mathbf{\sim5}$x faster than current state-of-the-art.
• Abstract（参考訳）: テキストから画像への生成モデルが著しく進歩しているにもかかわらず、敵対的な攻撃や、不安全で非倫理的なコンテンツを不注意に生成する傾向にある。 既存のアプローチは、計算コストがかかり、スケーラビリティが欠如し、生成品質が損なわれる、特定の概念を取り除くための微調整モデルに依存していることが多い。 そこで本研究では,k-スパースオートエンコーダ(k-SAE)を利用して,拡散モデルにおける効率的かつ解釈可能な概念操作を実現する新しいフレームワークを提案する。 具体的には、まずテキスト埋め込みの潜在空間における解釈可能な単意味概念を特定し、それらを活用して、生成を正確に制御したり、与えられた概念(例えば、ヌード)へ向けたり、新しい概念(例えば、写真スタイル)を導入する。 大規模な実験を通じて、我々のアプローチは非常に単純で、ベースモデルやLoRAアダプタの再訓練を必要とせず、生成品質を損なうことなく、敵の迅速な操作に頑健であることを示す。 提案手法は, 安全でない概念除去において$\mathbf{20.01\%}$を改良し, スタイル操作に有効であり, 現在の最先端技術よりも$\mathbf{\sim5}$x高速である。

関連論文リスト

• Scaling Concept With Text-Guided Diffusion Models [53.80799139331966]
  概念を置き換える代わりに、概念自体を強化するか、あるいは抑圧できるだろうか? ScalingConceptは、分解された概念を、新しい要素を導入することなく、実際の入力でスケールアップまたはスケールダウンする、シンプルで効果的な方法である。 さらに重要なのは、ScalingConceptは画像とオーディオドメインにまたがる様々な新しいゼロショットアプリケーションを可能にすることだ。
  論文  参考訳（メタデータ） (2024-10-31T17:09:55Z)
• How to Continually Adapt Text-to-Image Diffusion Models for Flexible Customization? [91.49559116493414]
  本稿では,CIDM(Concept-Incremental Text-to-image Diffusion Model)を提案する。 破滅的な忘れと概念の無視を解決し、新しいカスタマイズタスクを概念的な方法で学習する。 実験により、CIDMが既存のカスタム拡散モデルを上回ることが確認された。
  論文  参考訳（メタデータ） (2024-10-23T06:47:29Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models [76.39651111467832]
  本稿では,Reliable and Efficient Concept Erasure (RECE)を提案する。 派生した埋め込みによって表現される不適切なコンテンツを緩和するために、RECEはそれらをクロスアテンション層における無害な概念と整合させる。 新たな表現埋め込みの導出と消去を反復的に行い、不適切な概念の徹底的な消去を実現する。
  論文  参考訳（メタデータ） (2024-07-17T08:04:28Z)
• Safeguard Text-to-Image Diffusion Models with Human Feedback Inversion [51.931083971448885]
  本稿では,Human Feedback Inversion (HFI) というフレームワークを提案する。 実験の結果,画像品質を維持しながら,好ましくないコンテンツ生成を著しく削減し,公的な領域におけるAIの倫理的展開に寄与することが示された。
  論文  参考訳（メタデータ） (2024-07-17T05:21:41Z)
• ConceptPrune: Concept Editing in Diffusion Models via Skilled Neuron Pruning [10.201633236997104]
  大規模テキスト・画像拡散モデルでは、印象的な画像生成能力が示されている。 提案するConceptPruneでは,まず,望ましくない概念を生成するための事前学習モデル内の重要な領域を同定する。 芸術的スタイル、ヌード性、オブジェクトの消去、ジェンダーのデバイアスなど、さまざまな概念に対する実験は、ターゲットのコンセプトをごくわずかに刈って効率よく消去できることを実証している。
  論文  参考訳（メタデータ） (2024-05-29T16:19:37Z)
• Pruning for Robust Concept Erasing in Diffusion Models [27.67237515704348]
  概念消去のための新しいプルーニングベースの戦略を導入する。 本手法は, 除去対象概念に関連する重要なパラメータを選択的に抽出し, 概念関連ニューロンの感度を低下させる。 実験の結果, 逆入力に抵抗するモデルの能力は著しく向上した。
  論文  参考訳（メタデータ） (2024-05-26T11:42:20Z)
• Beyond Concept Bottleneck Models: How to Make Black Boxes Intervenable? [8.391254800873599]
  本稿では,設計によって解釈できない事前学習型ニューラルネットワークに対して,概念に基づく介入を行う手法を提案する。 我々は、インターベンタビリティの概念を概念に基づく介入の有効性の尺度として定式化し、この定義を微調整ブラックボックスに活用する。
  論文  参考訳（メタデータ） (2024-01-24T16:02:14Z)
• All but One: Surgical Concept Erasing with Model Preservation in Text-to-Image Diffusion Models [22.60023885544265]
  大規模なデータセットには、性的に明示的な、著作権のある、または望ましくないコンテンツが含まれており、モデルがそれらを直接生成することができる。 拡散モデルにおける概念消去に取り組むために、ファインチューニングアルゴリズムが開発された。 これらの課題をすべて解決する新しいアプローチを提示します。
  論文  参考訳（メタデータ） (2023-12-20T07:04:33Z)
• Implicit Concept Removal of Diffusion Models [92.55152501707995]
  テキスト・ツー・イメージ(T2I)拡散モデルはしばしば、透かしや安全でない画像のような望ましくない概念を不注意に生成する。 幾何学駆動制御に基づく新しい概念除去手法であるGeom-Erasingを提案する。
  論文  参考訳（メタデータ） (2023-10-09T17:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。