論文の概要: Robust Concept Erasure Using Task Vectors
- arxiv url: http://arxiv.org/abs/2404.03631v1
- Date: Thu, 4 Apr 2024 17:52:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-05 13:42:53.613010
- Title: Robust Concept Erasure Using Task Vectors
- Title(参考訳): タスクベクトルを用いたロバスト概念消去
- Authors: Minh Pham, Kelly O. Marshall, Chinmay Hegde, Niv Cohen,
- Abstract要約: 我々は,ユーザのプロンプトの消去を条件にするのではなく,テキスト・ツー・イメージモデルから概念を無条件に消去することに注力する。
本稿では,モデル入力空間内に単語埋め込みの大規模な集合を見出すDiverse Inversionという手法を提案する。
セットの多様性を奨励することで、予想外のプロンプトに対する評価がより堅牢になることが分かりました。
- 参考スコア(独自算出の注目度): 26.004086624621255
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the rapid growth of text-to-image models, a variety of techniques have been suggested to prevent undesirable image generations. Yet, these methods often only protect against specific user prompts and have been shown to allow unsafe generations with other inputs. Here we focus on unconditionally erasing a concept from a text-to-image model rather than conditioning the erasure on the user's prompt. We first show that compared to input-dependent erasure methods, concept erasure that uses Task Vectors (TV) is more robust to unexpected user inputs, not seen during training. However, TV-based erasure can also affect the core performance of the edited model, particularly when the required edit strength is unknown. To this end, we propose a method called Diverse Inversion, which we use to estimate the required strength of the TV edit. Diverse Inversion finds within the model input space a large set of word embeddings, each of which induces the generation of the target concept. We find that encouraging diversity in the set makes our estimation more robust to unexpected prompts. Finally, we show that Diverse Inversion enables us to apply a TV edit only to a subset of the model weights, enhancing the erasure capabilities while better maintaining the core functionality of the model.
- Abstract(参考訳): テキスト・ツー・イメージ・モデルの急速な成長に伴い、望ましくない画像生成を防止するために様々な手法が提案されている。
しかし、これらの方法はしばしば特定のユーザープロンプトに対してのみ保護され、他の入力で安全でない世代を許可することが示されている。
ここでは、ユーザのプロンプトの消去を条件にするのではなく、テキスト・ツー・イメージモデルから概念を無条件に消去することに焦点を当てる。
まず, 入力依存消去法と比較して, タスクベクトル(TV)を用いた概念消去は, トレーニング中ではなく, 予期せぬユーザ入力に対してより堅牢であることを示す。
しかし、テレビベースの消去は、特に必要な編集強度が不明な場合には、編集モデルのコアパフォーマンスにも影響を及ぼす可能性がある。
そこで我々は,テレビ編集に必要な強度を推定するために,ディバース・インバージョン(Diverse Inversion)という手法を提案する。
ディヴァース・インバージョンは、モデル入力空間内に大量の単語の埋め込みを見つけ、それぞれがターゲット概念の生成を誘導する。
セットの多様性を奨励することで、予想外のプロンプトに対する評価がより堅牢になることが分かりました。
最後に、Diverse Inversionにより、モデルの重みのサブセットにのみTV編集を適用することができ、モデルのコア機能を維持しつつ、消去能力を向上できることを示す。
関連論文リスト
- All but One: Surgical Concept Erasing with Model Preservation in
Text-to-Image Diffusion Models [22.60023885544265]
大規模なデータセットには、性的に明示的な、著作権のある、または望ましくないコンテンツが含まれており、モデルがそれらを直接生成することができる。
拡散モデルにおける概念消去に取り組むために、ファインチューニングアルゴリズムが開発された。
これらの課題をすべて解決する新しいアプローチを提示します。
論文 参考訳(メタデータ) (2023-12-20T07:04:33Z) - Multi-Concept T2I-Zero: Tweaking Only The Text Embeddings and Nothing
Else [75.6806649860538]
我々は,事前学習した拡散モデルを用いた自然多概念生成という,より野心的な目標を考える。
マルチコンセプト生成性能を著しく低下させる概念支配と非局所的貢献を観察する。
我々は、より現実的なマルチコンセプトのテキスト・ツー・イメージ生成のために、テキストの埋め込みを微調整することで、上記の問題を克服する最小の低コストのソリューションを設計する。
論文 参考訳(メタデータ) (2023-10-11T12:05:44Z) - Circumventing Concept Erasure Methods For Text-to-Image Generative
Models [26.804057000265434]
テキストから画像への生成モデルは、非常に幅広い概念のフォトリアリスティック画像を生成することができる。
これらのモデルには、性的に明示的なコンテンツを特徴とする画像を生成する可能性など、多くの欠点がある。
テキスト・ツー・イメージ・モデルからセンシティブな概念を「取り除く」ための様々な手法が提案されている。
論文 参考訳(メタデータ) (2023-08-03T02:34:01Z) - Break-A-Scene: Extracting Multiple Concepts from a Single Image [80.47666266017207]
テキストシーン分解の課題を紹介する。
本稿では,対象概念の存在を示すマスクを用いた入力画像の拡張を提案する。
次に、新しい2段階のカスタマイズプロセスを示す。
論文 参考訳(メタデータ) (2023-05-25T17:59:04Z) - TVTSv2: Learning Out-of-the-box Spatiotemporal Visual Representations at
Scale [59.01246141215051]
言語指導の観点から,その劣化要因を分析した。
本稿では,テキストエンコーダの一般化能力を維持するために,教師なし事前学習戦略を提案する。
最大10億のパラメータを持つTVTSv2と呼ばれる一連のモデルを作成します。
論文 参考訳(メタデータ) (2023-05-23T15:44:56Z) - Selective Amnesia: A Continual Learning Approach to Forgetting in Deep
Generative Models [12.188240438657512]
我々は、事前学習された深層生成モデルの概念を選択的に忘れる連続学習にインスパイアされた手法を導出する。
提案手法はSelective Amnesiaと呼ばれ,ユーザがどのように概念を忘れるべきかを指定することで,制御可能な記憶を可能にする。
論文 参考訳(メタデータ) (2023-05-17T10:53:58Z) - Forget-Me-Not: Learning to Forget in Text-to-Image Diffusion Models [79.50701155336198]
textbfForget-Me-Notは、適切に設定されたテキスト・ツー・イメージモデルから、指定されたID、オブジェクト、スタイルを30秒で安全に削除するように設計されている。
我々は,Forget-Me-Notが,モデルの性能を他の概念に保ちながら,ターゲットとなる概念を効果的に排除できることを実証した。
また、Stable Diffusionの軽量モデルパッチとして適応することができ、コンセプト操作と便利な配布を可能にしている。
論文 参考訳(メタデータ) (2023-03-30T17:58:11Z) - Ablating Concepts in Text-to-Image Diffusion Models [57.9371041022838]
大規模テキスト・画像拡散モデルでは、強力な構成能力を持つ高忠実度画像を生成することができる。
これらのモデルは典型的には膨大な量のインターネットデータに基づいて訓練されており、しばしば著作権のある資料、ライセンスされた画像、個人写真を含んでいる。
本稿では,事前訓練されたモデルにおいて,目標概念の生成を防止し,効率的に概念を宣言する手法を提案する。
論文 参考訳(メタデータ) (2023-03-23T17:59:42Z) - Designing an Encoder for Fast Personalization of Text-to-Image Models [57.62449900121022]
テキスト・ツー・イメージ・パーソナライズのためのエンコーダに基づくドメインチューニング手法を提案する。
まず、特定のドメインからターゲット概念の1つのイメージを入力として取り込むエンコーダです。
第二に、追加概念を効果的に取り入れる方法を学ぶためのテキスト・ツー・イメージ・モデルのための正規化された重み付けオフセットのセット。
論文 参考訳(メタデータ) (2023-02-23T18:46:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。