論文の概要: Backdooring Textual Inversion for Concept Censorship

• arxiv url: http://arxiv.org/abs/2308.10718v1
• Date: Mon, 21 Aug 2023 13:39:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 13:18:35.572674
• Title: Backdooring Textual Inversion for Concept Censorship
• Title（参考訳）: 概念知覚のためのバックドアテクスチャインバージョン
• Authors: Yutong wu, Jie Zhang, Florian Kerschbaum, and Tianwei Zhang
• Abstract要約: 本稿では、テキスト・インバージョン(TI)と呼ばれるパーソナライズ技術に焦点を当てる。 TIは特定のオブジェクトに関する詳細な情報を含む単語を埋め込む。 TIモデルの概念検閲を実現するために, TI埋め込みにバックドアを注入することを提案する。
• 参考スコア（独自算出の注目度）: 34.84218971929207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have witnessed success in AIGC (AI Generated Content). People can make use of a pre-trained diffusion model to generate images of high quality or freely modify existing pictures with only prompts in nature language. More excitingly, the emerging personalization techniques make it feasible to create specific-desired images with only a few images as references. However, this induces severe threats if such advanced techniques are misused by malicious users, such as spreading fake news or defaming individual reputations. Thus, it is necessary to regulate personalization models (i.e., concept censorship) for their development and advancement. In this paper, we focus on the personalization technique dubbed Textual Inversion (TI), which is becoming prevailing for its lightweight nature and excellent performance. TI crafts the word embedding that contains detailed information about a specific object. Users can easily download the word embedding from public websites like Civitai and add it to their own stable diffusion model without fine-tuning for personalization. To achieve the concept censorship of a TI model, we propose leveraging the backdoor technique for good by injecting backdoors into the Textual Inversion embeddings. Briefly, we select some sensitive words as triggers during the training of TI, which will be censored for normal use. In the subsequent generation stage, if the triggers are combined with personalized embeddings as final prompts, the model will output a pre-defined target image rather than images including the desired malicious concept. To demonstrate the effectiveness of our approach, we conduct extensive experiments on Stable Diffusion, a prevailing open-sourced text-to-image model. Our code, data, and results are available at https://concept-censorship.github.io.
• Abstract（参考訳）: 近年、AIGC(AI Generated Content)で成功を収めている。 事前学習した拡散モデルを使って高品質の画像を生成したり、自然言語でのみプロンプトで既存の画像を自由に修正することができる。 さらにエキサイティングなことに、新しいパーソナライゼーション技術により、ほんの数枚のイメージを参照として、特定の好みの画像を作成することができる。 しかし、そのような高度な技術が偽ニュースの拡散や個人の評判を悪用するなど、悪意のあるユーザーによって悪用された場合、深刻な脅威を引き起こす。 したがって、その発展と発展のためにパーソナライズモデル(すなわち概念検閲)を規制する必要がある。 本稿では,テキスト・インバージョン (TI) と呼ばれるパーソナライズ技術に注目し,その軽量さと優れた性能で普及しつつある。 TIは特定のオブジェクトに関する詳細な情報を含む単語を埋め込む。 ユーザーは、Civitaiのような公開ウェブサイトから簡単に単語をダウンロードして、パーソナライズのために微調整することなく、自身の安定した拡散モデルに追加することができる。 tiモデルの概念検閲を実現するために,バックドアをテキストインバージョン埋め込みに注入することにより,バックドア技術を活用することを提案する。 手短に、tiのトレーニング中にトリガーとしてセンシティブな単語を選択し、通常の使用のために検閲されます。 次の生成段階では、トリガーとパーソナライズされた埋め込みを最終プロンプトとして組み合わせると、モデルは望まれる悪意のある概念を含むイメージではなく、事前に定義されたターゲット画像を出力する。 提案手法の有効性を実証するため,我々はオープンソースのテキスト・画像・モデルである安定拡散実験を行った。 私たちのコード、データ、結果はhttps://concept-censorship.github.ioで閲覧できます。

関連論文リスト

• Context-Aware Full Body Anonymization using Text-to-Image Diffusion Models [1.5088726951324294]
  匿名化は、現実世界のデータセットにおける個人の賢明な情報を保護する上で重要な役割を担っている。 本稿では,Stable Diffusionを生成バックエンドとして利用する全身匿名化のためのワークフローを提案する。 提案手法は,画像品質,解像度,インセプションスコア(IS),Frechet Inception Distance(FID)に対して,最先端の匿名化パイプラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-11T06:04:30Z)
• Backdooring Bias into Text-to-Image Models [16.495996266157274]
  敵がバックドア攻撃によって任意のバイアスを加えることで、良質なユーザーが画像を生成することさえも影響することを示した。 私たちの攻撃は、テキストプロンプトで与えられた意味情報を保存しているため、ステルス状態のままです。 我々は、現在の最先端の生成モデルが、この攻撃を安価かつあらゆる敵に対して実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-06-21T14:53:19Z)
• Stealthy Targeted Backdoor Attacks against Image Captioning [16.409633596670368]
  本稿では,画像キャプションモデルに対するバックドア攻撃を標的とした新たな手法を提案する。 本手法は,物体検出に普遍摂動技術を活用することで,まず特別なトリガを学習する。 我々のアプローチは、モデルクリーンパフォーマンスに無視できる影響を与えながら、高い攻撃成功率を達成することができる。
  論文  参考訳（メタデータ） (2024-06-09T18:11:06Z)
• Catch You Everything Everywhere: Guarding Textual Inversion via Concept Watermarking [67.60174799881597]
  本稿では,透かし情報を対象概念に埋め込んで,その概念に基づいて生成された画像から抽出する新しい概念透かしを提案する。 実際には、コンセプトオーナは、自身のコンセプトを異なる透かし(e, serial number)をプラットフォームにアップロードすることができ、プラットフォームは異なるシリアル番号を、その後の追跡と法医学のために割り当てる。
  論文  参考訳（メタデータ） (2023-09-12T03:33:13Z)
• BAGM: A Backdoor Attack for Manipulating Text-to-Image Generative Models [54.19289900203071]
  テキストから画像への生成人工知能の普及は、大衆の関心を集めている。 ユーザを微妙に操作するコンテンツを生成するために,この技術を攻撃できることを実証する。 テキストから画像生成モデル(BAGM)に対するバックドアアタックを提案する。 我々の攻撃は、生成過程の3段階にわたる3つの一般的なテキスト・画像生成モデルをターゲットにした最初の攻撃である。
  論文  参考訳（メタデータ） (2023-07-31T08:34:24Z)
• Ablating Concepts in Text-to-Image Diffusion Models [57.9371041022838]
  大規模テキスト・画像拡散モデルでは、強力な構成能力を持つ高忠実度画像を生成することができる。 これらのモデルは典型的には膨大な量のインターネットデータに基づいて訓練されており、しばしば著作権のある資料、ライセンスされた画像、個人写真を含んでいる。 本稿では,事前訓練されたモデルにおいて,目標概念の生成を防止し,効率的に概念を宣言する手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T17:59:42Z)
• Rickrolling the Artist: Injecting Backdoors into Text Encoders for Text-to-Image Synthesis [16.421253324649555]
  テキスト誘導生成モデルに対するバックドアアタックを導入する。 我々の攻撃はエンコーダをわずかに変更するだけで、クリーンなプロンプトで画像生成に不審なモデル動作が明らかになることはない。
  論文  参考訳（メタデータ） (2022-11-04T12:36:36Z)
• eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [87.52504764677226]
  大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
  論文  参考訳（メタデータ） (2022-11-02T17:43:04Z)
• An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion [60.05823240540769]
  テキスト・ツー・イメージモデルは、自然言語による創造をガイドする前例のない自由を提供する。 ここでは、そのような創造的な自由を可能にするシンプルなアプローチを提示します。 一つの単語の埋め込みが、ユニークで多様な概念を捉えるのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-02T17:50:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。