論文の概要: FT-Shield: A Watermark Against Unauthorized Fine-tuning in Text-to-Image
Diffusion Models
- arxiv url: http://arxiv.org/abs/2310.02401v1
- Date: Tue, 3 Oct 2023 19:50:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 17:52:34.944950
- Title: FT-Shield: A Watermark Against Unauthorized Fine-tuning in Text-to-Image
Diffusion Models
- Title(参考訳): FT-Shield:テキスト・画像拡散モデルにおける不正微調整に対する透かし
- Authors: Yingqian Cui, Jie Ren, Yuping Lin, Han Xu, Pengfei He, Yue Xing, Wenqi
Fan, Hui Liu, Jiliang Tang
- Abstract要約: FT-Shieldはテキスト・画像拡散モデルの微調整のために特別に設計された透かし方式である。
保護された透かし画像を用いて微調整されたモデルによって画像が生成されると、2値の透かし検出器によって画像上に透かしが検出される。
- 参考スコア(独自算出の注目度): 44.03524170130853
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-to-image generative models based on latent diffusion models (LDM) have
demonstrated their outstanding ability in generating high-quality and
high-resolution images according to language prompt. Based on these powerful
latent diffusion models, various fine-tuning methods have been proposed to
achieve the personalization of text-to-image diffusion models such as artistic
style adaptation and human face transfer. However, the unauthorized usage of
data for model personalization has emerged as a prevalent concern in relation
to copyright violations. For example, a malicious user may use the fine-tuning
technique to generate images which mimic the style of a painter without his/her
permission. In light of this concern, we have proposed FT-Shield, a
watermarking approach specifically designed for the fine-tuning of
text-to-image diffusion models to aid in detecting instances of infringement.
We develop a novel algorithm for the generation of the watermark to ensure that
the watermark on the training images can be quickly and accurately transferred
to the generated images of text-to-image diffusion models. A watermark will be
detected on an image by a binary watermark detector if the image is generated
by a model that has been fine-tuned using the protected watermarked images.
Comprehensive experiments were conducted to validate the effectiveness of
FT-Shield.
- Abstract(参考訳): 潜在拡散モデル(ldm)に基づくテキストから画像への生成モデルは、言語プロンプトに応じて高品質で高解像度な画像を生成する能力を示す。
これらの強力な潜伏拡散モデルに基づいて,芸術的スタイル適応や人物の顔伝達といったテキスト間拡散モデルのパーソナライズを実現するために,様々な微調整手法が提案されている。
しかし、モデルパーソナライズのためのデータの使用は、著作権侵害に関する一般的な懸念として現れている。
例えば、悪意のあるユーザーは、微調整技術を使用して、許可なく画家のスタイルを模倣した画像を生成することができる。
そこで本研究では,テキスト・画像拡散モデルの微調整を目的とした透かし手法であるFT-Shieldを提案する。
トレーニング画像上の透かしをテキスト・ツー・イメージ拡散モデルの生成された画像に迅速かつ正確に転送できるように,透かし生成のための新しいアルゴリズムを開発した。
保護された透かし画像を用いて微調整されたモデルによって画像が生成されると、2値の透かし検出器によって画像上に透かしが検出される。
FTシールドの有効性を検証するための総合実験を行った。
関連論文リスト
- The Stronger the Diffusion Model, the Easier the Backdoor: Data
Poisoning to Induce Copyright Breaches Without Adjusting Finetuning Pipeline [33.051071182668174]
本研究では, DMの著作権保護に関連する脆弱性について, バックドアデータ中毒攻撃の導入による検討を行った。
本手法は,拡散モデルのトレーニングや微調整プロセスへのアクセスや制御を必要とせずに動作する。
論文 参考訳(メタデータ) (2024-01-07T08:37:29Z) - Image Inpainting via Tractable Steering of Diffusion Models [54.13818673257381]
本稿では,トラクタブル確率モデル(TPM)の制約後部を正確に,かつ効率的に計算する能力を活用することを提案する。
具体的には、確率回路(PC)と呼ばれる表現型TPMのクラスを採用する。
提案手法は, 画像の全体的な品質とセマンティックコヒーレンスを, 計算オーバーヘッドを10%加えるだけで一貫的に改善できることを示す。
論文 参考訳(メタデータ) (2023-11-28T21:14:02Z) - IMPRESS: Evaluating the Resilience of Imperceptible Perturbations
Against Unauthorized Data Usage in Diffusion-Based Generative AI [52.90082445349903]
拡散ベースの画像生成モデルは、アーティストのスタイルを模倣するアートイメージを作成したり、偽のコンテンツのためにオリジナルの画像を悪意を持って編集することができる。
知覚不能な摂動を追加することによって、元のイメージをそのような不正なデータ使用から保護する試みがいくつかなされている。
本研究では, IMPRESS という浄化摂動プラットフォームを導入し, 非受容性摂動の有効性を保護策として評価する。
論文 参考訳(メタデータ) (2023-10-30T03:33:41Z) - Wide Flat Minimum Watermarking for Robust Ownership Verification of GANs [23.639074918667625]
ホワイトボックス攻撃に対するロバスト性を向上したGANのための新しいマルチビット・ボックスフリー透かし手法を提案する。
透かしは、GANトレーニング中に余分な透かし損失項を追加することで埋め込む。
その結果,透かしの存在が画像の品質に与える影響は無視できることがわかった。
論文 参考訳(メタデータ) (2023-10-25T18:38:10Z) - T2IW: Joint Text to Image & Watermark Generation [74.20148555503127]
画像と透かし(T2IW)への共同テキスト生成のための新しいタスクを提案する。
このT2IWスキームは、意味的特徴と透かし信号が画素内で互換性を持つように強制することにより、複合画像を生成する際に、画像品質に最小限のダメージを与える。
提案手法により,画像品質,透かしの可視性,透かしの堅牢性などの顕著な成果が得られた。
論文 参考訳(メタデータ) (2023-09-07T16:12:06Z) - DIAGNOSIS: Detecting Unauthorized Data Usages in Text-to-image Diffusion
Models [85.52369122266549]
保護されたデータセットにインジェクトされたコンテンツを配置することで、不正なデータ利用を検出する手法を提案する。
具体的には、ステルス画像ワープ機能を用いて、これらの画像にユニークな内容を追加することにより、保護された画像を修正する。
このモデルが注入されたコンテンツを記憶したかどうかを解析することにより、不正に不正に使用したモデルを検出することができる。
論文 参考訳(メタデータ) (2023-07-06T16:27:39Z) - Tree-Ring Watermarks: Fingerprints for Diffusion Images that are
Invisible and Robust [55.91987293510401]
生成モデルのアウトプットを透かしは、著作権をトレースし、AI生成コンテンツによる潜在的な害を防ぐ重要なテクニックである。
本稿では,拡散モデル出力を頑健にフィンガープリントするTree-Ring Watermarkingという新しい手法を提案する。
私たちの透かしは画像空間に意味的に隠れており、現在デプロイされている透かしよりもはるかに堅牢です。
論文 参考訳(メタデータ) (2023-05-31T17:00:31Z) - DiffusionShield: A Watermark for Copyright Protection against Generative
Diffusion Models [43.61804104334356]
DiffusionShieldは、所有権情報を認識不能な透かしにエンコードし、画像に注入することで、GDMによる著作権侵害から画像を保護する。
DiffusionShieldは透かしの均一性と共同最適化法により、元の画像の歪みが低く、透かし検出性能が高く、長文を埋め込むことができる。
論文 参考訳(メタデータ) (2023-05-25T11:59:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。