論文の概要: DIAGNOSIS: Detecting Unauthorized Data Usages in Text-to-image Diffusion
Models
- arxiv url: http://arxiv.org/abs/2307.03108v2
- Date: Sun, 4 Feb 2024 04:13:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 05:51:27.528954
- Title: DIAGNOSIS: Detecting Unauthorized Data Usages in Text-to-image Diffusion
Models
- Title(参考訳): DIAGNOSIS:テキストと画像の拡散モデルにおける不正なデータ使用の検出
- Authors: Zhenting Wang, Chen Chen, Lingjuan Lyu, Dimitris N. Metaxas, Shiqing
Ma
- Abstract要約: 保護されたデータセットにインジェクトされたコンテンツを配置することで、不正なデータ利用を検出する手法を提案する。
具体的には、ステルス画像ワープ機能を用いて、これらの画像にユニークな内容を追加することにより、保護された画像を修正する。
このモデルが注入されたコンテンツを記憶したかどうかを解析することにより、不正に不正に使用したモデルを検出することができる。
- 参考スコア(独自算出の注目度): 85.52369122266549
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent text-to-image diffusion models have shown surprising performance in
generating high-quality images. However, concerns have arisen regarding the
unauthorized data usage during the training or fine-tuning process. One example
is when a model trainer collects a set of images created by a particular artist
and attempts to train a model capable of generating similar images without
obtaining permission and giving credit to the artist. To address this issue, we
propose a method for detecting such unauthorized data usage by planting the
injected memorization into the text-to-image diffusion models trained on the
protected dataset. Specifically, we modify the protected images by adding
unique contents on these images using stealthy image warping functions that are
nearly imperceptible to humans but can be captured and memorized by diffusion
models. By analyzing whether the model has memorized the injected content
(i.e., whether the generated images are processed by the injected
post-processing function), we can detect models that had illegally utilized the
unauthorized data. Experiments on Stable Diffusion and VQ Diffusion with
different model training or fine-tuning methods (i.e, LoRA, DreamBooth, and
standard training) demonstrate the effectiveness of our proposed method in
detecting unauthorized data usages. Code:
https://github.com/ZhentingWang/DIAGNOSIS.
- Abstract(参考訳): 最近のテキストから画像への拡散モデルは、高品質な画像を生成するのに驚くべき性能を示している。
しかし、トレーニングや微調整プロセス中に不正なデータの使用が懸念されている。
例えば、モデルトレーナーが特定のアーティストが作成した一連のイメージを収集し、許可を得てアーティストにクレジットを与えることなく類似の画像を生成することができるモデルを訓練しようとする場合である。
そこで本研究では,保護データセット上で訓練されたテキストから画像への拡散モデルに入力された暗記を植え付けることにより,不正なデータ使用を検出する手法を提案する。
具体的には、人間にほとんど知覚できないが拡散モデルにより捉え記憶できるステルス画像ワープ機能を用いて、これらの画像にユニークな内容を加えることにより、保護された画像を修正する。
モデルが注入されたコンテンツ(つまり生成された画像が注入後処理機能によって処理されているかどうか)を記憶しているかどうかを分析することで、不正に不正に利用されたモデルを検出することができる。
異なるモデルトレーニングや微調整法(lora,dreambooth,standard training)を用いた安定拡散とvq拡散の実験は,不正なデータ使用量検出における提案手法の有効性を示す。
コード:https://github.com/ZhentingWang/DIAGNOSIS
関連論文リスト
- The Stronger the Diffusion Model, the Easier the Backdoor: Data
Poisoning to Induce Copyright Breaches Without Adjusting Finetuning Pipeline [33.051071182668174]
本研究では, DMの著作権保護に関連する脆弱性について, バックドアデータ中毒攻撃の導入による検討を行った。
本手法は,拡散モデルのトレーニングや微調整プロセスへのアクセスや制御を必要とせずに動作する。
論文 参考訳(メタデータ) (2024-01-07T08:37:29Z) - IMPRESS: Evaluating the Resilience of Imperceptible Perturbations
Against Unauthorized Data Usage in Diffusion-Based Generative AI [52.90082445349903]
拡散ベースの画像生成モデルは、アーティストのスタイルを模倣するアートイメージを作成したり、偽のコンテンツのためにオリジナルの画像を悪意を持って編集することができる。
知覚不能な摂動を追加することによって、元のイメージをそのような不正なデータ使用から保護する試みがいくつかなされている。
本研究では, IMPRESS という浄化摂動プラットフォームを導入し, 非受容性摂動の有効性を保護策として評価する。
論文 参考訳(メタデータ) (2023-10-30T03:33:41Z) - FT-Shield: A Watermark Against Unauthorized Fine-tuning in Text-to-Image
Diffusion Models [44.03524170130853]
FT-Shieldはテキスト・画像拡散モデルの微調整のために特別に設計された透かし方式である。
保護された透かし画像を用いて微調整されたモデルによって画像が生成されると、2値の透かし検出器によって画像上に透かしが検出される。
論文 参考訳(メタデータ) (2023-10-03T19:50:08Z) - Exposing the Fake: Effective Diffusion-Generated Images Detection [14.646957596560076]
本稿では拡散生成画像検出(SeDID)のためのステップワイド誤差と呼ばれる新しい検出法を提案する。
SeDIDは拡散モデルのユニークな特性、すなわち決定論的逆転と決定論的逆退誤差を利用する。
我々の研究は拡散モデル生成画像の識別に重要な貢献をしており、人工知能のセキュリティ分野における重要なステップとなっている。
論文 参考訳(メタデータ) (2023-07-12T16:16:37Z) - Unlearnable Examples for Diffusion Models: Protect Data from
Unauthorized Exploitation [20.47099939773165]
本研究では,不正な利用から画像を保護するために,Unlearnable Diffusion Perturbationを提案する。
この成果は、AI生成コンテンツに対するプライバシーと著作権の保護に寄与するため、現実世界のシナリオにおいて重要な意味を持つ。
論文 参考訳(メタデータ) (2023-06-02T20:19:19Z) - Discriminative Class Tokens for Text-to-Image Diffusion Models [107.98436819341592]
自由形式のテキストの表現可能性を利用した非侵襲的な微調整手法を提案する。
本手法は,従来の微調整法と比較して高速で,クラス内の画像の収集を必要としない。
i)標準拡散モデルよりも正確で高品質な生成画像,(ii)低リソース環境でのトレーニングデータの拡張,および(iii)誘導分類器の訓練に使用されるデータ情報を明らかにする。
論文 参考訳(メタデータ) (2023-03-30T05:25:20Z) - DIRE for Diffusion-Generated Image Detection [128.95822613047298]
拡散再構成誤り(DIRE)という新しい表現を提案する。
DIREは、予め訓練された拡散モデルにより、入力画像とその再構成画像間の誤差を測定する。
DIREは生成されたイメージと実際のイメージを区別するためのブリッジとして機能する、というヒントを提供する。
論文 参考訳(メタデータ) (2023-03-16T13:15:03Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-03-06T11:51:28Z) - Diffusion Art or Digital Forgery? Investigating Data Replication in
Diffusion Models [53.03978584040557]
生成した画像とトレーニングサンプルを比較し、コンテンツが複製されたことを検知する画像検索フレームワークについて検討する。
フレームワークをオックスフォード花、Celeb-A、ImageNet、LAIONなど複数のデータセットでトレーニングされた拡散モデルに適用することにより、トレーニングセットのサイズがコンテンツ複製の速度にどのように影響するかを議論する。
論文 参考訳(メタデータ) (2022-12-07T18:58:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。