論文の概要: How to Detect Unauthorized Data Usages in Text-to-image Diffusion Models
- arxiv url: http://arxiv.org/abs/2307.03108v1
- Date: Thu, 6 Jul 2023 16:27:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-07 13:27:36.668789
- Title: How to Detect Unauthorized Data Usages in Text-to-image Diffusion Models
- Title（参考訳）: テキスト・画像拡散モデルにおける不正データ利用の検出方法
- Authors: Zhenting Wang, Chen Chen, Yuchen Liu, Lingjuan Lyu, Dimitris Metaxas,
Shiqing Ma
- Abstract要約: 保護されたデータセット上でトレーニングされたテキスト・画像拡散モデルに記憶を注入することで、不正なデータ利用を検出する手法を提案する。
具体的には,人間の視覚に受容できないステルス画像ラッピング機能などの画像に,ユニークな内容を追加することで,保護された画像データセットを変更する。
モデルがインジェクトされたコンテンツ(すなわち、生成された画像が選択された後処理機能によって処理されているかどうか)を記憶しているかどうかを解析することにより、不正に使用したモデルを検出することができる。
- 参考スコア（独自算出の注目度）: 33.286252059926966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent text-to-image diffusion models have shown surprising performance in
generating high-quality images. However, concerns have arisen regarding the
unauthorized usage of data during the training process. One example is when a
model trainer collects a set of images created by a particular artist and
attempts to train a model capable of generating similar images without
obtaining permission from the artist. To address this issue, it becomes crucial
to detect unauthorized data usage. In this paper, we propose a method for
detecting such unauthorized data usage by planting injected memorization into
the text-to-image diffusion models trained on the protected dataset.
Specifically, we modify the protected image dataset by adding unique contents
on the images such as stealthy image wrapping functions that are imperceptible
to human vision but can be captured and memorized by diffusion models. By
analyzing whether the model has memorization for the injected content (i.e.,
whether the generated images are processed by the chosen post-processing
function), we can detect models that had illegally utilized the unauthorized
data. Our experiments conducted on Stable Diffusion and LoRA model demonstrate
the effectiveness of the proposed method in detecting unauthorized data usages.
- Abstract（参考訳）: 最近のテキストから画像への拡散モデルは、高品質な画像を生成するのに驚くべき性能を示している。
しかし、トレーニングプロセス中に不正なデータの使用が懸念されている。
例えば、モデルトレーナーが特定のアーティストによって作成された画像の集合を収集し、アーティストの許可を得ずに類似の画像を生成することができるモデルを訓練しようとする場合である。
この問題に対処するには、不正なデータ利用を検出することが不可欠になる。
本稿では,保護されたデータセット上で訓練されたテキスト間拡散モデルに,インジェクトした記憶を植え付けることで,そのような不正なデータ利用を検出する手法を提案する。
具体的には,人間の視力に影響されないが拡散モデルにより捉え,記憶できるステルス画像ラッピング機能などの画像に,ユニークな内容を加えることで,保護された画像データセットを変更する。
モデルがインジェクトされたコンテンツ(すなわち、生成された画像が選択された後処理機能によって処理されているかどうか)を記憶しているかどうかを解析することにより、不正に使用したモデルを検出することができる。
安定拡散とloraモデルを用いた実験により,提案手法の有効性が実証された。
関連論文リスト
- Towards Reliable Verification of Unauthorized Data Usage in Personalized Text-to-Image Diffusion Models [23.09033991200197]
新しいパーソナライズ技術は、特定のテーマやスタイルのイメージを作成するために、事前訓練されたベースモデルをカスタマイズするために提案されている。
このような軽量なソリューションは、パーソナライズされたモデルが不正なデータからトレーニングされているかどうかに関して、新たな懸念を生じさせる。
我々は、ブラックボックスパーソナライズされたテキスト・ツー・イメージ拡散モデルにおいて、不正なデータ使用を積極的に追跡する新しい手法であるSIRENを紹介する。
論文 参考訳（メタデータ） (2024-10-14T12:29:23Z) - CGI-DM: Digital Copyright Authentication for Diffusion Models via Contrasting Gradient Inversion [26.70115339710056]
Contrasting Gradient Inversion for Diffusion Models (CGI-DM) はデジタル著作権認証のための鮮やかな視覚表現を特徴とする新しい手法である。
入力画像が同じである場合、2つのモデルの潜在変数間のKLばらつきを定式化する。
WikiArtとDreamboothデータセットの実験は、デジタル著作権認証におけるCGI-DMの精度を実証している。
論文 参考訳（メタデータ） (2024-03-17T10:06:38Z) - IMPRESS: Evaluating the Resilience of Imperceptible Perturbations
Against Unauthorized Data Usage in Diffusion-Based Generative AI [52.90082445349903]
拡散ベースの画像生成モデルは、アーティストのスタイルを模倣するアートイメージを作成したり、偽のコンテンツのためにオリジナルの画像を悪意を持って編集することができる。
知覚不能な摂動を追加することによって、元のイメージをそのような不正なデータ使用から保護する試みがいくつかなされている。
本研究では, IMPRESS という浄化摂動プラットフォームを導入し, 非受容性摂動の有効性を保護策として評価する。
論文 参考訳（メタデータ） (2023-10-30T03:33:41Z) - Exposing the Fake: Effective Diffusion-Generated Images Detection [14.646957596560076]
本稿では拡散生成画像検出(SeDID)のためのステップワイド誤差と呼ばれる新しい検出法を提案する。
SeDIDは拡散モデルのユニークな特性、すなわち決定論的逆転と決定論的逆退誤差を利用する。
我々の研究は拡散モデル生成画像の識別に重要な貢献をしており、人工知能のセキュリティ分野における重要なステップとなっている。
論文 参考訳（メタデータ） (2023-07-12T16:16:37Z) - Unlearnable Examples for Diffusion Models: Protect Data from Unauthorized Exploitation [25.55296442023984]
本研究では,不正な利用から画像を保護するために,Unlearnable Diffusion Perturbationを提案する。
この成果は、AI生成コンテンツに対するプライバシーと著作権の保護に寄与するため、現実世界のシナリオにおいて重要な意味を持つ。
論文 参考訳（メタデータ） (2023-06-02T20:19:19Z) - Discriminative Class Tokens for Text-to-Image Diffusion Models [107.98436819341592]
自由形式のテキストの表現可能性を利用した非侵襲的な微調整手法を提案する。
本手法は,従来の微調整法と比較して高速で,クラス内の画像の収集を必要としない。
i)標準拡散モデルよりも正確で高品質な生成画像,(ii)低リソース環境でのトレーニングデータの拡張,および(iii)誘導分類器の訓練に使用されるデータ情報を明らかにする。
論文 参考訳（メタデータ） (2023-03-30T05:25:20Z) - DIRE for Diffusion-Generated Image Detection [128.95822613047298]
拡散再構成誤り(DIRE)という新しい表現を提案する。
DIREは、予め訓練された拡散モデルにより、入力画像とその再構成画像間の誤差を測定する。
DIREは生成されたイメージと実際のイメージを区別するためのブリッジとして機能する、というヒントを提供する。
論文 参考訳（メタデータ） (2023-03-16T13:15:03Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-03-06T11:51:28Z) - Diffusion Art or Digital Forgery? Investigating Data Replication in
Diffusion Models [53.03978584040557]
生成した画像とトレーニングサンプルを比較し、コンテンツが複製されたことを検知する画像検索フレームワークについて検討する。
フレームワークをオックスフォード花、Celeb-A、ImageNet、LAIONなど複数のデータセットでトレーニングされた拡散モデルに適用することにより、トレーニングセットのサイズがコンテンツ複製の速度にどのように影響するかを議論する。
論文 参考訳（メタデータ） (2022-12-07T18:58:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。