論文の概要: DIAGNOSIS: Detecting Unauthorized Data Usages in Text-to-image Diffusion Models

• arxiv url: http://arxiv.org/abs/2307.03108v3
• Date: Tue, 9 Apr 2024 16:31:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 20:36:08.069759
• Title: DIAGNOSIS: Detecting Unauthorized Data Usages in Text-to-image Diffusion Models
• Title（参考訳）: DIAGNOSIS:テキストと画像の拡散モデルにおける不正なデータ使用の検出
• Authors: Zhenting Wang, Chen Chen, Lingjuan Lyu, Dimitris N. Metaxas, Shiqing Ma,
• Abstract要約: 保護されたデータセットにインジェクトされたコンテンツを配置することで、不正なデータ利用を検出する手法を提案する。 具体的には、ステルス画像ワープ機能を用いて、これらの画像にユニークな内容を追加することにより、保護された画像を修正する。 このモデルが注入されたコンテンツを記憶したかどうかを解析することにより、不正に不正に使用したモデルを検出することができる。
• 参考スコア（独自算出の注目度）: 79.71665540122498
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent text-to-image diffusion models have shown surprising performance in generating high-quality images. However, concerns have arisen regarding the unauthorized data usage during the training or fine-tuning process. One example is when a model trainer collects a set of images created by a particular artist and attempts to train a model capable of generating similar images without obtaining permission and giving credit to the artist. To address this issue, we propose a method for detecting such unauthorized data usage by planting the injected memorization into the text-to-image diffusion models trained on the protected dataset. Specifically, we modify the protected images by adding unique contents on these images using stealthy image warping functions that are nearly imperceptible to humans but can be captured and memorized by diffusion models. By analyzing whether the model has memorized the injected content (i.e., whether the generated images are processed by the injected post-processing function), we can detect models that had illegally utilized the unauthorized data. Experiments on Stable Diffusion and VQ Diffusion with different model training or fine-tuning methods (i.e, LoRA, DreamBooth, and standard training) demonstrate the effectiveness of our proposed method in detecting unauthorized data usages. Code: https://github.com/ZhentingWang/DIAGNOSIS.
• Abstract（参考訳）: 最近のテキスト・画像拡散モデルでは、高品質な画像を生成する際、驚くべき性能を示している。 しかし、トレーニングや微調整の過程において、不正なデータの使用が懸念されている。 例えば、モデルトレーナーが特定のアーティストによって作成された画像の集合を収集し、同様の画像を生成することができるモデルを、アーティストの許可を得ずに訓練しようとする場合である。 この問題に対処するために,保護されたデータセット上でトレーニングされたテキスト・画像拡散モデルにインジェクトされた記憶を組み込むことにより,そのような不正なデータ利用を検出する手法を提案する。 具体的には、人間にほとんど知覚できないが拡散モデルにより捉え記憶できるステルス画像ワープ機能を用いて、これらの画像にユニークな内容を加えることにより、保護された画像を修正する。 モデルがインジェクトされたコンテンツを記憶したかどうか(すなわち、生成した画像がインジェクトされた後処理機能によって処理されたかどうか)を解析することにより、不正に使用したモデルを検出することができる。 モデルトレーニングや微調整(LoRA, DreamBooth, 標準トレーニングなど)による安定拡散とVQ拡散の実験により, 提案手法の有効性が示された。 コード:https://github.com/ZhentingWang/DIAGNOSIS

関連論文リスト

• Towards Reliable Verification of Unauthorized Data Usage in Personalized Text-to-Image Diffusion Models [23.09033991200197]
  新しいパーソナライズ技術は、特定のテーマやスタイルのイメージを作成するために、事前訓練されたベースモデルをカスタマイズするために提案されている。 このような軽量なソリューションは、パーソナライズされたモデルが不正なデータからトレーニングされているかどうかに関して、新たな懸念を生じさせる。 我々は、ブラックボックスパーソナライズされたテキスト・ツー・イメージ拡散モデルにおいて、不正なデータ使用を積極的に追跡する新しい手法であるSIRENを紹介する。
  論文  参考訳（メタデータ） (2024-10-14T12:29:23Z)
• CGI-DM: Digital Copyright Authentication for Diffusion Models via Contrasting Gradient Inversion [26.70115339710056]
  Contrasting Gradient Inversion for Diffusion Models (CGI-DM) はデジタル著作権認証のための鮮やかな視覚表現を特徴とする新しい手法である。 入力画像が同じである場合、2つのモデルの潜在変数間のKLばらつきを定式化する。 WikiArtとDreamboothデータセットの実験は、デジタル著作権認証におけるCGI-DMの精度を実証している。
  論文  参考訳（メタデータ） (2024-03-17T10:06:38Z)
• IMPRESS: Evaluating the Resilience of Imperceptible Perturbations Against Unauthorized Data Usage in Diffusion-Based Generative AI [52.90082445349903]
  拡散ベースの画像生成モデルは、アーティストのスタイルを模倣するアートイメージを作成したり、偽のコンテンツのためにオリジナルの画像を悪意を持って編集することができる。 知覚不能な摂動を追加することによって、元のイメージをそのような不正なデータ使用から保護する試みがいくつかなされている。 本研究では, IMPRESS という浄化摂動プラットフォームを導入し, 非受容性摂動の有効性を保護策として評価する。
  論文  参考訳（メタデータ） (2023-10-30T03:33:41Z)
• Exposing the Fake: Effective Diffusion-Generated Images Detection [14.646957596560076]
  本稿では拡散生成画像検出(SeDID)のためのステップワイド誤差と呼ばれる新しい検出法を提案する。 SeDIDは拡散モデルのユニークな特性、すなわち決定論的逆転と決定論的逆退誤差を利用する。 我々の研究は拡散モデル生成画像の識別に重要な貢献をしており、人工知能のセキュリティ分野における重要なステップとなっている。
  論文  参考訳（メタデータ） (2023-07-12T16:16:37Z)
• Unlearnable Examples for Diffusion Models: Protect Data from Unauthorized Exploitation [25.55296442023984]
  本研究では,不正な利用から画像を保護するために,Unlearnable Diffusion Perturbationを提案する。 この成果は、AI生成コンテンツに対するプライバシーと著作権の保護に寄与するため、現実世界のシナリオにおいて重要な意味を持つ。
  論文  参考訳（メタデータ） (2023-06-02T20:19:19Z)
• Discriminative Class Tokens for Text-to-Image Diffusion Models [107.98436819341592]
  自由形式のテキストの表現可能性を利用した非侵襲的な微調整手法を提案する。 本手法は,従来の微調整法と比較して高速で,クラス内の画像の収集を必要としない。 i)標準拡散モデルよりも正確で高品質な生成画像,(ii)低リソース環境でのトレーニングデータの拡張,および(iii)誘導分類器の訓練に使用されるデータ情報を明らかにする。
  論文  参考訳（メタデータ） (2023-03-30T05:25:20Z)
• DIRE for Diffusion-Generated Image Detection [128.95822613047298]
  拡散再構成誤り(DIRE)という新しい表現を提案する。 DIREは、予め訓練された拡散モデルにより、入力画像とその再構成画像間の誤差を測定する。 DIREは生成されたイメージと実際のイメージを区別するためのブリッジとして機能する、というヒントを提供する。
  論文  参考訳（メタデータ） (2023-03-16T13:15:03Z)
• Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
  微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。 そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-06T11:51:28Z)
• Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models [53.03978584040557]
  生成した画像とトレーニングサンプルを比較し、コンテンツが複製されたことを検知する画像検索フレームワークについて検討する。 フレームワークをオックスフォード花、Celeb-A、ImageNet、LAIONなど複数のデータセットでトレーニングされた拡散モデルに適用することにより、トレーニングセットのサイズがコンテンツ複製の速度にどのように影響するかを議論する。
  論文  参考訳（メタデータ） (2022-12-07T18:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。