論文の概要: Could It Be Generated? Towards Practical Analysis of Memorization in Text-To-Image Diffusion Models

• arxiv url: http://arxiv.org/abs/2405.05846v1
• Date: Thu, 9 May 2024 15:32:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 12:53:04.777306
• Title: Could It Be Generated? Towards Practical Analysis of Memorization in Text-To-Image Diffusion Models
• Title（参考訳）: 生成可能か? : テキスト・画像拡散モデルにおける記憶の実践的分析に向けて
• Authors: Zhe Ma, Xuhong Zhang, Qingming Li, Tianyu Du, Wenzhi Chen, Zonghui Wang, Shouling Ji,
• Abstract要約: テキスト・画像拡散モデルにおける記憶の実際的解析を行う。 暗記に必要な3つの条件,それぞれ類似性,存在,および確率を同定する。 次に,モデルの予測誤差と画像複製の相関関係を明らかにする。
• 参考スコア（独自算出の注目度）: 39.607005089747936
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The past few years have witnessed substantial advancement in text-guided image generation powered by diffusion models. However, it was shown that text-to-image diffusion models are vulnerable to training image memorization, raising concerns on copyright infringement and privacy invasion. In this work, we perform practical analysis of memorization in text-to-image diffusion models. Targeting a set of images to protect, we conduct quantitive analysis on them without need to collect any prompts. Specifically, we first formally define the memorization of image and identify three necessary conditions of memorization, respectively similarity, existence and probability. We then reveal the correlation between the model's prediction error and image replication. Based on the correlation, we propose to utilize inversion techniques to verify the safety of target images against memorization and measure the extent to which they are memorized. Model developers can utilize our analysis method to discover memorized images or reliably claim safety against memorization. Extensive experiments on the Stable Diffusion, a popular open-source text-to-image diffusion model, demonstrate the effectiveness of our analysis method.
• Abstract（参考訳）: 過去数年間、拡散モデルを利用したテキスト誘導画像生成の大幅な進歩が見られた。 しかし,テキスト・画像拡散モデルは画像記憶の訓練に脆弱であり,著作権侵害やプライバシー侵害への懸念が高まっている。 本研究では,テキスト・画像拡散モデルにおける記憶の実際的解析を行う。 保護するイメージのセットをターゲットとして,プロンプトの収集を必要とせず,定量分析を行う。 具体的には、まず画像の記憶を正式に定義し、それぞれ類似性、存在、および確率の3つの必要な記憶条件を特定する。 次に,モデルの予測誤差と画像複製の相関関係を明らかにする。 相関関係に基づいて,対象画像の暗記に対する安全性を検証し,その暗記範囲を計測するための逆解析手法を提案する。 モデル開発者は、我々の分析手法を利用して記憶された画像を発見したり、記憶に対する安全性を確実に主張することができる。 オープンソーステキスト・画像拡散モデルであるStable Diffusionの大規模な実験により,解析手法の有効性が実証された。

関連論文リスト

• MemBench: Memorized Image Trigger Prompt Dataset for Diffusion Models [28.64962324938148]
  本稿では,画像記憶の緩和手法を評価するための最初のベンチマークであるMemBenchを紹介する。 本稿では,トリガープロンプトと一般プロンプトの両方で評価された指標について述べる。
  論文  参考訳（メタデータ） (2024-07-24T08:46:58Z)
• Unveiling Structural Memorization: Structural Membership Inference Attack for Text-to-Image Diffusion Models [17.946671657675022]
  メンバー推論攻撃(MIA)は、プライバシ保護のためのツールとして機能するよう提案されている。 テキストから画像への拡散モデルに適した,シンプルで効果的なMIA手法を提案する。 我々の手法は、最先端の性能を達成するだけでなく、様々な歪みに対して顕著な堅牢性を示す。
  論文  参考訳（メタデータ） (2024-07-18T08:07:28Z)
• Memorized Images in Diffusion Models share a Subspace that can be Located and Deleted [15.162296378581853]
  大規模テキスト・画像拡散モデルはテキスト入力から高品質な画像を生成するのに優れている。 研究は、トレーニングデータを記憶し複製する傾向を示すため、懸念が生じる。 データ重複、複製されたキャプション、トークンのトリガーなどの原因を探る。
  論文  参考訳（メタデータ） (2024-06-01T15:47:13Z)
• Unveiling and Mitigating Memorization in Text-to-image Diffusion Models through Cross Attention [62.671435607043875]
  研究は、テキストから画像への拡散モデルがトレーニングデータから画像を複製し、著作権侵害やプライバシーのリスクに対する大きな懸念を引き起こすことを示唆している。 暗記中、クロスアテンションは特定のトークンの埋め込みに不均等に集中する傾向にあることが明らかとなった。 拡散モデルにおける記憶の検出と緩和のための革新的なアプローチを導入する。
  論文  参考訳（メタデータ） (2024-03-17T01:27:00Z)
• Reverse Stable Diffusion: What prompt was used to generate this image? [80.82832715884597]
  生成拡散モデルにより生成された画像からテキストプロンプトを予測する新しいタスクを導入する。 本稿では,複数ラベルの語彙分類を目的とし,協調的即時回帰と複数ラベルの語彙分類からなる新しい学習フレームワークを提案する。 我々はDiffusionDBデータセットの実験を行い、安定拡散によって生成された画像からテキストプロンプトを予測する。
  論文  参考訳（メタデータ） (2023-08-02T23:39:29Z)
• DIAGNOSIS: Detecting Unauthorized Data Usages in Text-to-image Diffusion Models [79.71665540122498]
  保護されたデータセットにインジェクトされたコンテンツを配置することで、不正なデータ利用を検出する手法を提案する。 具体的には、ステルス画像ワープ機能を用いて、これらの画像にユニークな内容を追加することにより、保護された画像を修正する。 このモデルが注入されたコンテンツを記憶したかどうかを解析することにより、不正に不正に使用したモデルを検出することができる。
  論文  参考訳（メタデータ） (2023-07-06T16:27:39Z)
• Understanding and Mitigating Copying in Diffusion Models [53.03978584040557]
  安定拡散のような拡散モデルによって生成される画像は、ますます広まっている。 最近の研究や訴訟でも、これらのモデルがトレーニングデータを複製する傾向にあることが示されている。
  論文  参考訳（メタデータ） (2023-05-31T17:58:02Z)
• Discffusion: Discriminative Diffusion Models as Few-shot Vision and Language Learners [88.07317175639226]
  本稿では,事前学習したテキストと画像の拡散モデルを数ショットの識別学習者に変換する新しい手法,DSDを提案する。 本手法は, 安定拡散モデルにおいて, 視覚情報とテキスト情報の相互影響を捉えるために, クロスアテンションスコアを用いている。
  論文  参考訳（メタデータ） (2023-05-18T05:41:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。