論文の概要: Membership Inference on Text-to-Image Diffusion Models via Conditional Likelihood Discrepancy

• arxiv url: http://arxiv.org/abs/2405.14800v2
• Date: Wed, 29 May 2024 14:03:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 11:43:58.585253
• Title: Membership Inference on Text-to-Image Diffusion Models via Conditional Likelihood Discrepancy
• Title（参考訳）: 条件付き相違によるテキスト・画像拡散モデルの会員推定
• Authors: Shengfang Zhai, Huanran Chen, Yinpeng Dong, Jiajun Li, Qingni Shen, Yansong Gao, Hang Su, Yang Liu,
• Abstract要約: 本稿では,テキスト・画像拡散モデルにおける条件オーバーフィッティング現象を示し,これらのモデルが与えられた画像の条件分布に過度に適合する傾向があることを示す。 我々は,条件的類似性(CLiD)の分析指標を導出し,会員推定を行う。 実験結果から,本手法は様々なデータ分布やスケールにおいて,従来手法よりも有意に優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 36.156856772794065
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Text-to-image diffusion models have achieved tremendous success in the field of controllable image generation, while also coming along with issues of privacy leakage and data copyrights. Membership inference arises in these contexts as a potential auditing method for detecting unauthorized data usage. While some efforts have been made on diffusion models, they are not applicable to text-to-image diffusion models due to the high computation overhead and enhanced generalization capabilities. In this paper, we first identify a conditional overfitting phenomenon in text-to-image diffusion models, indicating that these models tend to overfit the conditional distribution of images given the text rather than the marginal distribution of images. Based on this observation, we derive an analytical indicator, namely Conditional Likelihood Discrepancy (CLiD), to perform membership inference, which reduces the stochasticity in estimating the memorization of individual samples. Experimental results demonstrate that our method significantly outperforms previous methods across various data distributions and scales. Additionally, our method shows superior resistance to overfitting mitigation strategies such as early stopping and data augmentation.
• Abstract（参考訳）: テキストから画像への拡散モデルは、制御可能な画像生成の分野で大きな成功を収め、同時にプライバシーの漏洩やデータ著作権の問題も抱えている。 メンバーシップ推論は、許可されていないデータの使用を検出する潜在的な監査方法として、これらの文脈で発生する。 拡散モデルにはいくつかの取り組みがあるが、高い計算オーバーヘッドと一般化能力の強化のため、テキストから画像への拡散モデルには適用できない。 本稿では,テキスト・画像拡散モデルにおける条件オーバーフィット現象を最初に同定し,これらのモデルが画像の限界分布よりもテキストの条件分布に過度に適合する傾向があることを示す。 本研究は,各サンプルの記憶度を推定する確率を減少させる条件的類似性(CLiD)の分析指標を導出する。 実験結果から,本手法は様々なデータ分布やスケールにおいて,従来手法よりも有意に優れていたことが示唆された。 さらに,本手法は,早期停止やデータ拡張といった緩和戦略の過度な適合に対する抵抗性も優れていることを示す。

関連論文リスト

• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  拡散モデルは、大規模な生成画像モデルの分野を支配してきた。 本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Learning Diffusion Model from Noisy Measurement using Principled Expectation-Maximization Method [9.173055778539641]
  本稿では,任意の破損型を持つ雑音データから拡散モデルを反復的に学習する,原則的予測最大化(EM)フレームワークを提案する。 筆者らはモンテカルロ法を用いて,ノイズ測定からクリーンな画像を正確に推定し,次いで再構成画像を用いて拡散モデルを訓練した。
  論文  参考訳（メタデータ） (2024-10-15T03:54:59Z)
• Diffusion Models Learn Low-Dimensional Distributions via Subspace Clustering [15.326641037243006]
  拡散モデルは画像分布を効果的に学習し、新しいサンプルを生成する。 我々は、この現象に関する理論的な洞察を、重要な経験的観測を利用して提供する。 基礎となる分布を学習するのに必要となるサンプルの最小数は、本質的な次元と線形にスケールすることを示す。
  論文  参考訳（メタデータ） (2024-09-04T04:14:02Z)
• Integrating Amortized Inference with Diffusion Models for Learning Clean Distribution from Corrupted Images [19.957503854446735]
  拡散モデル(DM)は、逆問題を解決するための強力な生成モデルとして登場した。 FlowDiffは条件付き正規化フローモデルを利用して、破損したデータソース上で拡散モデルのトレーニングを容易にする共同トレーニングパラダイムである。 実験の結果,FlowDiffは広範囲の破損したデータソースにわたるクリーンな分布を効果的に学習できることがわかった。
  論文  参考訳（メタデータ） (2024-07-15T18:33:20Z)
• Adversarial Examples are Misaligned in Diffusion Model Manifolds [7.979892202477701]
  本研究は,拡散モデルのレンズによる敵攻撃の研究に焦点をあてる。 我々の焦点は、拡散モデルを利用して、画像に対するこれらの攻撃によって引き起こされる異常を検出し、分析することにある。 その結果、良性画像と攻撃画像とを効果的に識別できる顕著な能力が示された。
  論文  参考訳（メタデータ） (2024-01-12T15:29:21Z)
• The Journey, Not the Destination: How Data Guides Diffusion Models [75.19694584942623]
  大規模なデータセットでトレーニングされた拡散モデルは、顕著な品質と多様性のフォトリアリスティックなイメージを合成することができる。 i)拡散モデルの文脈でデータ属性の形式的概念を提供し、(ii)そのような属性を反実的に検証することを可能にする枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-11T08:39:43Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• Discffusion: Discriminative Diffusion Models as Few-shot Vision and Language Learners [88.07317175639226]
  本稿では,事前学習したテキストと画像の拡散モデルを数ショットの識別学習者に変換する新しい手法,DSDを提案する。 本手法は, 安定拡散モデルにおいて, 視覚情報とテキスト情報の相互影響を捉えるために, クロスアテンションスコアを用いている。
  論文  参考訳（メタデータ） (2023-05-18T05:41:36Z)
• Bi-Noising Diffusion: Towards Conditional Diffusion Models with Generative Restoration Priors [64.24948495708337]
  本研究では,事前訓練した非条件拡散モデルを用いて,予測サンプルをトレーニングデータ多様体に導入する手法を提案する。 我々は,超解像,着色,乱流除去,画像劣化作業におけるアプローチの有効性を実証するための総合的な実験を行った。
  論文  参考訳（メタデータ） (2022-12-14T17:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。