論文の概要: Membership Inference Attacks for Face Images Against Fine-Tuned Latent Diffusion Models
- arxiv url: http://arxiv.org/abs/2502.11619v1
- Date: Mon, 17 Feb 2025 10:01:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:10:42.806216
- Title: Membership Inference Attacks for Face Images Against Fine-Tuned Latent Diffusion Models
- Title(参考訳): 微調整潜伏拡散モデルに対する顔画像の会員推定攻撃
- Authors: Lauritz Christian Holme, Anton Mosquera Storgaard, Siavash Arjomand Bigdeli,
- Abstract要約: 本稿では,Latent Diffusion Model (LDM) の微調整に一組の顔画像を用いた場合の推測の可能性について検討する。
攻撃モデルのトレーニングに生成された補助データを使用することで、パフォーマンスが大幅に向上する。
提案したMIAは、顔画像に微調整されたLCDに対して現実的なブラックボックス設定で実現可能である。
- 参考スコア(独自算出の注目度): 3.1391694651394215
- License:
- Abstract: The rise of generative image models leads to privacy concerns when it comes to the huge datasets used to train such models. This paper investigates the possibility of inferring if a set of face images was used for fine-tuning a Latent Diffusion Model (LDM). A Membership Inference Attack (MIA) method is presented for this task. Using generated auxiliary data for the training of the attack model leads to significantly better performance, and so does the use of watermarks. The guidance scale used for inference was found to have a significant influence. If a LDM is fine-tuned for long enough, the text prompt used for inference has no significant influence. The proposed MIA is found to be viable in a realistic black-box setup against LDMs fine-tuned on face-images.
- Abstract(参考訳): 生成的イメージモデルの台頭は、そのようなモデルのトレーニングに使用される巨大なデータセットに関して、プライバシー上の懸念を引き起こす。
本稿では,Latent Diffusion Model (LDM) の微調整に一組の顔画像を用いた場合の推測の可能性を検討する。
このタスクには、メンバーシップ推論アタック(MIA)手法が提案される。
攻撃モデルのトレーニングに生成された補助データを使用することで、性能が大幅に向上し、透かしも使用される。
推論に用いた指導尺度は,有意な影響が認められた。
LDMが十分に微調整されている場合、推論に使用されるテキストプロンプトは大きな影響を与えない。
提案したMIAは、顔画像に微調整されたLCDに対して現実的なブラックボックス設定で実現可能である。
関連論文リスト
- Unveiling Structural Memorization: Structural Membership Inference Attack for Text-to-Image Diffusion Models [17.946671657675022]
メンバー推論攻撃(MIA)は、プライバシ保護のためのツールとして機能するよう提案されている。
テキストから画像への拡散モデルに適した,シンプルで効果的なMIA手法を提案する。
我々の手法は、最先端の性能を達成するだけでなく、様々な歪みに対して顕著な堅牢性を示す。
論文 参考訳(メタデータ) (2024-07-18T08:07:28Z) - Disrupting Diffusion: Token-Level Attention Erasure Attack against Diffusion-based Customization [19.635385099376066]
悪意のあるユーザは、DreamBoothのような拡散ベースのカスタマイズメソッドを誤用して、偽画像を作った。
本稿では,拡散モデル出力を阻害する新しい逆攻撃法であるDisDiffを提案する。
論文 参考訳(メタデータ) (2024-05-31T02:45:31Z) - DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルだが効果的なアプローチであるDEEMを提案する。
DEEMは、トレーニング可能なパラメータが少なく、事前学習データが少なく、ベースモデルのサイズが小さいことを利用して、モデル幻覚を軽減するために、強化された堅牢性と優れた能力を示す。
論文 参考訳(メタデータ) (2024-05-24T05:46:04Z) - Adversarial Examples are Misaligned in Diffusion Model Manifolds [7.979892202477701]
本研究は,拡散モデルのレンズによる敵攻撃の研究に焦点をあてる。
我々の焦点は、拡散モデルを利用して、画像に対するこれらの攻撃によって引き起こされる異常を検出し、分析することにある。
その結果、良性画像と攻撃画像とを効果的に識別できる顕著な能力が示された。
論文 参考訳(メタデータ) (2024-01-12T15:29:21Z) - Adv-Diffusion: Imperceptible Adversarial Face Identity Attack via Latent
Diffusion Model [61.53213964333474]
本稿では,生の画素空間ではなく,潜在空間における非知覚的対角的アイデンティティ摂動を生成できる統一的なフレームワークAdv-Diffusionを提案する。
具体的には,周囲のセマンティックな摂動を生成するために,個人性に敏感な条件付き拡散生成モデルを提案する。
設計された適応強度に基づく対向摂動アルゴリズムは、攻撃の伝達性とステルス性の両方を確保することができる。
論文 参考訳(メタデータ) (2023-12-18T15:25:23Z) - An Efficient Membership Inference Attack for the Diffusion Model by
Proximal Initialization [58.88327181933151]
本稿では,効率的なクエリベースのメンバシップ推論攻撃(MIA)を提案する。
実験結果から,提案手法は離散時間と連続時間の両方の拡散モデル上で,2つのクエリで競合性能を達成できることが示唆された。
我々の知る限り、本研究はテキスト音声タスクにおけるMIAへの拡散モデルのロバスト性について初めて研究するものである。
論文 参考訳(メタデータ) (2023-05-26T16:38:48Z) - Training Diffusion Models with Reinforcement Learning [82.29328477109826]
拡散モデルは、ログのような目的に近似して訓練される。
本稿では,下流目的のための拡散モデルを直接最適化するための強化学習手法について検討する。
本稿では,多段階決定問題としてデノベーションを行うことによって,ポリシー勾配アルゴリズムのクラスを実現する方法について述べる。
論文 参考訳(メタデータ) (2023-05-22T17:57:41Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-03-06T11:51:28Z) - Dual Manifold Adversarial Robustness: Defense against Lp and non-Lp
Adversarial Attacks [154.31827097264264]
敵の訓練は、境界Lpノルムを持つ攻撃脅威モデルに対する一般的な防衛戦略である。
本稿では,2次元マニフォールド逆行訓練(DMAT)を提案する。
我々のDMATは、通常の画像の性能を改善し、Lp攻撃に対する標準的な敵の訓練と同等の堅牢性を達成する。
論文 参考訳(メタデータ) (2020-09-05T06:00:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。