論文の概要: DLADiff: A Dual-Layer Defense Framework against Fine-Tuning and Zero-Shot Customization of Diffusion Models

• arxiv url: http://arxiv.org/abs/2511.19910v1
• Date: Tue, 25 Nov 2025 04:35:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.270686
• Title: DLADiff: A Dual-Layer Defense Framework against Fine-Tuning and Zero-Shot Customization of Diffusion Models
• Title（参考訳）: DLADiff:拡散モデルの微調整およびゼロショットカスタマイズに対する二重層防御フレームワーク
• Authors: Jun Jia, Hongyi Miao, Yingjie Zhou, Linhan Cao, Yanwei Jiang, Wangqiu Zhou, Dandan Zhu, Hua Yang, Wei Sun, Xiongkuo Min, Guangtao Zhai,
• Abstract要約: 悪意のあるアクターは、拡散モデルのカスタマイズを利用することができ、人の数または1つのイメージだけで、元のアイデンティティとほぼ同一の合成IDを作成することができる。 本稿では,ファインチューニング法とゼロショット法の両方を保護するためのDual-Layer Anti-Diffusion (DLADiff)を提案する。
• 参考スコア（独自算出の注目度）: 74.9510349783152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid advancement of diffusion models, a variety of fine-tuning methods have been developed, enabling high-fidelity image generation with high similarity to the target content using only 3 to 5 training images. More recently, zero-shot generation methods have emerged, capable of producing highly realistic outputs from a single reference image without altering model weights. However, technological advancements have also introduced significant risks to facial privacy. Malicious actors can exploit diffusion model customization with just a few or even one image of a person to create synthetic identities nearly identical to the original identity. Although research has begun to focus on defending against diffusion model customization, most existing defense methods target fine-tuning approaches and neglect zero-shot generation defenses. To address this issue, this paper proposes Dual-Layer Anti-Diffusion (DLADiff) to defense both fine-tuning methods and zero-shot methods. DLADiff contains a dual-layer protective mechanism. The first layer provides effective protection against unauthorized fine-tuning by leveraging the proposed Dual-Surrogate Models (DSUR) mechanism and Alternating Dynamic Fine-Tuning (ADFT), which integrates adversarial training with the prior knowledge derived from pre-fine-tuned models. The second layer, though simple in design, demonstrates strong effectiveness in preventing image generation through zero-shot methods. Extensive experimental results demonstrate that our method significantly outperforms existing approaches in defending against fine-tuning of diffusion models and achieves unprecedented performance in protecting against zero-shot generation.
• Abstract（参考訳）: 拡散モデルの急速な進歩により,3～5つのトレーニング画像のみを用いて,ターゲット内容と高い類似性を有する高忠実度画像生成を可能にする,様々な微調整法が開発されている。 最近では、モデル重みを変えることなく単一の参照画像から非常にリアルな出力を生成できるゼロショット生成法が登場している。 しかし、技術進歩は顔のプライバシーに重大なリスクをもたらしている。 悪意のあるアクターは、拡散モデルのカスタマイズを利用することができ、人の数または1つのイメージだけで、元のアイデンティティとほぼ同一の合成IDを作成することができる。 拡散モデルカスタマイズに対する防御に焦点が当てられているが、既存の防衛手法の多くは微調整アプローチを目標とし、ゼロショット生成防御を無視している。 この問題に対処するために, ファインチューニング法とゼロショット法の両方を防御するDual-Layer Anti-Diffusion (DLADiff)を提案する。 DLADiffは二重層保護機構を含む。 第1層は、提案したDual-Surrogate Models (DSUR) 機構と Alternating Dynamic Fine-Tuning (ADFT) を活用することにより、不正な微調整に対する効果的な保護を提供する。 第2の層は、設計上は単純であるが、ゼロショット法による画像生成の防止に強い効果を示す。 広汎な実験結果から,拡散モデルの微調整に対する防御における既存手法よりも優れた性能を示し,ゼロショット生成に対する防御における前例のない性能を実現している。

関連論文リスト

• Perturb a Model, Not an Image: Towards Robust Privacy Protection via Anti-Personalized Diffusion Models [32.903448192224644]
  拡散モデルの最近の進歩は、アイデンティティやオブジェクトのような特定の主題の高品質な合成を可能にしている。 パーソナライズ技術は、悪意のあるユーザーによって不正なコンテンツを生成するために誤用されることがある。 生成品質を損なうことなく、対象モデルの個人化を効果的に阻害する新規な損失関数であるダイレクトプロテッシブ最適化(DPO)を導入する。
  論文  参考訳（メタデータ） (2025-11-03T07:42:05Z)
• Latent Diffusion Unlearning: Protecting Against Unauthorized Personalization Through Trajectory Shifted Perturbations [18.024767641200064]
  本稿では,拡散モデルの潜在空間内で機能するモデルベース摂動戦略を提案する。 本手法は,拡散モデルにおいて,デノナイジング軌道の開始点を変更しながら,デノナイジングとインバージョンを交互に行う。 我々は4つのベンチマークデータセットにアプローチを検証し、最先端の逆攻撃に対する堅牢性を実証する。
  論文  参考訳（メタデータ） (2025-10-03T15:18:45Z)
• One-Step Diffusion Model for Image Motion-Deblurring [85.76149042561507]
  本稿では,脱臭過程を1段階に短縮する新しいフレームワークである脱臭拡散モデル(OSDD)を提案する。 拡散モデルにおける忠実度損失に対処するために,構造復元を改善する改良された変分オートエンコーダ(eVAE)を導入する。 提案手法は,実測値と非参照値の両方で高い性能を達成する。
  論文  参考訳（メタデータ） (2025-03-09T09:39:57Z)
• CopyrightShield: Enhancing Diffusion Model Security against Copyright Infringement Attacks [61.06621533874629]
  拡散モデルは、攻撃者が戦略的に修正された非侵害画像をトレーニングセットに注入する著作権侵害攻撃に弱い。 まず、上記の攻撃に対して防御するための防御フレームワーク、PhiliptyShieldを提案する。 実験により,PhiliptyShieldは2つの攻撃シナリオで有毒なサンプル検出性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-12-02T14:19:44Z)
• Pixel Is Not a Barrier: An Effective Evasion Attack for Pixel-Domain Diffusion Models [9.905296922309157]
  拡散モデルは高品質な画像合成のための強力な生成モデルとして登場し、それに基づく画像編集技術も数多くある。 従来の研究は、知覚不能な摂動を加えることで、画像の拡散に基づく編集を防ごうとしてきた。 本研究は,UNETの脆弱性を利用した新たな攻撃フレームワークであるAtkPDMと,敵画像の自然性を高めるための潜在最適化戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-21T17:56:34Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Adv-Diffusion: Imperceptible Adversarial Face Identity Attack via Latent Diffusion Model [61.53213964333474]
  本稿では,生の画素空間ではなく,潜在空間における非知覚的対角的アイデンティティ摂動を生成できる統一的なフレームワークAdv-Diffusionを提案する。 具体的には,周囲のセマンティックな摂動を生成するために,個人性に敏感な条件付き拡散生成モデルを提案する。 設計された適応強度に基づく対向摂動アルゴリズムは、攻撃の伝達性とステルス性の両方を確保することができる。
  論文  参考訳（メタデータ） (2023-12-18T15:25:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。