論文の概要: Real-time Identity Defenses against Malicious Personalization of Diffusion Models

• arxiv url: http://arxiv.org/abs/2412.09844v1
• Date: Fri, 13 Dec 2024 04:27:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:02:58.267617
• Title: Real-time Identity Defenses against Malicious Personalization of Diffusion Models
• Title（参考訳）: 拡散モデルの悪質なパーソナライゼーションに対するリアルタイムアイデンティティ保護
• Authors: Hanzhong Guo, Shen Nie, Chao Du, Tianyu Pang, Hao Sun, Chongxuan Li,
• Abstract要約: 本研究では,1つのフォワードパスを通じて対向摂動を生成するニューラルネットワークであるReal-time Identity Defender (RID)を紹介する。 RIDは前例のない効率を実現し、防御時間は1つのGPUでは0.12秒、標準のIntel i9 CPUでは1.1秒である。 解析の結果,RIDの摂動は自然騒音とは異なる特性を示しながら,従来の防御効果を模倣していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 39.861209610456356
• License:
• Abstract: Personalized diffusion models, capable of synthesizing highly realistic images based on a few reference portraits, pose substantial social, ethical, and legal risks by enabling identity replication. Existing defense mechanisms rely on computationally intensive adversarial perturbations tailored to individual images, rendering them impractical for real-world deployment. This study introduces Real-time Identity Defender (RID), a neural network designed to generate adversarial perturbations through a single forward pass, bypassing the need for image-specific optimization. RID achieves unprecedented efficiency, with defense times as low as 0.12 seconds on a single GPU (4,400 times faster than leading methods) and 1.1 seconds per image on a standard Intel i9 CPU, making it suitable for edge devices such as smartphones. Despite its efficiency, RID matches state-of-the-art performance across visual and quantitative benchmarks, effectively mitigating identity replication risks. Our analysis reveals that RID's perturbations mimic the efficacy of traditional defenses while exhibiting properties distinct from natural noise, such as Gaussian perturbations. To enhance robustness, we extend RID into an ensemble framework that integrates multiple pre-trained text-to-image diffusion models, ensuring resilience against black-box attacks and post-processing techniques, including JPEG compression and diffusion-based purification.
• Abstract（参考訳）: パーソナライズされた拡散モデルは、いくつかの参照ポートレートに基づいて、非常に現実的な画像を合成することができ、アイデンティティ複製を有効にすることで、社会的、倫理的、法的リスクをかなり引き起こす。 既存の防御機構は、個々の画像に合わせた計算集約的な敵の摂動に依存しており、現実の展開には実用的ではない。 この研究では、画像固有の最適化の必要性を回避し、単一の前方通過を通して敵の摂動を生成するように設計されたニューラルネットワークであるリアルタイムアイデンティティデフェンダ(RID)を紹介した。 RIDは前例のない効率を実現し、防衛時間は1つのGPUで0.12秒(リードメソッドより4,400倍速い)、標準のIntel i9 CPUで1イメージ当たり1.1秒であり、スマートフォンなどのエッジデバイスに適している。 その効率にもかかわらず、RIDは視覚的および定量的なベンチマークで最先端のパフォーマンスと一致し、ID複製のリスクを効果的に軽減する。 解析の結果,RIDの摂動は従来の防御効果を模倣し,ガウス摂動のような自然ノイズとは異なる特性を示すことが明らかとなった。 堅牢性を高めるため,複数の事前訓練されたテキスト-画像拡散モデルを統合したアンサンブルフレームワークにRIDを拡張し,JPEG圧縮や拡散に基づく浄化など,ブラックボックス攻撃や後処理技術に対するレジリエンスを確保する。

関連論文リスト

• Pixel Is Not A Barrier: An Effective Evasion Attack for Pixel-Domain Diffusion Models [9.905296922309157]
  拡散モデルは高品質な画像合成のための強力な生成モデルとして登場し、それに基づく画像編集技術も数多くある。 従来の研究は、知覚不能な摂動を加えることで、画像の拡散に基づく編集を防ごうとしてきた。 本研究は,UNETの脆弱性を悪用した特徴表現攻撃損失と,保護された画像の自然性を高めるための潜在最適化戦略を備えた,新たな攻撃フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-21T17:56:34Z)
• StealthDiffusion: Towards Evading Diffusion Forensic Detection through Diffusion Model [62.25424831998405]
  StealthDiffusionは、AI生成した画像を高品質で受け入れがたい敵の例に修正するフレームワークである。 ホワイトボックスとブラックボックスの設定の両方で有効であり、AI生成した画像を高品質な敵の偽造に変換する。
  論文  参考訳（メタデータ） (2024-08-11T01:22:29Z)
• DDAP: Dual-Domain Anti-Personalization against Text-to-Image Diffusion Models [18.938687631109925]
  拡散に基づくパーソナライズされたビジュアルコンテンツ生成技術は、大きなブレークスルーを達成した。 しかし、偽のニュースや個人をターゲットとするコンテンツを作るのに誤用された場合、これらの技術は社会的な危害をもたらす可能性がある。 本稿では,新しいDual-Domain Anti-Personalization framework(DDAP)を紹介する。 これら2つの手法を交互に組み合わせることで、DDAPフレームワークを構築し、両方のドメインの強みを効果的に活用する。
  論文  参考訳（メタデータ） (2024-07-29T16:11:21Z)
• Privacy-Preserving Diffusion Model Using Homomorphic Encryption [5.282062491549009]
  HE拡散(HE-Diffusion)と呼ばれる同相暗号を利用したプライバシー保護型安定拡散フレームワークを提案する。 本稿では,効率的な部分的画像暗号化を実現するための新しいミン歪み法を提案する。 HEベースのプライバシ保存型安定拡散推論の実装に成功した。
  論文  参考訳（メタデータ） (2024-03-09T04:56:57Z)
• Adv-Diffusion: Imperceptible Adversarial Face Identity Attack via Latent Diffusion Model [61.53213964333474]
  本稿では,生の画素空間ではなく,潜在空間における非知覚的対角的アイデンティティ摂動を生成できる統一的なフレームワークAdv-Diffusionを提案する。 具体的には,周囲のセマンティックな摂動を生成するために,個人性に敏感な条件付き拡散生成モデルを提案する。 設計された適応強度に基づく対向摂動アルゴリズムは、攻撃の伝達性とステルス性の両方を確保することができる。
  論文  参考訳（メタデータ） (2023-12-18T15:25:23Z)
• PortraitBooth: A Versatile Portrait Model for Fast Identity-preserved Personalization [92.90392834835751]
  PortraitBoothは高効率、堅牢なID保存、表現編集可能な画像生成のために設計されている。 PortraitBoothは計算オーバーヘッドを排除し、アイデンティティの歪みを軽減する。 生成した画像の多様な表情に対する感情認識のクロスアテンション制御が組み込まれている。
  論文  参考訳（メタデータ） (2023-12-11T13:03:29Z)
• Data Forensics in Diffusion Models: A Systematic Analysis of Membership Privacy [62.16582309504159]
  本研究では,拡散モデルに対するメンバシップ推論攻撃の系統的解析を開発し,各攻撃シナリオに適した新しい攻撃手法を提案する。 提案手法は容易に入手可能な量を利用して,現実的なシナリオにおいてほぼ完全な攻撃性能 (>0.9 AUCROC) を達成することができる。
  論文  参考訳（メタデータ） (2023-02-15T17:37:49Z)
• Auto-regressive Image Synthesis with Integrated Quantization [55.51231796778219]
  本稿では,条件付き画像生成のための多目的フレームワークを提案する。 CNNの帰納バイアスと自己回帰の強力なシーケンスモデリングが組み込まれている。 提案手法は,最先端技術と比較して,優れた多彩な画像生成性能を実現する。
  論文  参考訳（メタデータ） (2022-07-21T22:19:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。