論文の概要: SimAC: A Simple Anti-Customization Method for Protecting Face Privacy against Text-to-Image Synthesis of Diffusion Models
- arxiv url: http://arxiv.org/abs/2312.07865v2
- Date: Tue, 30 Apr 2024 15:00:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-01 19:37:57.172180
- Title: SimAC: A Simple Anti-Customization Method for Protecting Face Privacy against Text-to-Image Synthesis of Diffusion Models
- Title(参考訳): SimAC: 拡散モデルのテキスト対画像合成に対する顔のプライバシ保護のための簡易なアンチカスタマイズ手法
- Authors: Feifei Wang, Zhentao Tan, Tianyi Wei, Yue Wu, Qidong Huang,
- Abstract要約: 本稿では,既存のアンチ・カストマイゼーション手法とシームレスに統合された最適時間ステップを適応的に探索する手法を提案する。
我々のアプローチはアイデンティティの破壊を著しく増加させ、それによってユーザのプライバシと著作権を保護する。
- 参考スコア(独自算出の注目度): 16.505593270720034
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the success of diffusion-based customization methods on visual content creation, increasing concerns have been raised about such techniques from both privacy and political perspectives. To tackle this issue, several anti-customization methods have been proposed in very recent months, predominantly grounded in adversarial attacks. Unfortunately, most of these methods adopt straightforward designs, such as end-to-end optimization with a focus on adversarially maximizing the original training loss, thereby neglecting nuanced internal properties intrinsic to the diffusion model, and even leading to ineffective optimization in some diffusion time steps.In this paper, we strive to bridge this gap by undertaking a comprehensive exploration of these inherent properties, to boost the performance of current anti-customization approaches. Two aspects of properties are investigated: 1) We examine the relationship between time step selection and the model's perception in the frequency domain of images and find that lower time steps can give much more contributions to adversarial noises. This inspires us to propose an adaptive greedy search for optimal time steps that seamlessly integrates with existing anti-customization methods. 2) We scrutinize the roles of features at different layers during denoising and devise a sophisticated feature-based optimization framework for anti-customization.Experiments on facial benchmarks demonstrate that our approach significantly increases identity disruption, thereby protecting user privacy and copyright. Our code is available at: https://github.com/somuchtome/SimAC.
- Abstract(参考訳): 視覚コンテンツ作成における拡散に基づくカスタマイズ手法の成功にもかかわらず、プライバシーと政治の両面から、このような技術に対する懸念が高まっている。
この問題に対処するために、敵の攻撃に主に根ざした、いくつかのアンチ・カストマイズ法が近年提案されている。
残念なことに、これらの手法の多くは、元のトレーニング損失を逆向きに最大化し、拡散モデルに固有の微妙な内部特性を無視し、また、いくつかの拡散時間ステップにおいて非効率な最適化に至るような単純な設計を採用しており、本稿では、これらの特性を包括的に探索することにより、このギャップを埋め、現在のアンチ・カストマイゼーション・アプローチの性能を高めることに努めている。
特性の2つの側面について検討する。
1) 画像の周波数領域における時間ステップ選択とモデル知覚の関係について検討し, より低い時間ステップが対向雑音にさらに寄与することを示した。
これにより,既存のアンチ・カストマイゼーション手法とシームレスに統合された最適時間ステップの適応的欲求探索を提案することができる。
2) 顔認証による評価実験により, ユーザのプライバシーと著作権を保護し, アイデンティティの破壊を著しく増大させることが実証された。
私たちのコードは、https://github.com/somuchtome/SimAC.comで利用可能です。
関連論文リスト
- Disrupting Diffusion: Token-Level Attention Erasure Attack against Diffusion-based Customization [19.635385099376066]
悪意のあるユーザは、DreamBoothのような拡散ベースのカスタマイズメソッドを誤用して、偽画像を作った。
本稿では,拡散モデル出力を阻害する新しい逆攻撃法であるDisDiffを提案する。
論文 参考訳(メタデータ) (2024-05-31T02:45:31Z) - LCM-Lookahead for Encoder-based Text-to-Image Personalization [82.56471486184252]
我々は,テキスト・ツー・イメージ・モデルのパーソナライズを導くために,ショートカット・メカニズムを利用する可能性を探る。
エンコーダをベースとしたパーソナライズ手法に焦点をあてて、ルックアヘッドのアイデンティティ損失を調整することで、より高いアイデンティティの忠実性を達成できることを実証する。
論文 参考訳(メタデータ) (2024-04-04T17:43:06Z) - Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model [86.9619638550683]
視覚言語基礎モデルは、画像とテキストのペアデータに拡張性があるため、多数の下流タスクで顕著な成功を収めている。
しかし、これらのモデルは、決定ショートカットの結果、きめ細かな画像分類などの下流タスクに適用した場合に重大な制限を呈する」。
論文 参考訳(メタデータ) (2024-03-01T09:01:53Z) - Enhancing Generalization of Invisible Facial Privacy Cloak via Gradient
Accumulation [46.81652932809355]
通常のユーザのすべてのイメージに対して,新たなタイプの対向的プライバシクローク(クラスユニバーサル)を適用することができる。
本稿では,複数の小バッチ勾配を1段階の反復勾配に集約し,勾配安定性を高め,量子化演算を減少させるグラディエント累積法を提案する。
実験の結果,提案手法はブラックボックスの顔認識モデルに対して,プライバシ・コモンズ・データセット上で高い性能を示すことがわかった。
論文 参考訳(メタデータ) (2024-01-03T07:00:32Z) - Separate-and-Enhance: Compositional Finetuning for Text2Image Diffusion
Models [58.46926334842161]
この研究は、注意力の低いアクティベーションスコアとマスクオーバーラップに関連する問題を指摘し、このような不一致の根本的な理由を照らしている。
本稿では,物体マスクの重なりを低減し,注目度を最大化する2つの新しい目的,分離損失とエンハンス損失を提案する。
提案手法は従来のテスト時間適応手法と異なり,拡張性と一般化性を高める重要なパラメータの微調整に重点を置いている。
論文 参考訳(メタデータ) (2023-12-10T22:07:42Z) - Diff-Privacy: Diffusion-based Face Privacy Protection [58.1021066224765]
本稿では,Diff-Privacyと呼ばれる拡散モデルに基づく顔のプライバシー保護手法を提案する。
具体的には、提案したマルチスケール画像インバージョンモジュール(MSI)をトレーニングし、元の画像のSDMフォーマット条件付き埋め込みのセットを得る。
本研究は,条件付き埋め込みに基づいて,組込みスケジューリング戦略を設計し,デノナイズプロセス中に異なるエネルギー関数を構築し,匿名化と視覚的アイデンティティ情報隠蔽を実現する。
論文 参考訳(メタデータ) (2023-09-11T09:26:07Z) - Denoising Diffusion Semantic Segmentation with Mask Prior Modeling [61.73352242029671]
本稿では,従来の識別的アプローチのセマンティックセグメンテーション品質を,デノナイズ拡散生成モデルでモデル化したマスクを用いて改善することを提案する。
市販セグメンタを用いた先行モデルの評価を行い,ADE20KとCityscapesの実験結果から,本手法が競争力のある定量的性能を実現することを示す。
論文 参考訳(メタデータ) (2023-06-02T17:47:01Z) - Scapegoat Generation for Privacy Protection from Deepfake [21.169776378130635]
本稿では,原文入力のスタイルを変更してスケープゴート画像を生成する「ディープフェイク防止のための新しい問題定式化を提案する。
悪意のあるディープフェイクであっても、ユーザーのプライバシーは保護されている。
論文 参考訳(メタデータ) (2023-03-06T06:52:00Z) - On the utility and protection of optimization with differential privacy
and classic regularization techniques [9.413131350284083]
本稿では,標準最適化手法に対するDP-SGDアルゴリズムの有効性について検討する。
我々は、差分プライバシーの欠陥と限界について議論し、ドロップアウトとl2-規則化のプライバシー保護特性がしばしば優れていることを実証した。
論文 参考訳(メタデータ) (2022-09-07T14:10:21Z) - OPOM: Customized Invisible Cloak towards Face Privacy Protection [58.07786010689529]
我々は、新しいタイプのカスタマイズクロークに基づく技術の観点から、顔のプライバシ保護について検討する。
本研究では,個人固有の(クラスワイドな)ユニバーサルマスクを生成するために,1人1マスク(OPOM)という新しい手法を提案する。
提案手法の有効性を,共通データセットと有名データセットの両方で評価した。
論文 参考訳(メタデータ) (2022-05-24T11:29:37Z) - Time to Focus: A Comprehensive Benchmark Using Time Series Attribution
Methods [4.9449660544238085]
本論文は時系列解析といくつかの最先端属性手法のベンチマークに焦点をあてる。
本実験では, 勾配および摂動に基づく帰属法について検討した。
その結果,最も適した帰属法を選択することは,所望のユースケースと強く相関していることが示唆された。
論文 参考訳(メタデータ) (2022-02-08T10:06:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。