論文の概要: Controllable Inversion of Black-Box Face Recognition Models via
Diffusion
- arxiv url: http://arxiv.org/abs/2303.13006v2
- Date: Sat, 30 Sep 2023 15:29:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-03 19:57:02.489688
- Title: Controllable Inversion of Black-Box Face Recognition Models via
Diffusion
- Title(参考訳): 拡散によるブラックボックス顔認識モデルの制御可能インバージョン
- Authors: Manuel Kansy, Anton Ra\"el, Graziana Mignone, Jacek Naruniec,
Christopher Schroers, Markus Gross, Romann M. Weber
- Abstract要約: 我々は,事前学習した顔認識モデルの潜在空間を,完全なモデルアクセスなしで反転させる作業に取り組む。
本研究では,条件付き拡散モデル損失が自然発生し,逆分布から効果的にサンプル化できることを示す。
本手法は,生成過程を直感的に制御できる最初のブラックボックス顔認識モデル逆変換法である。
- 参考スコア(独自算出の注目度): 8.620807177029892
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Face recognition models embed a face image into a low-dimensional identity
vector containing abstract encodings of identity-specific facial features that
allow individuals to be distinguished from one another. We tackle the
challenging task of inverting the latent space of pre-trained face recognition
models without full model access (i.e. black-box setting). A variety of methods
have been proposed in literature for this task, but they have serious
shortcomings such as a lack of realistic outputs and strong requirements for
the data set and accessibility of the face recognition model. By analyzing the
black-box inversion problem, we show that the conditional diffusion model loss
naturally emerges and that we can effectively sample from the inverse
distribution even without an identity-specific loss. Our method, named identity
denoising diffusion probabilistic model (ID3PM), leverages the stochastic
nature of the denoising diffusion process to produce high-quality,
identity-preserving face images with various backgrounds, lighting, poses, and
expressions. We demonstrate state-of-the-art performance in terms of identity
preservation and diversity both qualitatively and quantitatively, and our
method is the first black-box face recognition model inversion method that
offers intuitive control over the generation process.
- Abstract(参考訳): 顔認識モデルは、個人が互いに区別できるアイデンティティ固有の顔の特徴の抽象的なエンコーディングを含む低次元のアイデンティティベクトルに顔画像を埋め込む。
学習済みの顔認識モデルの潜在空間をフルモデルアクセス(ブラックボックス設定)なしで反転させるという課題に対処する。
この課題の文献には様々な方法が提案されているが、現実的なアウトプットの欠如やデータセットに対する強い要求、顔認識モデルのアクセシビリティといった深刻な欠点がある。
ブラックボックス反転問題を解析することにより,条件拡散モデル損失が自然に出現し,同一性特有の損失を伴わずに逆分布から効果的にサンプルできることを示す。
拡散確率モデル (ID3PM) と呼ばれる本手法は, 拡散過程の確率的性質を活用し, 背景, 照明, ポーズ, 表情の異なる高品質な顔画像を生成する。
本手法は,その生成過程を直感的に制御する最初のブラックボックス顔認識モデルインバージョン法である。
関連論文リスト
- Adv-Diffusion: Imperceptible Adversarial Face Identity Attack via Latent
Diffusion Model [61.53213964333474]
本稿では,生の画素空間ではなく,潜在空間における非知覚的対角的アイデンティティ摂動を生成できる統一的なフレームワークAdv-Diffusionを提案する。
具体的には,周囲のセマンティックな摂動を生成するために,個人性に敏感な条件付き拡散生成モデルを提案する。
設計された適応強度に基づく対向摂動アルゴリズムは、攻撃の伝達性とステルス性の両方を確保することができる。
論文 参考訳(メタデータ) (2023-12-18T15:25:23Z) - PortraitBooth: A Versatile Portrait Model for Fast Identity-preserved
Personalization [92.90392834835751]
PortraitBoothは高効率、堅牢なID保存、表現編集可能な画像生成のために設計されている。
PortraitBoothは計算オーバーヘッドを排除し、アイデンティティの歪みを軽減する。
生成した画像の多様な表情に対する感情認識のクロスアテンション制御が組み込まれている。
論文 参考訳(メタデータ) (2023-12-11T13:03:29Z) - DeepFidelity: Perceptual Forgery Fidelity Assessment for Deepfake
Detection [67.3143177137102]
ディープフェイク検出(Deepfake detection)とは、画像やビデオにおいて、人工的に生成された顔や編集された顔を検出すること。
本稿では,実顔と偽顔とを適応的に識別するDeepFidelityという新しいDeepfake検出フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-07T07:19:45Z) - Diff-Privacy: Diffusion-based Face Privacy Protection [58.1021066224765]
本稿では,Diff-Privacyと呼ばれる拡散モデルに基づく顔のプライバシー保護手法を提案する。
具体的には、提案したマルチスケール画像インバージョンモジュール(MSI)をトレーニングし、元の画像のSDMフォーマット条件付き埋め込みのセットを得る。
本研究は,条件付き埋め込みに基づいて,組込みスケジューリング戦略を設計し,デノナイズプロセス中に異なるエネルギー関数を構築し,匿名化と視覚的アイデンティティ情報隠蔽を実現する。
論文 参考訳(メタデータ) (2023-09-11T09:26:07Z) - Conditioning Diffusion Models via Attributes and Semantic Masks for Face
Generation [1.104121146441257]
深層生成モデルは、現実的な顔の画像を生成する素晴らしい結果を示している。
GANはセマンティックマスクで条件付きで高品質で高忠実な画像を生成することができたが、それでも出力を多様化する能力は欠けていた。
本稿では,属性とセマンティックマスクの両方を利用した多条件拡散モデルの提案を行い,高品質で制御可能な顔画像を生成する。
論文 参考訳(メタデータ) (2023-06-01T17:16:37Z) - Attribute-preserving Face Dataset Anonymization via Latent Code
Optimization [64.4569739006591]
本稿では,事前学習したGANの潜時空間における画像の潜時表現を直接最適化するタスク非依存匿名化手法を提案する。
我々は一連の実験を通して、我々の手法が画像の同一性を匿名化できる一方で、顔の属性をより保存できることを実証した。
論文 参考訳(メタデータ) (2023-03-20T17:34:05Z) - DiffFace: Diffusion-based Face Swapping with Facial Guidance [24.50570533781642]
DiffFaceと呼ばれる拡散型顔交換フレームワークを初めて提案する。
トレーニングID条件DDPM、顔誘導によるサンプリング、および目標保存ブレンディングで構成されている。
DiffFaceは、トレーニングの安定性、高い忠実度、サンプルの多様性、制御性など、よりよいメリットを実現している。
論文 参考訳(メタデータ) (2022-12-27T02:51:46Z) - GMFIM: A Generative Mask-guided Facial Image Manipulation Model for
Privacy Preservation [0.7734726150561088]
入力顔画像に知覚不可能な編集を適用するために,GANをベースとしたマスク誘導顔画像マニピュレーションモデルを提案する。
我々のモデルは、最先端の手法と比較して、自動顔認識システムに対してより良い性能を実現することができる。
論文 参考訳(メタデータ) (2022-01-10T14:09:14Z) - Heterogeneous Visible-Thermal and Visible-Infrared Face Recognition
using Unit-Class Loss and Cross-Modality Discriminator [0.43748379918040853]
本稿では,クロスモーダル顔認識のためのエンドツーエンドフレームワークを提案する。
モダリティ情報を捨てつつアイデンティティ情報を保存するために,新しい単位クラス損失を提案する。
提案したネットワークは、モダリティ非依存のベクトル表現を抽出したり、テスト画像のマッチングペア分類に利用できる。
論文 参考訳(メタデータ) (2021-11-29T06:14:00Z) - Unsupervised Learning Facial Parameter Regressor for Action Unit
Intensity Estimation via Differentiable Renderer [51.926868759681014]
骨駆動型顔モデル(BDFM)に基づいて,異なる視点で顔パラメータを予測する枠組みを提案する。
提案するフレームワークは,特徴抽出器,ジェネレータ,顔パラメータ回帰器から構成される。
論文 参考訳(メタデータ) (2020-08-20T09:49:13Z) - VAE/WGAN-Based Image Representation Learning For Pose-Preserving
Seamless Identity Replacement In Facial Images [15.855376604558977]
We present a novel variational generative adversarial network (VGAN) based on Wasserstein loss。
我々のネットワークは、ポーズ保存されたアイデンティティ・モーフィングとアイデンティティ保存されたポーズ・モーフィングの実行に利用できることを示す。
論文 参考訳(メタデータ) (2020-03-02T03:35:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。