論文の概要: AOT: Appearance Optimal Transport Based Identity Swapping for Forgery
Detection
- arxiv url: http://arxiv.org/abs/2011.02674v1
- Date: Thu, 5 Nov 2020 06:17:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 12:06:38.535353
- Title: AOT: Appearance Optimal Transport Based Identity Swapping for Forgery
Detection
- Title(参考訳): AOT:フォージェリ検出のための最適輸送ベースアイデンティティスワッピング
- Authors: Hao Zhu, Chaoyou Fu, Qianyi Wu, Wayne Wu, Chen Qian, Ran He
- Abstract要約: 顔偽造検出のための外観の相違が大きい新しい識別スワップアルゴリズムを提案する。
外観のギャップは主に、照明と肌の色における大きな相違から生じる。
実画像パッチと偽画像パッチの混在とを識別するために識別器を導入する。
- 参考スコア(独自算出の注目度): 76.7063732501752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies have shown that the performance of forgery detection can be
improved with diverse and challenging Deepfakes datasets. However, due to the
lack of Deepfakes datasets with large variance in appearance, which can be
hardly produced by recent identity swapping methods, the detection algorithm
may fail in this situation. In this work, we provide a new identity swapping
algorithm with large differences in appearance for face forgery detection. The
appearance gaps mainly arise from the large discrepancies in illuminations and
skin colors that widely exist in real-world scenarios. However, due to the
difficulties of modeling the complex appearance mapping, it is challenging to
transfer fine-grained appearances adaptively while preserving identity traits.
This paper formulates appearance mapping as an optimal transport problem and
proposes an Appearance Optimal Transport model (AOT) to formulate it in both
latent and pixel space. Specifically, a relighting generator is designed to
simulate the optimal transport plan. It is solved via minimizing the
Wasserstein distance of the learned features in the latent space, enabling
better performance and less computation than conventional optimization. To
further refine the solution of the optimal transport plan, we develop a
segmentation game to minimize the Wasserstein distance in the pixel space. A
discriminator is introduced to distinguish the fake parts from a mix of real
and fake image patches. Extensive experiments reveal that the superiority of
our method when compared with state-of-the-art methods and the ability of our
generated data to improve the performance of face forgery detection.
- Abstract(参考訳): 近年の研究では、多様で挑戦的なdeepfakesデータセットによって偽造検出の性能が向上することが示されている。
しかし,近年のアイデンティティスワッピング法では発生しにくい,外観のばらつきが大きいディープフェイクデータセットの欠如により,この状況では検出アルゴリズムが失敗する可能性がある。
本研究では,顔偽造検出のための外観の差が大きい新しい識別スワップアルゴリズムを提案する。
外観のギャップは主に、現実世界のシナリオに広く存在する照明と肌の色の大きな違いから生じる。
しかし,複雑な外観マッピングのモデル化が困難であるため,アイデンティティ特性を保ちながら細粒度の外観を適応的に伝達することが困難である。
本稿では, 最適輸送問題として外観マッピングを定式化し, 潜時空間と画素空間の両方で外観最適輸送モデル(AOT)を提案する。
具体的には、最適輸送計画をシミュレートするリライト・ジェネレータが設計されている。
潜在空間における学習特徴のワッサースタイン距離を最小化することで、従来の最適化よりも優れた性能と少ない計算を可能にする。
最適な輸送計画の解をさらに洗練するために,画素空間におけるワッサースタイン距離を最小化するセグメンテーションゲームを開発した。
偽の部品を本物と偽のイメージパッチの混合と区別するために判別器が導入された。
広範な実験により,最先端の手法と比較した場合の手法の優位性と,生成したデータによる顔偽造検出の性能向上効果が示された。
関連論文リスト
- GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross
Appearance-Edge Learning [49.93362169016503]
フォトリアリスティック・ジェネレータの急速な進歩は、真の画像と操作された画像の相違がますます不明瞭になっている臨界点に達している。
公開されている顔の偽造データセットはいくつかあるが、偽造顔は主にGANベースの合成技術を用いて生成される。
我々は,大規模で多様できめ細かな高忠実度データセットであるGenFaceを提案し,ディープフェイク検出の進展を促進する。
論文 参考訳(メタデータ) (2024-02-03T03:13:50Z) - DeepFidelity: Perceptual Forgery Fidelity Assessment for Deepfake
Detection [67.3143177137102]
ディープフェイク検出(Deepfake detection)とは、画像やビデオにおいて、人工的に生成された顔や編集された顔を検出すること。
本稿では,実顔と偽顔とを適応的に識別するDeepFidelityという新しいDeepfake検出フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-07T07:19:45Z) - Diff-DOPE: Differentiable Deep Object Pose Estimation [29.703385848843414]
Diff-DOPE, 画像入力を行う6-DoFポーズ精細機, オブジェクトの3次元テクスチャモデル, オブジェクトの初期ポーズを紹介する。
この方法は、画像とモデルの投影の間の視覚的エラーを最小限に抑えるために、オブジェクトのポーズを更新するために微分可能なレンダリングを使用する。
このシンプルで効果的なアイデアは、ポーズ推定データセットで最先端の結果を得ることができることを示す。
論文 参考訳(メタデータ) (2023-09-30T18:52:57Z) - Unpaired Image Super-Resolution with Optimal Transport Maps [128.1189695209663]
実世界の画像超解像(SR)タスクは、しばしば、教師付き技術の適用を制限するペアデータセットを持っていない。
本稿では,非バイアスのOTマップを知覚輸送コストで学習する未ペアSRのアルゴリズムを提案する。
我々のアルゴリズムは、大規模無人AIM-19データセット上で、最先端のパフォーマンスをほぼ提供する。
論文 参考訳(メタデータ) (2022-02-02T16:21:20Z) - MogFace: Rethinking Scale Augmentation on the Face Detector [17.570686622370403]
本研究では,画像の前景情報と後景情報とスケール情報を含む先行ソリューションの違いについて検討する。
本稿では,これらの2つの情報を効率的に同時に同化できるSSE戦略を提案する。
本手法は,すべての顔検出ベンチマークにおける最先端検出性能を実現する。
論文 参考訳(メタデータ) (2021-03-20T09:17:04Z) - Domain-invariant Similarity Activation Map Contrastive Learning for
Retrieval-based Long-term Visual Localization [30.203072945001136]
本研究では,多領域画像変換による領域不変特徴抽出のために,確率論的に一般アーキテクチャを定式化する。
そして、より精密な局所化のために、新しい勾配重み付き類似性活性化写像損失(Grad-SAM)を組み込んだ。
CMUSeasonsデータセットにおける提案手法の有効性を検証するために大規模な実験が行われた。
我々の性能は、最先端のイメージベースのローカライゼーションベースラインを中あるいは高精度で上回るか、あるいは上回る。
論文 参考訳(メタデータ) (2020-09-16T14:43:22Z) - Adversarial Semantic Data Augmentation for Human Pose Estimation [96.75411357541438]
本研究では,セマンティックデータ拡張法 (SDA) を提案する。
また,適応的セマンティックデータ拡張 (ASDA) を提案する。
最先端の結果は、挑戦的なベンチマークで得られます。
論文 参考訳(メタデータ) (2020-08-03T07:56:04Z) - Refined Plane Segmentation for Cuboid-Shaped Objects by Leveraging Edge
Detection [63.942632088208505]
本稿では,セグメント化された平面マスクを画像に検出されたエッジと整列するための後処理アルゴリズムを提案する。
これにより、立方体形状の物体に制限を加えながら、最先端のアプローチの精度を高めることができます。
論文 参考訳(メタデータ) (2020-03-28T18:51:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。