論文の概要: AOT: Appearance Optimal Transport Based Identity Swapping for Forgery
Detection
- arxiv url: http://arxiv.org/abs/2011.02674v1
- Date: Thu, 5 Nov 2020 06:17:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 12:06:38.535353
- Title: AOT: Appearance Optimal Transport Based Identity Swapping for Forgery
Detection
- Title（参考訳）: AOT:フォージェリ検出のための最適輸送ベースアイデンティティスワッピング
- Authors: Hao Zhu, Chaoyou Fu, Qianyi Wu, Wayne Wu, Chen Qian, Ran He
- Abstract要約: 顔偽造検出のための外観の相違が大きい新しい識別スワップアルゴリズムを提案する。
外観のギャップは主に、照明と肌の色における大きな相違から生じる。
実画像パッチと偽画像パッチの混在とを識別するために識別器を導入する。
- 参考スコア（独自算出の注目度）: 76.7063732501752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies have shown that the performance of forgery detection can be
improved with diverse and challenging Deepfakes datasets. However, due to the
lack of Deepfakes datasets with large variance in appearance, which can be
hardly produced by recent identity swapping methods, the detection algorithm
may fail in this situation. In this work, we provide a new identity swapping
algorithm with large differences in appearance for face forgery detection. The
appearance gaps mainly arise from the large discrepancies in illuminations and
skin colors that widely exist in real-world scenarios. However, due to the
difficulties of modeling the complex appearance mapping, it is challenging to
transfer fine-grained appearances adaptively while preserving identity traits.
This paper formulates appearance mapping as an optimal transport problem and
proposes an Appearance Optimal Transport model (AOT) to formulate it in both
latent and pixel space. Specifically, a relighting generator is designed to
simulate the optimal transport plan. It is solved via minimizing the
Wasserstein distance of the learned features in the latent space, enabling
better performance and less computation than conventional optimization. To
further refine the solution of the optimal transport plan, we develop a
segmentation game to minimize the Wasserstein distance in the pixel space. A
discriminator is introduced to distinguish the fake parts from a mix of real
and fake image patches. Extensive experiments reveal that the superiority of
our method when compared with state-of-the-art methods and the ability of our
generated data to improve the performance of face forgery detection.
- Abstract（参考訳）: 近年の研究では、多様で挑戦的なdeepfakesデータセットによって偽造検出の性能が向上することが示されている。
しかし,近年のアイデンティティスワッピング法では発生しにくい,外観のばらつきが大きいディープフェイクデータセットの欠如により,この状況では検出アルゴリズムが失敗する可能性がある。
本研究では,顔偽造検出のための外観の差が大きい新しい識別スワップアルゴリズムを提案する。
外観のギャップは主に、現実世界のシナリオに広く存在する照明と肌の色の大きな違いから生じる。
しかし,複雑な外観マッピングのモデル化が困難であるため,アイデンティティ特性を保ちながら細粒度の外観を適応的に伝達することが困難である。
本稿では, 最適輸送問題として外観マッピングを定式化し, 潜時空間と画素空間の両方で外観最適輸送モデル(AOT)を提案する。
具体的には、最適輸送計画をシミュレートするリライト・ジェネレータが設計されている。
潜在空間における学習特徴のワッサースタイン距離を最小化することで、従来の最適化よりも優れた性能と少ない計算を可能にする。
最適な輸送計画の解をさらに洗練するために,画素空間におけるワッサースタイン距離を最小化するセグメンテーションゲームを開発した。
偽の部品を本物と偽のイメージパッチの混合と区別するために判別器が導入された。
広範な実験により,最先端の手法と比較した場合の手法の優位性と,生成したデータによる顔偽造検出の性能向上効果が示された。
関連論文リスト
- Geometry-aware Feature Matching for Large-Scale Structure from Motion [10.645087195983201]
大規模シナリオでは重なりが小さい場合にギャップを埋めるために,カラーキューに加えて幾何学的手がかりを導入する。
提案手法は, 検出器フリー法からの高密度対応が幾何的に整合性を持ち, 精度が高いことを保証する。
ベンチマークデータセットにおける最先端の機能マッチングメソッドよりも優れています。
論文 参考訳（メタデータ） (2024-09-03T21:41:35Z) - Multi-Feature Aggregation in Diffusion Models for Enhanced Face Super-Resolution [6.055006354743854]
超解像を生成するために,複数の低画質画像から抽出した特徴と組み合わせた低解像度画像を利用するアルゴリズムを開発した。
他のアルゴリズムとは異なり、我々のアプローチは属性情報を明示的に提供せずに顔の特徴を復元する。
これは、高解像度画像と低解像度画像を組み合わせて、より信頼性の高い超高解像度画像を生成するコンディショナーとして初めて使用される。
論文 参考訳（メタデータ） (2024-08-27T20:08:33Z) - GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross Appearance-Edge Learning [50.7702397913573]
フォトリアリスティック・ジェネレータの急速な進歩は、真の画像と操作された画像の相違がますます不明瞭になっている臨界点に達している。
公開されている顔の偽造データセットはいくつかあるが、偽造顔は主にGANベースの合成技術を用いて生成される。
我々は,大規模で多様できめ細かな高忠実度データセットであるGenFaceを提案し,ディープフェイク検出の進展を促進する。
論文 参考訳（メタデータ） (2024-02-03T03:13:50Z) - DeepFidelity: Perceptual Forgery Fidelity Assessment for Deepfake
Detection [67.3143177137102]
ディープフェイク検出(Deepfake detection)とは、画像やビデオにおいて、人工的に生成された顔や編集された顔を検出すること。
本稿では,実顔と偽顔とを適応的に識別するDeepFidelityという新しいDeepfake検出フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-07T07:19:45Z) - Diff-DOPE: Differentiable Deep Object Pose Estimation [29.703385848843414]
Diff-DOPE, 画像入力を行う6-DoFポーズ精細機, オブジェクトの3次元テクスチャモデル, オブジェクトの初期ポーズを紹介する。
この方法は、画像とモデルの投影の間の視覚的エラーを最小限に抑えるために、オブジェクトのポーズを更新するために微分可能なレンダリングを使用する。
このシンプルで効果的なアイデアは、ポーズ推定データセットで最先端の結果を得ることができることを示す。
論文 参考訳（メタデータ） (2023-09-30T18:52:57Z) - COMICS: End-to-end Bi-grained Contrastive Learning for Multi-face Forgery Detection [56.7599217711363]
顔偽造認識法は一度に1つの顔しか処理できない。
ほとんどの顔偽造認識法は一度に1つの顔しか処理できない。
マルチフェイスフォージェリ検出のためのエンドツーエンドフレームワークであるCOMICSを提案する。
論文 参考訳（メタデータ） (2023-08-03T03:37:13Z) - Unpaired Image Super-Resolution with Optimal Transport Maps [128.1189695209663]
実世界の画像超解像(SR)タスクは、しばしば、教師付き技術の適用を制限するペアデータセットを持っていない。
本稿では,非バイアスのOTマップを知覚輸送コストで学習する未ペアSRのアルゴリズムを提案する。
我々のアルゴリズムは、大規模無人AIM-19データセット上で、最先端のパフォーマンスをほぼ提供する。
論文 参考訳（メタデータ） (2022-02-02T16:21:20Z) - MogFace: Rethinking Scale Augmentation on the Face Detector [17.570686622370403]
本研究では,画像の前景情報と後景情報とスケール情報を含む先行ソリューションの違いについて検討する。
本稿では,これらの2つの情報を効率的に同時に同化できるSSE戦略を提案する。
本手法は,すべての顔検出ベンチマークにおける最先端検出性能を実現する。
論文 参考訳（メタデータ） (2021-03-20T09:17:04Z) - Adversarial Semantic Data Augmentation for Human Pose Estimation [96.75411357541438]
本研究では,セマンティックデータ拡張法 (SDA) を提案する。
また,適応的セマンティックデータ拡張 (ASDA) を提案する。
最先端の結果は、挑戦的なベンチマークで得られます。
論文 参考訳（メタデータ） (2020-08-03T07:56:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。