論文の概要: FakeTransformer: Exposing Face Forgery From Spatial-Temporal
Representation Modeled By Facial Pixel Variations
- arxiv url: http://arxiv.org/abs/2111.07601v1
- Date: Mon, 15 Nov 2021 08:44:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-16 16:13:52.497664
- Title: FakeTransformer: Exposing Face Forgery From Spatial-Temporal
Representation Modeled By Facial Pixel Variations
- Title（参考訳）: Fake Transformer: 顔画像の変動をモデルとした空間時間表現からの顔偽造
- Authors: Yuyang Sun, Zhiyong Zhang, Changzhen Qiu, Liang Wang and Zekai Wang
- Abstract要約: 顔の偽造はあらゆるターゲットを攻撃できるため、個人のプライバシーと財産のセキュリティに新たな脅威をもたらす。
生理的信号の空間的コヒーレンスと時間的一貫性が生成された内容で破壊されるという事実に着想を得て,実ビデオと合成ビデオとを区別できる一貫性のないパターンを見つけ出そうとする。
- 参考スコア（独自算出の注目度）: 8.194624568473126
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid development of generation model, AI-based face manipulation
technology, which called DeepFakes, has become more and more realistic. This
means of face forgery can attack any target, which poses a new threat to
personal privacy and property security. Moreover, the misuse of synthetic video
shows potential dangers in many areas, such as identity harassment, pornography
and news rumors. Inspired by the fact that the spatial coherence and temporal
consistency of physiological signal are destroyed in the generated content, we
attempt to find inconsistent patterns that can distinguish between real videos
and synthetic videos from the variations of facial pixels, which are highly
related to physiological information. Our approach first applies Eulerian Video
Magnification (EVM) at multiple Gaussian scales to the original video to
enlarge the physiological variations caused by the change of facial blood
volume, and then transform the original video and magnified videos into a
Multi-Scale Eulerian Magnified Spatial-Temporal map (MEMSTmap), which can
represent time-varying physiological enhancement sequences on different
octaves. Then, these maps are reshaped into frame patches in column units and
sent to the vision Transformer to learn the spatio-time descriptors of frame
levels. Finally, we sort out the feature embedding and output the probability
of judging whether the video is real or fake. We validate our method on the
FaceForensics++ and DeepFake Detection datasets. The results show that our
model achieves excellent performance in forgery detection, and also show
outstanding generalization capability in cross-data domain.
- Abstract（参考訳）: 生成モデルの急速な発展に伴い、DeepFakesと呼ばれるAIベースの顔操作技術はますます現実的になっている。
この偽造行為はあらゆるターゲットを攻撃できるため、個人のプライバシーと財産のセキュリティに新たな脅威をもたらす。
さらに、合成ビデオの誤用は、アイデンティティハラスメント、ポルノグラフィー、ニュースの噂など、多くの分野で潜在的な危険性を示している。
生理的信号の空間的コヒーレンスと時間的一貫性が生成された内容で破壊されるという事実に着想を得て,実映像と合成映像を生理的情報に強く関連する顔画像のバリエーションとを区別する不整合パターンを見つけ出そうとする。
提案手法はまず,複数のガウススケールでユーレリアビデオ拡大(EVM)を適用し,顔の血流量の変化による生理的変動を増大させるとともに,元の動画と拡大した動画を多スケールユーレリア拡大空間時間マップ(MEMSTmap)に変換し,異なるオクターブ上での生理的拡張シーケンスの時間変化を表現する。
次に、これらのマップをコラム単位のフレームパッチに再構成し、ビジョントランスフォーマーに送信してフレームレベルの時空間記述子を学ぶ。
最後に、ビデオが本物か偽物かを判断する確率を推定し、その機能を埋め込んで出力する。
提案手法はFaceForensics++とDeepFake検出データセットで検証する。
その結果,本モデルは偽造検出において優れた性能を示し,クロスデータ領域における優れた一般化能力を示した。
関連論文リスト
- OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
拡散モデルは、顔の修復において顕著な性能を示した。
顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。
その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
論文 参考訳（メタデータ） (2024-11-26T07:07:48Z) - Deepfake detection in videos with multiple faces using geometric-fakeness features [79.16635054977068]
被害者や人物のディープフェイクは、脅迫、ゆがみ、金融詐欺の詐欺師によって使用される。
本研究では,映像中の顔の存在の動的度を特徴付ける幾何学的フェイクネス機能(GFF)を提案する。
我々は、ビデオに同時に存在する複数の顔でビデオを分析するために、我々のアプローチを採用している。
論文 参考訳（メタデータ） (2024-10-10T13:10:34Z) - GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳（メタデータ） (2024-09-18T13:05:43Z) - G$^2$V$^2$former: Graph Guided Video Vision Transformer for Face Anti-Spoofing [23.325272595629773]
スプーフされた顔を含むビデオでは、光度またはダイナミックな異常に基づいて、スプーフの証拠を発見できるかもしれない。
本稿では,顔と顔のランドマークを組み合わせたグラフガイドビデオビジョン変換器を提案する。
論文 参考訳（メタデータ） (2024-08-14T17:22:41Z) - Do As I Do: Pose Guided Human Motion Copy [39.40271266234068]
モーションコピーは、人工知能とコンピュータビジョンにおいて興味深いが難しい課題だ。
既存のアプローチでは、通常、ターゲットのフェイクビデオを生成するために、L1またはL2損失の従来のGANを採用する。
連続学習を促進するために,ポーズ・ツー・アジュアンス生成におけるエピソード記憶モジュールを提案する。
提案手法は,PSNRとFIDをそれぞれ7.2%,12.4%改善した。
論文 参考訳（メタデータ） (2024-06-24T12:41:51Z) - Deepfake detection by exploiting surface anomalies: the SurFake approach [29.088218634944116]
本稿では, ディープフェイク生成が, 買収時のシーン全体の特性に与える影響について検討する。
画像に描かれた表面の特性を解析することにより、深度検出のためにCNNを訓練するのに使用できる記述子を得ることができる。
論文 参考訳（メタデータ） (2023-10-31T16:54:14Z) - Face Forgery Detection Based on Facial Region Displacement Trajectory
Series [10.338298543908339]
本研究では,顔領域変位の軌跡に基づく操作映像の検出手法を開発した。
この情報を用いて、操作されたビデオの軌跡列に多次元のアーティファクトを露呈するネットワークを構築した。
論文 参考訳（メタデータ） (2022-12-07T14:47:54Z) - Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。
私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
論文 参考訳（メタデータ） (2021-05-31T02:30:11Z) - Sharp Multiple Instance Learning for DeepFake Video Detection [54.12548421282696]
我々はDeepFakeビデオに、ビデオレベルのラベルのみを提供するが、フェイクビデオのすべての顔が操作されるわけではない部分的な顔攻撃という新しい問題を導入する。
インスタンス埋め込みからバッグ予測への直接マッピングを構築する鋭いMIL(S-MIL)を提案する。
FFPMSと広く使われているDFDCデータセットの実験により、S-MILは部分的に攻撃されたDeepFakeビデオ検出において他の手法よりも優れていることが確認された。
論文 参考訳（メタデータ） (2020-08-11T08:52:17Z) - Dynamic texture analysis for detecting fake faces in video sequences [6.1356022122903235]
本研究では,映像信号のテクスチャ・時間的ダイナミクスの解析について検討する。
目標は、実際の偽のシーケンスを識別し、識別することである。
時間セグメントの連成解析に基づいて複数の二分決定を構築することを提案する。
論文 参考訳（メタデータ） (2020-07-30T07:21:24Z) - Over-the-Air Adversarial Flickering Attacks against Video Recognition
Networks [54.82488484053263]
ビデオ分類のためのディープニューラルネットワークは、敵の操作を受けることができる。
本稿では,フリックング時間摂動を導入することで,ビデオ分類器を騙す操作手法を提案する。
攻撃はいくつかの標的モデルに実装され、攻撃の伝達性が実証された。
論文 参考訳（メタデータ） (2020-02-12T17:58:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。