論文の概要: Deepfake detection in videos with multiple faces using geometric-fakeness features
- arxiv url: http://arxiv.org/abs/2410.07888v1
- Date: Thu, 10 Oct 2024 13:10:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 14:16:01.970072
- Title: Deepfake detection in videos with multiple faces using geometric-fakeness features
- Title（参考訳）: 幾何学的フェークネス特徴を用いた複数の顔を持つビデオにおけるディープフェイク検出
- Authors: Kirill Vyshegorodtsev, Dmitry Kudiyarov, Alexander Balashov, Alexander Kuzmin,
- Abstract要約: 被害者や人物のディープフェイクは、脅迫、ゆがみ、金融詐欺の詐欺師によって使用される。
本研究では,映像中の顔の存在の動的度を特徴付ける幾何学的フェイクネス機能(GFF)を提案する。
我々は、ビデオに同時に存在する複数の顔でビデオを分析するために、我々のアプローチを採用している。
- 参考スコア（独自算出の注目度）: 79.16635054977068
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to the development of facial manipulation techniques in recent years deepfake detection in video stream became an important problem for face biometrics, brand monitoring or online video conferencing solutions. In case of a biometric authentication, if you replace a real datastream with a deepfake, you can bypass a liveness detection system. Using a deepfake in a video conference, you can penetrate into a private meeting. Deepfakes of victims or public figures can also be used by fraudsters for blackmailing, extorsion and financial fraud. Therefore, the task of detecting deepfakes is relevant to ensuring privacy and security. In existing approaches to a deepfake detection their performance deteriorates when multiple faces are present in a video simultaneously or when there are other objects erroneously classified as faces. In our research we propose to use geometric-fakeness features (GFF) that characterize a dynamic degree of a face presence in a video and its per-frame deepfake scores. To analyze temporal inconsistencies in GFFs between the frames we train a complex deep learning model that outputs a final deepfake prediction. We employ our approach to analyze videos with multiple faces that are simultaneously present in a video. Such videos often occur in practice e.g., in an online video conference. In this case, real faces appearing in a frame together with a deepfake face will significantly affect a deepfake detection and our approach allows to counter this problem. Through extensive experiments we demonstrate that our approach outperforms current state-of-the-art methods on popular benchmark datasets such as FaceForensics++, DFDC, Celeb-DF and WildDeepFake. The proposed approach remains accurate when trained to detect multiple different deepfake generation techniques.
- Abstract（参考訳）: 近年の顔操作技術の発展により、ビデオストリームにおけるディープフェイク検出は、顔バイオメトリックス、ブランド監視、オンラインビデオ会議ソリューションにとって重要な問題となった。
生体認証の場合、実際のデータストリームをディープフェイクに置き換えれば、ライブ検出システムをバイパスすることができる。
ビデオ会議のDeepfakeを使えば、プライベートミーティングに侵入することができる。
被害者や人物のディープフェイクは、脅迫、ゆがみ、金融詐欺の詐欺師にも使われる。
したがって、ディープフェイクを検出するタスクは、プライバシとセキュリティの確保に関係している。
既存のディープフェイク検出手法では、複数の顔が同時にビデオに存在する場合や、他の物体が誤って顔として分類されている場合のパフォーマンスが劣化する。
本研究では,映像中の顔の存在度とフレームごとのディープフェイクスコアを動的に特徴付ける幾何学的フェイクネス機能(GFF)を提案する。
フレーム間のGFFの時間的矛盾を分析するために,最終的な深度予測を出力する複雑な深度学習モデルを訓練する。
我々は、ビデオに同時に存在する複数の顔でビデオを分析するために、我々のアプローチを採用している。
このようなビデオは、例えばオンラインビデオ会議において、実際に発生することが多い。
この場合、フレーム内に現れる実際の顔とディープフェイクの顔は、ディープフェイク検出に大きく影響し、我々のアプローチはこの問題に対処することができる。
大規模な実験を通じて、我々はFaceForensics++、DFDC、Celeb-DF、WildDeepFakeといった一般的なベンチマークデータセットにおいて、現在の最先端メソッドよりも優れていることを実証した。
提案手法は、複数の異なるディープフェイク生成技術を検出する訓練を行う際にも正確である。
関連論文リスト
- Shaking the Fake: Detecting Deepfake Videos in Real Time via Active Probes [3.6308756891251392]
生成AIの一種であるリアルタイムディープフェイク(Real-time Deepfake)は、ビデオ内の既存のコンテンツ(例えば、顔を別のものと交換する)を「生成する」ことができる。
金融詐欺や政治的誤報など、悪意ある目的のためにディープフェイクビデオを作るのに誤用されている。
本研究では,物理干渉に適応できないディープフェイクモデルを利用した新しいリアルタイムディープフェイク検出手法であるSFakeを提案する。
論文 参考訳（メタデータ） (2024-09-17T04:58:30Z) - Undercover Deepfakes: Detecting Fake Segments in Videos [1.2609216345578933]
ディープフェイク・ジェネレーションは ディープフェイクの新しいパラダイムだ ほとんどは 真実を歪めるために わずかに修正された 実際のビデオだ
本稿では,フレームとビデオレベルでディープフェイク予測を行うことにより,この問題に対処できるディープフェイク検出手法を提案する。
特に、私たちが取り組むパラダイムは、ディープフェイクのモデレーションのための強力なツールを形成します。
論文 参考訳（メタデータ） (2023-05-11T04:43:10Z) - Audio-Visual Person-of-Interest DeepFake Detection [77.04789677645682]
本研究の目的は、現実世界で遭遇する様々な操作方法やシナリオに対処できるディープフェイク検出器を提案することである。
我々は、対照的な学習パラダイムを活用して、各アイデンティティに対して最も識別しやすい、移動面と音声セグメントの埋め込みを学習する。
本手法は,シングルモダリティ(オーディオのみ,ビデオのみ)とマルチモダリティ(オーディオビデオ)の両方を検出でき,低品質・低画質ビデオに対して堅牢である。
論文 参考訳（メタデータ） (2022-04-06T20:51:40Z) - Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。
未探索の音声-顔のマッチングビューからディープフェイク検出を行う。
我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
論文 参考訳（メタデータ） (2022-03-04T09:08:50Z) - Watch Those Words: Video Falsification Detection Using Word-Conditioned
Facial Motion [82.06128362686445]
本稿では,安価なディープフェイクと視覚的に説得力のあるディープフェイクの両方を扱うためのマルチモーダルな意味法医学的アプローチを提案する。
帰属という概念を利用して、ある話者と他の話者を区別する個人固有の生体パターンを学習する。
既存の個人固有のアプローチとは異なり、この手法は口唇の操作に焦点を当てた攻撃にも有効である。
論文 参考訳（メタデータ） (2021-12-21T01:57:04Z) - Understanding the Security of Deepfake Detection [23.118012417901078]
本研究では,最先端のディープフェイク検出手法の対向的設定における安全性について検討する。
FaceForensics++やFacebook Deepfake Detection Challengeなど、大規模な公開ディープフェイクデータソースを2つ使用しています。
本研究は, 対戦環境におけるディープフェイク検出手法のセキュリティ上の制約を明らかにした。
論文 参考訳（メタデータ） (2021-07-05T14:18:21Z) - WildDeepfake: A Challenging Real-World Dataset for Deepfake Detection [82.42495493102805]
我々は,インターネットから完全に収集された707のディープフェイクビデオから抽出された7,314の顔シーケンスからなる新しいデータセットWildDeepfakeを紹介した。
既存のWildDeepfakeデータセットと我々のWildDeepfakeデータセットのベースライン検出ネットワークを体系的に評価し、WildDeepfakeが実際により困難なデータセットであることを示す。
論文 参考訳（メタデータ） (2021-01-05T11:10:32Z) - A Convolutional LSTM based Residual Network for Deepfake Video Detection [23.275080108063406]
我々は、深層ビデオを検出するための畳み込みLSTMベースのResidual Network(CLRNet)を開発した。
また,異なるディープフェイク手法を一般化するための伝達学習に基づくアプローチを提案する。
論文 参考訳（メタデータ） (2020-09-16T05:57:06Z) - Deepfake detection: humans vs. machines [4.485016243130348]
クラウドソーシングのようなシナリオで実施した主観的研究で,ビデオがディープフェイクであるか否かを人間が確認することがいかに困難であるかを体系的に評価する。
各ビデオについて、簡単な質問は「ビデオの中の人物の顔は偽物か?」というものだった。
この評価は、人間の知覚が機械の知覚とは大きく異なるが、成功しても異なる方法ではディープフェイクに騙されることを示した。
論文 参考訳（メタデータ） (2020-09-07T15:20:37Z) - Sharp Multiple Instance Learning for DeepFake Video Detection [54.12548421282696]
我々はDeepFakeビデオに、ビデオレベルのラベルのみを提供するが、フェイクビデオのすべての顔が操作されるわけではない部分的な顔攻撃という新しい問題を導入する。
インスタンス埋め込みからバッグ予測への直接マッピングを構築する鋭いMIL(S-MIL)を提案する。
FFPMSと広く使われているDFDCデータセットの実験により、S-MILは部分的に攻撃されたDeepFakeビデオ検出において他の手法よりも優れていることが確認された。
論文 参考訳（メタデータ） (2020-08-11T08:52:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。