論文の概要: Voice-Face Homogeneity Tells Deepfake
- arxiv url: http://arxiv.org/abs/2203.02195v1
- Date: Fri, 4 Mar 2022 09:08:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-07 14:35:35.719731
- Title: Voice-Face Homogeneity Tells Deepfake
- Title(参考訳): 声と顔の相同性がディープフェイクを語る
- Authors: Harry Cheng and Yangyang Guo and Tianyi Wang and Qi Li and Tao Ye and
Liqiang Nie
- Abstract要約: 既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。
未探索の音声-顔のマッチングビューからディープフェイク検出を行う。
我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
- 参考スコア(独自算出の注目度): 56.334968246631725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Detecting forgery videos is highly desired due to the abuse of deepfake.
Existing detection approaches contribute to exploring the specific artifacts in
deepfake videos and fit well on certain data. However, the growing technique on
these artifacts keeps challenging the robustness of traditional deepfake
detectors. As a result, the development of generalizability of these approaches
has reached a blockage. To address this issue, given the empirical results that
the identities behind voices and faces are often mismatched in deepfake videos,
and the voices and faces have homogeneity to some extent, in this paper, we
propose to perform the deepfake detection from an unexplored voice-face
matching view. To this end, a voice-face matching detection model is devised to
measure the matching degree of these two on a generic audio-visual dataset.
Thereafter, this model can be smoothly transferred to deepfake datasets without
any fine-tuning, and the generalization across datasets is accordingly
enhanced. We conduct extensive experiments over two widely exploited datasets -
DFDC and FakeAVCeleb. Our model obtains significantly improved performance as
compared to other state-of-the-art competitors and maintains favorable
generalizability. The code has been released at
https://github.com/xaCheng1996/VFD.
- Abstract(参考訳): ディープフェイクの悪用により、偽造ビデオの検出が望まれている。
既存の検出アプローチは、deepfakeビデオ内の特定のアーティファクトの探索に寄与し、特定のデータに適合する。
しかし、これらのアーティファクトの成長技術は、従来のディープフェイク検出器の堅牢性に挑戦し続けている。
その結果、これらの手法の一般化可能性の発達は阻止された。
そこで本稿では,音声と顔の同一性がディープフェイク映像では不一致であり,音声と顔の類似性がある程度あるという経験的結果から,未探索の音声・顔マッチング視点からディープフェイク検出を行うことを提案する。
この目的のために音声面マッチング検出モデルを考案し、これら2つのマッチング度を汎用視聴覚データセット上で測定する。
その後、このモデルを微調整なしでディープフェイクデータセットにスムーズに転送し、データセット間の一般化を向上する。
広く利用されている2つのデータセットDFDCとFakeAVCelebについて広範な実験を行った。
本モデルは他の最先端の競合に比べて大幅に性能が向上し,良好な一般化性を維持している。
コードはhttps://github.com/xaCheng1996/VFDでリリースされた。
関連論文リスト
- MIS-AVoiDD: Modality Invariant and Specific Representation for
Audio-Visual Deepfake Detection [4.659427498118277]
新しいタイプのディープフェイクが登場し、オーディオまたは視覚的モーダルが操作された。
既存のマルチモーダルディープフェイク検出器は、しばしばビデオからのオーディオとビジュアルストリームの融合に基づいている。
本稿では,マルチモーダルディープフェイク検出のための音声と視覚ストリームの融合を支援するために,表現レベルでの問題に取り組む。
論文 参考訳(メタデータ) (2023-10-03T17:43:24Z) - Improving Cross-dataset Deepfake Detection with Deep Information
Decomposition [57.284370468207214]
ディープフェイク技術は、セキュリティと社会的信頼に重大な脅威をもたらす。
既存の検出方法は、クロスデータセットのシナリオに直面した場合、パフォーマンスの急激な低下に悩まされる。
本稿では,深層情報分解(DID)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-30T12:30:25Z) - Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。
既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。
本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-07-31T10:22:33Z) - Model Attribution of Face-swap Deepfake Videos [39.771800841412414]
まず、いくつかのAutoencoderモデルに基づいて、DeepFakes from Different Models (DFDM)を用いた新しいデータセットを導入する。
具体的には、エンコーダ、デコーダ、中間層、入力解像度、圧縮比の5つの世代モデルを用いて、合計6450のDeepfakeビデオを生成する。
我々は,Deepfakesモデルの属性を多クラス分類タスクとして捉え,Deepfakes間の差異を探索するための空間的・時間的注意に基づく手法を提案する。
論文 参考訳(メタデータ) (2022-02-25T20:05:18Z) - An Experimental Evaluation on Deepfake Detection using Deep Face
Recognition [0.0]
ディープラーニングは、ディープフェイク(deepfakes)として知られる非常に現実的なフェイクコンテンツを生み出した。
現在のディープフェイク検出法のほとんどは、2クラス畳み込みニューラルネットワーク(CNN)を用いた偽のイメージやビデオとを区別する二項分類問題と見なされている。
本稿では,異なる損失関数とディープフェイク生成技術を用いて,ディープフェイク識別におけるディープフェイク認識の有効性を徹底的に評価する。
論文 参考訳(メタデータ) (2021-10-04T18:02:56Z) - Beyond the Spectrum: Detecting Deepfakes via Re-Synthesis [69.09526348527203]
ディープフェイク(Deepfakes)として知られる非常に現実的なメディアは、現実の目から人間の目まで区別できない。
本研究では,テスト画像を再合成し,検出のための視覚的手がかりを抽出する,新しい偽検出手法を提案する。
種々の検出シナリオにおいて,提案手法の摂動に対する有効性の向上,GANの一般化,堅牢性を示す。
論文 参考訳(メタデータ) (2021-05-29T21:22:24Z) - M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。
本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。
最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
論文 参考訳(メタデータ) (2021-04-20T05:43:44Z) - The DeepFake Detection Challenge (DFDC) Dataset [8.451007921188019]
Deepfakesは、誰でも一つのビデオで2つのIDを交換できるテクニックだ。
この新たな脅威に対処するため、私たちは非常に大きな顔スワップビデオデータセットを構築しました。
記録されたすべての被験者は、顔障害者データセットの構築中にその類似性を変更し、参加することに同意した。
論文 参考訳(メタデータ) (2020-06-12T18:15:55Z) - Emotions Don't Lie: An Audio-Visual Deepfake Detection Method Using
Affective Cues [75.1731999380562]
本稿では,実・偽のディープフェイクマルチメディアコンテンツを検出する学習手法を提案する。
我々は,同じビデオから2つのオーディオと視覚の類似性を抽出し,解析する。
我々は,いくつかのSOTAディープフェイク検出手法との比較を行い,DFDCでは84.4%,DF-TIMITデータセットでは96.6%の動画AUCを報告した。
論文 参考訳(メタデータ) (2020-03-14T22:07:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。