論文の概要: Voice-Face Homogeneity Tells Deepfake

• arxiv url: http://arxiv.org/abs/2203.02195v1
• Date: Fri, 4 Mar 2022 09:08:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-07 14:35:35.719731
• Title: Voice-Face Homogeneity Tells Deepfake
• Title（参考訳）: 声と顔の相同性がディープフェイクを語る
• Authors: Harry Cheng and Yangyang Guo and Tianyi Wang and Qi Li and Tao Ye and Liqiang Nie
• Abstract要約: 既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。 未探索の音声-顔のマッチングビューからディープフェイク検出を行う。 我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
• 参考スコア（独自算出の注目度）: 56.334968246631725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detecting forgery videos is highly desired due to the abuse of deepfake. Existing detection approaches contribute to exploring the specific artifacts in deepfake videos and fit well on certain data. However, the growing technique on these artifacts keeps challenging the robustness of traditional deepfake detectors. As a result, the development of generalizability of these approaches has reached a blockage. To address this issue, given the empirical results that the identities behind voices and faces are often mismatched in deepfake videos, and the voices and faces have homogeneity to some extent, in this paper, we propose to perform the deepfake detection from an unexplored voice-face matching view. To this end, a voice-face matching detection model is devised to measure the matching degree of these two on a generic audio-visual dataset. Thereafter, this model can be smoothly transferred to deepfake datasets without any fine-tuning, and the generalization across datasets is accordingly enhanced. We conduct extensive experiments over two widely exploited datasets - DFDC and FakeAVCeleb. Our model obtains significantly improved performance as compared to other state-of-the-art competitors and maintains favorable generalizability. The code has been released at https://github.com/xaCheng1996/VFD.
• Abstract（参考訳）: ディープフェイクの悪用により、偽造ビデオの検出が望まれている。 既存の検出アプローチは、deepfakeビデオ内の特定のアーティファクトの探索に寄与し、特定のデータに適合する。 しかし、これらのアーティファクトの成長技術は、従来のディープフェイク検出器の堅牢性に挑戦し続けている。 その結果、これらの手法の一般化可能性の発達は阻止された。 そこで本稿では,音声と顔の同一性がディープフェイク映像では不一致であり,音声と顔の類似性がある程度あるという経験的結果から,未探索の音声・顔マッチング視点からディープフェイク検出を行うことを提案する。 この目的のために音声面マッチング検出モデルを考案し、これら2つのマッチング度を汎用視聴覚データセット上で測定する。 その後、このモデルを微調整なしでディープフェイクデータセットにスムーズに転送し、データセット間の一般化を向上する。 広く利用されている2つのデータセットDFDCとFakeAVCelebについて広範な実験を行った。 本モデルは他の最先端の競合に比べて大幅に性能が向上し,良好な一般化性を維持している。 コードはhttps://github.com/xaCheng1996/VFDでリリースされた。

関連論文リスト

• FakeFormer: Efficient Vulnerability-Driven Transformers for Generalisable Deepfake Detection [12.594436202557446]
  本稿では,視覚変換器(ViT)が顔面偽造検出に最適である理由について検討する。 本稿では, 微妙な不整合情報を抽出するためにViTを拡張したFakeFormerというディープフェイク検出フレームワークを提案する。 FF++、Celeb-DF、WildDeepfake、DFD、DFDCP、DFDCなど、さまざまな有名なデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2024-10-29T11:36:49Z)
• Deepfake detection in videos with multiple faces using geometric-fakeness features [79.16635054977068]
  被害者や人物のディープフェイクは、脅迫、ゆがみ、金融詐欺の詐欺師によって使用される。 本研究では,映像中の顔の存在の動的度を特徴付ける幾何学的フェイクネス機能(GFF)を提案する。 我々は、ビデオに同時に存在する複数の顔でビデオを分析するために、我々のアプローチを採用している。
  論文  参考訳（メタデータ） (2024-10-10T13:10:34Z)
• Contextual Cross-Modal Attention for Audio-Visual Deepfake Detection and Localization [3.9440964696313485]
  デジタル時代には、ディープフェイクや合成メディアの出現は、社会的・政治的整合性に対する重大な脅威となる。 オーディオ視覚のようなマルチモーダル操作に基づくディープフェイクは、より現実的であり、より大きな脅威をもたらす。 本稿では,音声・視覚的ディープフェイク検出にコンテキスト情報を活用する,リカレントニューラルネットワーク(RNN)に基づく新しいマルチモーダルアテンションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-02T18:45:01Z)
• A Multi-Stream Fusion Approach with One-Class Learning for Audio-Visual Deepfake Detection [17.285669984798975]
  本稿では,ロバストな音声・視覚深度検出モデルを開発する上での課題について述べる。 新たな世代のアルゴリズムが絶えず出現しており、検出方法の開発中にこれらのアルゴリズムは遭遇しない。 表現レベルの正規化手法として,一級学習を用いたマルチストリーム融合手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T10:33:15Z)
• DF40: Toward Next-Generation Deepfake Detection [62.073997142001424]
  既存の研究は、ある特定のデータセットで検出器をトレーニングし、他の一般的なディープフェイクデータセットでテストすることで、トップノーチ検出アルゴリズムとモデルを識別する。 しかし、これらの「勝者」は現実の世界に潜む無数の現実的で多様なディープフェイクに取り組むために真に応用できるのだろうか? 我々は,40の異なるディープフェイク技術からなるDF40という,高度に多様なディープフェイク検出データセットを構築した。
  論文  参考訳（メタデータ） (2024-06-19T12:35:02Z)
• In Anticipation of Perfect Deepfake: Identity-anchored Artifact-agnostic Detection under Rebalanced Deepfake Detection Protocol [20.667392938528987]
  本研究では,バランスの取れたシナリオ下でのストレステスト検出にRDDP(Re Balanced Deepfake Detection Protocol)を導入する。 ID-Minerは,人工物や外観の動作に焦点をあてることで,変装の背後にある人形を識別する検出器である。
  論文  参考訳（メタデータ） (2024-05-01T12:48:13Z)
• CrossDF: Improving Cross-Domain Deepfake Detection with Deep Information Decomposition [53.860796916196634]
  クロスデータセットディープフェイク検出(CrossDF)の性能を高めるためのディープ情報分解(DID)フレームワークを提案する。 既存のディープフェイク検出方法とは異なり、我々のフレームワークは特定の視覚的アーティファクトよりも高いレベルのセマンティック特徴を優先する。 顔の特徴をディープフェイク関連情報と無関係情報に適応的に分解し、本質的なディープフェイク関連情報のみを用いてリアルタイム・フェイク識別を行う。
  論文  参考訳（メタデータ） (2023-09-30T12:30:25Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Beyond the Spectrum: Detecting Deepfakes via Re-Synthesis [69.09526348527203]
  ディープフェイク(Deepfakes)として知られる非常に現実的なメディアは、現実の目から人間の目まで区別できない。 本研究では,テスト画像を再合成し,検出のための視覚的手がかりを抽出する,新しい偽検出手法を提案する。 種々の検出シナリオにおいて,提案手法の摂動に対する有効性の向上,GANの一般化,堅牢性を示す。
  論文  参考訳（メタデータ） (2021-05-29T21:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。