論文の概要: Exposing Lip-syncing Deepfakes from Mouth Inconsistencies
- arxiv url: http://arxiv.org/abs/2401.10113v1
- Date: Thu, 18 Jan 2024 16:35:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 16:00:42.957189
- Title: Exposing Lip-syncing Deepfakes from Mouth Inconsistencies
- Title(参考訳): 口内不一致による口唇同期ディープフェイクの暴露
- Authors: Soumyya Kanti Datta, Shan Jia, Siwei Lyu
- Abstract要約: リップシンクのディープフェイク(英: Lip-syncing Deepfake)は、人の唇の動きをAIモデルを使って説得力のある方法で生成し、修正された音声や全く新しい音声にマッチさせるデジタル操作されたビデオである。
本稿では,口領域の時間的不整合を識別し,口内不整合(LIPINC)に基づく口内深度検出法を提案する。
我々のモデルはこれらの不規則性をうまく捉え、いくつかのベンチマークディープフェイクデータセットで最先端の手法より優れている。
- 参考スコア(独自算出の注目度): 33.51027054306748
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A lip-syncing deepfake is a digitally manipulated video in which a person's
lip movements are created convincingly using AI models to match altered or
entirely new audio. Lip-syncing deepfakes are a dangerous type of deepfakes as
the artifacts are limited to the lip region and more difficult to discern. In
this paper, we describe a novel approach, LIP-syncing detection based on mouth
INConsistency (LIPINC), for lip-syncing deepfake detection by identifying
temporal inconsistencies in the mouth region. These inconsistencies are seen in
the adjacent frames and throughout the video. Our model can successfully
capture these irregularities and outperforms the state-of-the-art methods on
several benchmark deepfake datasets.
- Abstract(参考訳): リップシンクのディープフェイク(英: Lip-syncing Deepfake)は、人の唇の動きをAIモデルを使って説得力のある方法で生成し、修正された音声や全く新しい音声にマッチさせるデジタル操作されたビデオである。
リップ同期ディープフェイクは、人工物がリップ領域に限定され、識別が難しいため、危険なタイプのディープフェイクである。
本稿では,口内領域の時間的不整合を同定し,口内不一致(lipinc)に基づくリップ同期検出法を提案する。
これらの矛盾は、隣接するフレームやビデオ全体に見られる。
我々のモデルはこれらの不規則性をうまく捉え、いくつかのベンチマークディープフェイクデータセットで最先端の手法より優れている。
関連論文リスト
- Lips Are Lying: Spotting the Temporal Inconsistency between Audio and
Visual in Lip-Syncing DeepFakes [11.119780680692129]
リップフォージェリービデオは、既存のDeepFake検出方法に深刻な課題をもたらす。
本稿では,唇運動と音声信号の整合性を利用したリップフォージェリー識別のための新しい手法を提案する。
我々のアプローチでは、リップシンク動画の発見において平均95.3%以上の精度が得られている。
論文 参考訳(メタデータ) (2024-01-28T14:22:11Z) - FTFDNet: Learning to Detect Talking Face Video Manipulation with
Tri-Modality Interaction [9.780101247514366]
特に唇領域では、フェイク音声映像の光学的流れが乱れている。
より情報的な特徴を発見するために,新しい音声視覚アテンション機構 (AVAM) を提案する。
提案したFTFDNetは、他の最先端のDeepFakeビデオ検出方法よりも優れた検出性能を実現することができる。
論文 参考訳(メタデータ) (2023-07-08T14:45:16Z) - NPVForensics: Jointing Non-critical Phonemes and Visemes for Deepfake
Detection [50.33525966541906]
既存のマルチモーダル検出手法は、Deepfakeビデオを公開するために、音声と視覚の不整合をキャプチャする。
NPVForensics と呼ばれる非臨界音素とビセムの相関関係を抽出する新しいディープフェイク検出法を提案する。
我々のモデルは、微調整で下流のDeepfakeデータセットに容易に適応できる。
論文 参考訳(メタデータ) (2023-06-12T06:06:05Z) - Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。
未探索の音声-顔のマッチングビューからディープフェイク検出を行う。
我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
論文 参考訳(メタデータ) (2022-03-04T09:08:50Z) - Self-supervised Transformer for Deepfake Detection [112.81127845409002]
現実世界のシナリオにおけるディープフェイク技術は、顔偽造検知器のより強力な一般化能力を必要とする。
転送学習に触発されて、他の大規模な顔関連タスクで事前訓練されたニューラルネットワークは、ディープフェイク検出に有用な機能を提供する可能性がある。
本稿では,自己教師型変換器を用いた音声視覚コントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2022-03-02T17:44:40Z) - Watch Those Words: Video Falsification Detection Using Word-Conditioned
Facial Motion [82.06128362686445]
本稿では,安価なディープフェイクと視覚的に説得力のあるディープフェイクの両方を扱うためのマルチモーダルな意味法医学的アプローチを提案する。
帰属という概念を利用して、ある話者と他の話者を区別する個人固有の生体パターンを学習する。
既存の個人固有のアプローチとは異なり、この手法は口唇の操作に焦点を当てた攻撃にも有効である。
論文 参考訳(メタデータ) (2021-12-21T01:57:04Z) - Lips Don't Lie: A Generalisable and Robust Approach to Face Forgery
Detection [118.37239586697139]
LipForensicsは、操作の一般化と様々な歪みに耐えられる検出アプローチである。
視覚的音声認識(リリーディング)を行うために、初めて時間ネットワークを事前訓練する。
その後、リアルタイムおよび偽造データの固定された口埋め込みに時間的ネットワークを微調整し、低レベルな操作固有のアーティファクトに過度に適合することなく、口の動きに基づいて偽のビデオを検出する。
論文 参考訳(メタデータ) (2020-12-14T15:53:56Z) - A Lip Sync Expert Is All You Need for Speech to Lip Generation In The
Wild [37.37319356008348]
ターゲット音声セグメントにマッチする任意のアイデンティティの話し顔ビデオのリップ同期。
これに関連する重要な理由を同定し、強力なリップシンク識別器から学習することで解決する。
制約のないビデオのリップ同期を正確に測定するための,厳密な評価ベンチマークとメトリクスを提案する。
論文 参考訳(メタデータ) (2020-08-23T11:01:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。