論文の概要: Physics-Aware Deepfake Detection via Distance-Speech Consistency
- arxiv url: http://arxiv.org/abs/2610.18485v1
- Date: Tue, 13 Oct 2026 14:44:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 21:05:11.072807
- Title: Physics-Aware Deepfake Detection via Distance-Speech Consistency
- Title（参考訳）: 距離音声一貫性による物理認識深度検出
- Abstract要約: 本研究では,音場制約を利用した動的音声ビデオのための物理認識検出器を提案する。
提案手法は,映像からの距離推定と音声からの距離依存音響測定を組み合わせ,ディープフェイクを検出する。
in-the-wildベンチマークの実験では、提案した物理キューが動的シナリオに有効であることが示されている。
- 参考スコア（独自算出の注目度）: 30.14182823780467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent progress in generative models has made talking-head deepfakes highly realistic and easy to create, jeopardizing public trust. However, most audio-visual deepfake detectors rely on lip-speech synchronization and are designed for static, frontal videos, limiting their reliability in dynamic, in-the-wild recordings where the speaker moves and lip cues are degraded or missing. As an alternative, we propose a physics-aware detector for dynamic speaking videos that leverages an acoustic constraint: in real recordings, speech energy varies predictably with speaker-to-camera distance, whereas deepfake generation can break this coupling. Our method combines distance estimates from video with distance-dependent acoustic measures from speech to detect deepfakes. Experiments on in-the-wild benchmarks show that the proposed physical cue is effective in dynamic scenarios, and that it complements lip-sync-based detectors, with a simple ensemble achieving consistent gains across datasets. Codes are available at https://byulharang.github.io/PADD/.
- Abstract（参考訳）: 生成モデルの最近の進歩は、会話ヘッドのディープフェイクを非常に現実的で簡単に作成し、公的な信頼を脅かす。
しかし、ほとんどのオーディオ・ビジュアル・ディープフェイク検出器は、リップ音声同期に依存しており、静的なフロントビデオ用に設計されており、スピーカーの動きやリップキューが劣化したり欠落したりするような、ダイナミックな内部記録の信頼性を制限している。
実際の録音では、音声エネルギーは話者とカメラの距離によって予測可能であり、一方ディープフェイク生成は、この結合を損なう可能性がある。
提案手法は,映像からの距離推定と音声からの距離依存音響測定を組み合わせ,ディープフェイクを検出する。
in-the-wildベンチマークの実験によると、提案された物理キューは動的シナリオで有効であり、データセット間で一貫した利得を達成する単純なアンサンブルでリップシンクベースの検出器を補完する。
コードはhttps://byulharang.github.io/PADD/で公開されている。
関連論文リスト
- MADBench: A Benchmark for Modality-Aware Audio Deepfake Detection [18.1593708805924]
音声と環境音を異なる音響成分として扱う最初のベンチマークであるMADBenchを紹介する。
我々は、統一されたプロトコルの下で、最先端検出器とマルチモーダルな大規模言語モデルをベンチマークする。
実験の結果,環境音声操作は汎用エンコーダを用いた合成音声よりも検出しやすいことがわかった。
論文 参考訳（メタデータ） (2026-08-10T13:27:09Z) - Listening Deepfake Detection: A New Perspective Beyond Speaking-Centric Forgery Analysis [12.060274776566223]
聴取深度検出(LDD)の課題について述べる。
我々は,聴取者の映像の微妙な動きの不整合を捉えた動き認識・音声誘導ネットワークMANetを提案する。
我々の研究は、従来の話し中心のパラダイムを超えてディープフェイク検出を再考する必要性を強調している。
論文 参考訳（メタデータ） (2026-04-14T12:20:07Z) - SAVe: Self-Supervised Audio-visual Deepfake Detection Exploiting Visual Artifacts and Audio-visual Misalignment [74.05278327933006]
SAVeは,音声・視覚深度検出フレームワークで,映像の完全学習を行う。
SAVEは、タグ付けアーティファクトをエミュレートするために、オンザフライ、アイデンティティ保存、地域対応の自明な擬似操作を生成する。
クロスモーダルな証拠を捉えるために、SAVeはリップ音声同期もモデル化している。
論文 参考訳（メタデータ） (2026-03-26T08:01:35Z) - Leave No Stone Unturned: Uncovering Holistic Audio-Visual Intrinsic Coherence for Deepfake Detection [27.756028843178708]
生成AIは、個人のセキュリティと社会的信頼に対する脅威を強化する、超現実的なオーディオ視覚的ディープフェイクを可能にした。
既存のディープフェイク検出器の多くは、ユニモーダルなアーティファクトやオーディオと視覚の相違に依存しており、両方の情報源を共同で活用することができない。
我々は、頑健で一般化可能な検出は、本質的な音声-視覚的コヒーレンスをモダリティ内および全範囲に根ざすべきであると論じている。
我々は,現在最先端の商用発電機からのテキスト・ツー・ビデオ・フォージェリーと画像・ビデオ・フォージェリーを併用した高忠実なオーディオ・ビジュアル・ディープフェイク・データセットであるHiFi-AVDFを紹介する。
論文 参考訳（メタデータ） (2026-03-25T05:44:25Z) - End-to-end Audio Deepfake Detection from RAW Waveforms: a RawNet-Based Approach with Cross-Dataset Evaluation [8.11594945165255]
生波形を直接操作するオーディオディープフェイク検出のためのエンドツーエンドのディープラーニングフレームワークを提案する。
我々のモデルであるRawNetLiteは、手作りの事前処理なしでスペクトルと時間の両方の特徴を捉えるために設計された軽量な畳み込み並列アーキテクチャである。
論文 参考訳（メタデータ） (2025-04-29T16:38:23Z) - SafeEar: Content Privacy-Preserving Audio Deepfake Detection [17.859275594843965]
音声コンテンツにアクセスすることなくディープフェイク音声を検知する新しいフレームワークであるSafeEarを提案する。
私たちのキーとなるアイデアは、ニューラルオーディオを、セマンティックおよび音響情報をオーディオサンプルから適切に分離する、新しいデカップリングモデルに組み込むことです。
このようにして、セマンティックな内容が検出器に露出されることはない。
論文 参考訳（メタデータ） (2024-09-14T02:45:09Z) - AVTENet: A Human-Cognition-Inspired Audio-Visual Transformer-Based Ensemble Network for Video Deepfake Detection [49.81915942821647]
本研究では、ディープフェイクビデオを検出するために、オーディオ・ヴィジュアル・トランスフォーマー・ベースのアンサンブルネットワーク(AVTENet)を導入する。
評価には、最近リリースされたマルチモーダルオーディオビデオFakeAVCelebデータセットを使用する。
AVTENetとその変種およびいくつかの既存手法をFakeAVCelebデータセットの複数のテストセット上で評価する。
論文 参考訳（メタデータ） (2023-10-19T19:01:26Z) - NPVForensics: Jointing Non-critical Phonemes and Visemes for Deepfake
Detection [50.33525966541906]
既存のマルチモーダル検出手法は、Deepfakeビデオを公開するために、音声と視覚の不整合をキャプチャする。
NPVForensics と呼ばれる非臨界音素とビセムの相関関係を抽出する新しいディープフェイク検出法を提案する。
我々のモデルは、微調整で下流のDeepfakeデータセットに容易に適応できる。
論文 参考訳（メタデータ） (2023-06-12T06:06:05Z) - StyleTalker: One-shot Style-based Audio-driven Talking Head Video Generation [47.06075725469252]
StyleTalkerは音声駆動のトーキングヘッド生成モデルである。
単一の参照画像から話し手の映像を合成することができる。
我々のモデルは、音声ヘッドビデオを印象的な品質で合成することができる。
論文 参考訳（メタデータ） (2022-08-23T12:49:01Z) - Audio-Visual Person-of-Interest DeepFake Detection [77.04789677645682]
本研究の目的は、現実世界で遭遇する様々な操作方法やシナリオに対処できるディープフェイク検出器を提案することである。
我々は、対照的な学習パラダイムを活用して、各アイデンティティに対して最も識別しやすい、移動面と音声セグメントの埋め込みを学習する。
本手法は,シングルモダリティ(オーディオのみ,ビデオのみ)とマルチモダリティ(オーディオビデオ)の両方を検出でき,低品質・低画質ビデオに対して堅牢である。
論文 参考訳（メタデータ） (2022-04-06T20:51:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。