論文の概要: Beyond Ambiguous Visual Cues: Studying Physiological Disruptions and Cross-Modal Inconsistencies in Deepfake Videos
- arxiv url: http://arxiv.org/abs/2609.12668v1
- Date: Fri, 11 Sep 2026 10:12:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.712572
- Title: Beyond Ambiguous Visual Cues: Studying Physiological Disruptions and Cross-Modal Inconsistencies in Deepfake Videos
- Title（参考訳）: 曖昧なビジュアルクイズを超えて:ディープフェイクビデオにおける生理的破壊と横断的不整合の研究
- Abstract要約: 現在の検出器は顔の特徴と生理学の相互関係を解明しておらず、しばしば後期融合やrの特徴のみに依存している。
本稿では, パルスダイナミクスと顔の動きの相互依存性を捉え, 頑健な連接性表現を学習する双方向コアテンション融合検出器を提案する。
- 参考スコア（独自算出の注目度）: 7.77578121448493
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent deepfake detection studies increasingly suggest remote photoplethysmography (rPPG) signals as an authenticity cue. However, existing benchmarks lack physiological ground truth, and current detectors underexplore the cross-level relationship between facial features and physiological dynamics, often relying on late fusion or rPPG features alone. In this paper, we construct high-fidelity deepfake manipulations on established real rPPG datasets (COHFACE and UBFC-rPPG) to investigate how forgeries disrupt natural physiological signals and facial behavior at the same time. Building on this analysis, we propose a bidirectional co-attention fusion detector that jointly models rPPG and facial behavior tokens. This mechanism explicitly captures the cross-level dependencies between pulse dynamics and facial motion to learn a robust, joint authenticity representation. Extensive experiments using a subject-disjoint 5-fold evaluation demonstrate the superiority of our approach. Achieving a 92.80\% AUC on constructed datasets using face swapping and 96.78\% AUC on motion transfer, our model outperforms both the rPPG-only single modality baseline and the best feature-level fusion methods. Furthermore, transfer-learning result of the fusion detector on Celeb-DF-v2 while keeping both feature extractors fixed achieves 91.20\% accuracy and 86.08\% AUC, which suggests applicability under target-domain adaptation.
- Abstract（参考訳）: 近年のディープフェイク検出研究は、リモート光胸腺造影(rPPG)シグナルを認証キューとして示唆している。
しかし、既存のベンチマークは生理的根拠の真実を欠いているため、現在の検出器は顔の特徴と生理学の相互関係を過小評価しており、しばしば後期融合またはrPPGの特徴のみに依存している。
本稿では,確立された実 rPPG データセット (COHFACE と UBFC-rPPG) を用いた高忠実度ディープフェイク操作を構築し,偽造が自然の生理的信号や顔の挙動を同時に破壊する方法について検討する。
そこで本研究では,rPPGと顔行動トークンを共同でモデル化した双方向コアテンション融合検出器を提案する。
このメカニズムは、パルス力学と顔の動きの間の交差レベルの依存関係を明示的にキャプチャし、堅牢な関節の認証表現を学習する。
主観解離5倍評価を用いた広汎な実験により,本手法の優位性を実証した。
顔スワップを用いた構築データセットにおける92.80\% AUCと、モーショントランスファーにおける96.78\% AUCの達成により、我々のモデルは、rPPGのみの単一モダリティベースラインと最高の特徴レベルの融合法の両方に優れる。
さらに、Celeb-DF-v2上の核融合検出器の移動学習結果は、両方の特徴抽出器を固定したまま、91.20\%の精度と86.08\%のAUCを達成し、ターゲットドメイン適応による適用性を示している。
関連論文リスト
- Physiological Signals as a Forensic Modality for Talking-Face Deepfake Detection [0.0]
ディープスワップ生成(TF)は、静止音源画像とauフェイク信号からフォトレアロスティックな顔映像を合成し、現在の画像ベースの検出器が常に識別できない偽造物を生成する。
本稿では、RhythmFormerを介してビデオ単位のr波を抽出し、実信号の識別のために軽量な分類器群を訓練する検出フレームワークを提案する。
論文 参考訳（メタデータ） (2026-07-23T19:47:15Z) - Intervention-Based Self-Supervised Learning: A Causal Probe Paradigm for Remote Photoplethysmography [38.62089038790769]
新たなSSLパラダイムであるCausal Probing(PCP)を提案する。
PCPは潜伏rシグナルを基礎となる物理的ソースとして扱い、結果として生じるピクセルの色の変化を視覚的表現として扱う。
我々のエディタは、VIPL-HRやMMPD-HRといった挑戦的なデータセット上で、ドメイン内およびクロスドメインのパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-04-26T09:56:09Z) - Face-D(^2)CL: Multi-Domain Synergistic Representation with Dual Continual Learning for Facial DeepFake Detection [21.09692782202372]
継続的な学習は、顔のディープフェイク検出モデルをフォージェリパターンに適応するための効果的なアプローチを提供する。
顔のディープフェイク検出のためのフレームワークFace-D(2)CLを提案する。
論文 参考訳（メタデータ） (2026-04-09T12:18:42Z) - Function-Space Decoupled Diffusion for Forward and Inverse Modeling in Carbon Capture and Storage [65.51149575007149]
本稿では,Fun-DDPSについて述べる。Fun-DDPSは,関数空間拡散モデルと微分可能なニューラル演算子サロゲートを結合した生成フレームワークである。
Fun-DDPSは、ジョイントステートベースラインで観察される高周波アーティファクトから、物理的に一貫した実現をもたらす。
論文 参考訳（メタデータ） (2026-02-12T18:58:12Z) - Reperio-rPPG: Relational Temporal Graph Neural Networks for Periodicity Learning in Remote Physiological Measurement [0.0]
リモート光麻痺(英: Remote Photoplethys)は、顔画像の微妙な色の変化を利用して、心拍数や呼吸速度などの重要な兆候を推定する、新たな生理的センシング技術である。
この非侵襲的手法は様々な領域で普及しているが、現実世界の条件下での微細な時間的ダイナミクスを捉える能力は過小評価されている。
周期構造を効果的に捉えるためにトランスフォーマーを戦略的に統合する新しいフレームワークであるGraph Reperio-rを提案する。
論文 参考訳（メタデータ） (2025-11-08T09:41:34Z) - AdaFusion: Prompt-Guided Inference with Adaptive Fusion of Pathology Foundation Models [49.550545038402184]
本稿では,新しいプロンプト誘導推論フレームワークであるAdaFusionを提案する。
本手法は,多様なモデルからタイルレベルの特徴を圧縮・整列する。
AdaFusionは、分類タスクと回帰タスクの両方にわたって、個々のPFMを一貫して上回っている。
論文 参考訳（メタデータ） (2025-08-07T07:09:31Z) - UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。
我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
論文 参考訳（メタデータ） (2024-07-26T20:51:54Z) - Benchmarking Joint Face Spoofing and Forgery Detection with Visual and
Physiological Cues [81.15465149555864]
視覚的外観と生理的rcuesを用いた第1回関節スプーフィングおよび検出ベンチマークを作成した。
r周期性判別を強化するために,顔の強信号マップと連続ウェーブレットを入力として変換した2分岐生理ネットワークを設計した。
論文 参考訳（メタデータ） (2022-08-10T15:41:48Z) - Consistency Regularization for Deep Face Anti-Spoofing [69.70647782777051]
顔認証システムでは、顔認証(FAS)が重要な役割を担っている。
このエキサイティングな観察によって、異なる視点の特徴整合性を促進することが、FASモデルを促進するための有望な方法かもしれないと推測する。
FASにおけるEPCR(Embeddding-level and Prediction-level Consistency Regularization)とEPCR(Embeddding-level Consistency Regularization)を併用した。
論文 参考訳（メタデータ） (2021-11-24T08:03:48Z) - Real-time landmark detection for precise endoscopic submucosal
dissection via shape-aware relation network [51.44506007844284]
内視鏡下粘膜下郭清術における高精度かつリアルタイムなランドマーク検出のための形状認識型関係ネットワークを提案する。
まず,ランドマーク間の空間的関係に関する先行知識を直感的に表現する関係キーポイント・ヒートマップを自動生成するアルゴリズムを考案する。
次に、事前知識を学習プロセスに段階的に組み込むために、2つの補完的な正規化手法を開発する。
論文 参考訳（メタデータ） (2021-11-08T07:57:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。