論文の概要: Learning Unified Video and Image Representation for Video Face Forgery Detection
- arxiv url: http://arxiv.org/abs/2608.13064v1
- Date: Thu, 13 Aug 2026 10:25:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.477832
- Title: Learning Unified Video and Image Representation for Video Face Forgery Detection
- Title（参考訳）: 映像顔偽造検出のための統一映像と画像表現の学習
- Abstract要約: 既存のビデオ顔偽造検出方法は、偽造ビデオのすべてのフレームが操作されていると仮定する。
ビデオ中の部分的偽造を検出するための微細な監督を行うために,追加の注釈付き画像を利用する新しいフレームワーク UVIF を提案する。
UVIFは、統一エンコーダとマルチタスク学習パラダイムを使用して、ビデオ顔偽造検出の強化のために、顔ビデオと画像を共同でモデル化する。
- 参考スコア（独自算出の注目度）: 49.19035628283472
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Face forgery detection is crucial for preserving the security and integrity of facial data given the rapid developments in face manipulation techniques and deep generative models. Existing methods for video face forgery detection typically assume that all frames in a forged video are manipulated, while detecting partially forged videos that contain only a subset of altered frames remains challenging. To address this issue, we propose a novel framework, UVIF, that utilizes additional annotated images to provide fine-grained supervision for detecting partial forgeries in videos. UVIF employs a unified encoder and a multi-task learning paradigm to jointly model facial videos and images for boosted video face forgery detection. A 2D backbone with temporal fusion modules is employed as the unified encoder. A pseudo labeling process is designed for video frames to bridge their representations with those of static images. A video-oriented feature alignment strategy is further introduced to reduce the distribution gap between videos and images. Extensive experiments on benchmark datasets demonstrate the effectiveness of our framework, which outperforms state-of-theart methods in detecting partially forged videos while introducing no additional computational overhead. Our code is available at https://github.com/haotianll/UVIF.
- Abstract（参考訳）: 顔操作技術や深層生成モデルが急速に発達していることを考えると、顔データのセキュリティと整合性を維持するためには、顔偽造検出が不可欠である。
既存のビデオ顔偽造検出法は、通常、偽造ビデオのすべてのフレームが操作されていると仮定するが、一部改ざんされたフレームのみを含む偽造ビデオを検出することは難しい。
この問題に対処するために,ビデオ中の部分的偽造を検出するための微細な監督を行うために,追加の注釈付き画像を利用する新しいフレームワーク,UVIFを提案する。
UVIFは、統一エンコーダとマルチタスク学習パラダイムを使用して、ビデオ顔偽造検出の強化のために、顔ビデオと画像を共同でモデル化する。
統合エンコーダとして、時間融合モジュールを持つ2Dバックボーンを用いる。
ビデオフレームに静的な画像で表現をブリッジする擬似ラベリングプロセスが設計されている。
ビデオと画像間の分配ギャップを低減するために、ビデオ指向の特徴アライメント戦略が導入された。
ベンチマークデータセットに対する大規模な実験により、このフレームワークの有効性が示され、これは部分的に鍛造されたビデオの検出において最先端の手法よりも優れており、計算オーバーヘッドは発生しない。
私たちのコードはhttps://github.com/haotianll/UVIF.comで利用可能です。
関連論文リスト
- SITAR: Semi-supervised Image Transformer for Action Recognition [20.609596080624662]
本稿では,少数のラベル付きビデオを利用する半教師付き環境での映像行動認識について述べる。
我々は、ラベルなしサンプルの膨大なプールを利用して、エンコードされたスーパーイメージに対して対照的な学習を行う。
本手法は,従来の半教師あり行動認識手法と比較して優れた性能を示す。
論文 参考訳（メタデータ） (2024-09-04T17:49:54Z) - Turns Out I'm Not Real: Towards Robust Detection of AI-Generated Videos [16.34393937800271]
高品質なビデオを作成するための生成モデルは、デジタル整合性とプライバシーの脆弱性に関する懸念を提起している。
ディープフェイクスのビデオと戦うための最近の研究は、ガン生成サンプルを正確に識別する検出器を開発した。
本稿では,複数の最先端(SOTA)生成モデルから合成された映像を検出するための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-13T21:52:49Z) - Learning Expressive And Generalizable Motion Features For Face Forgery
Detection [52.54404879581527]
本稿では,既存のビデオ分類手法に基づく,シーケンスに基づく効果的な偽造検出フレームワークを提案する。
動作特徴をより表現しやすくするために,別の動作整合ブロックを提案する。
一般的なビデオ分類ネットワークを3つの顔偽造データに対して有望な結果を達成する。
論文 参考訳（メタデータ） (2024-03-08T09:25:48Z) - AVTENet: A Human-Cognition-Inspired Audio-Visual Transformer-Based Ensemble Network for Video Deepfake Detection [49.81915942821647]
本研究では、ディープフェイクビデオを検出するために、オーディオ・ヴィジュアル・トランスフォーマー・ベースのアンサンブルネットワーク(AVTENet)を導入する。
評価には、最近リリースされたマルチモーダルオーディオビデオFakeAVCelebデータセットを使用する。
AVTENetとその変種およびいくつかの既存手法をFakeAVCelebデータセットの複数のテストセット上で評価する。
論文 参考訳（メタデータ） (2023-10-19T19:01:26Z) - Video Event Restoration Based on Keyframes for Video Anomaly Detection [9.18057851239942]
既存のディープニューラルネットワークベースの異常検出(VAD)手法は、主にフレーム再構成やフレーム予測の経路に従う。
これらの制限を突破するために、新しいVADパラダイムを導入します。
本稿では,ビデオイベント復元のためのU字型スイニングトランスフォーマーネットワーク (USTN-DSC) を提案する。
論文 参考訳（メタデータ） (2023-04-11T10:13:19Z) - Multimodal Graph Learning for Deepfake Detection [10.077496841634135]
既存のディープフェイク検出器は、堅牢性と一般化を達成する上でいくつかの課題に直面している。
本稿では,マルチモーダルグラフ学習(MGL)という新しいフレームワークを提案する。
提案手法は,ディープフェイク検出のための特徴を効果的に識別し,活用することを目的としている。
論文 参考訳（メタデータ） (2022-09-12T17:17:49Z) - Spatial-Temporal Frequency Forgery Clue for Video Forgery Detection in
VIS and NIR Scenario [87.72258480670627]
既存の周波数領域に基づく顔偽造検出手法では、GAN鍛造画像は、実際の画像と比較して、周波数スペクトルに明らかな格子状の視覚的アーチファクトを持つ。
本稿では,コサイン変換に基づくフォージェリークリュー拡張ネットワーク(FCAN-DCT)を提案し,より包括的な時空間特徴表現を実現する。
論文 参考訳（メタデータ） (2022-07-05T09:27:53Z) - Deep Video Prior for Video Consistency and Propagation [58.250209011891904]
視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。
提案手法は,大規模なデータセットではなく,オリジナルビデオとプロセッシングビデオのペアでのみ訓練される。
我々は、Deep Video Priorでビデオ上で畳み込みニューラルネットワークをトレーニングすることで、時間的一貫性を実現することができることを示す。
論文 参考訳（メタデータ） (2022-01-27T16:38:52Z) - Video Salient Object Detection via Contrastive Features and Attention
Modules [106.33219760012048]
本稿では,注目モジュールを持つネットワークを用いて,映像の有意な物体検出のためのコントラスト特徴を学習する。
コアテンションの定式化は、低レベル特徴と高レベル特徴を組み合わせるために用いられる。
提案手法は計算量が少なく,最先端の手法に対して良好に動作することを示す。
論文 参考訳（メタデータ） (2021-11-03T17:40:32Z) - Sharp Multiple Instance Learning for DeepFake Video Detection [54.12548421282696]
我々はDeepFakeビデオに、ビデオレベルのラベルのみを提供するが、フェイクビデオのすべての顔が操作されるわけではない部分的な顔攻撃という新しい問題を導入する。
インスタンス埋め込みからバッグ予測への直接マッピングを構築する鋭いMIL(S-MIL)を提案する。
FFPMSと広く使われているDFDCデータセットの実験により、S-MILは部分的に攻撃されたDeepFakeビデオ検出において他の手法よりも優れていることが確認された。
論文 参考訳（メタデータ） (2020-08-11T08:52:17Z) - Multiple Instance-Based Video Anomaly Detection using Deep Temporal
Encoding-Decoding [5.255783459833821]
本稿では,監視ビデオにおける異常検出のための時間的深部符号化復号化手法を提案する。
提案手法はトレーニング期間中に異常ビデオクリップと正常ビデオクリップの両方を使用する。
提案手法は,ビデオ監視アプリケーションにおける異常検出の最先端ソリューションと同等かそれ以上に動作することを示す。
論文 参考訳（メタデータ） (2020-07-03T08:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。