論文の概要: Detecting Localized Deepfake Manipulations Using Action Unit-Guided Video Representations

• arxiv url: http://arxiv.org/abs/2503.22121v1
• Date: Fri, 28 Mar 2025 03:49:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:29:44.857152
• Title: Detecting Localized Deepfake Manipulations Using Action Unit-Guided Video Representations
• Title（参考訳）: Action Unit-Guided Video Representation を用いた局所的なディープフェイク操作の検出
• Authors: Tharun Anand, Siva Sankar, Pravin Nair,
• Abstract要約: ディープフェイク技術は、実際のビデオと合成ビデオのギャップを狭め、プライバシーとセキュリティの深刻な懸念を生じさせている。 この研究は、ディープフェイクビデオにおける局所的な編集を一般化するために明示的に設計された最初の検出手法を示す。 提案手法は,現在の最先端検出法よりも精度が20%向上する。
• 参考スコア（独自算出の注目度）: 4.449835214520726
• License:
• Abstract: With rapid advancements in generative modeling, deepfake techniques are increasingly narrowing the gap between real and synthetic videos, raising serious privacy and security concerns. Beyond traditional face swapping and reenactment, an emerging trend in recent state-of-the-art deepfake generation methods involves localized edits such as subtle manipulations of specific facial features like raising eyebrows, altering eye shapes, or modifying mouth expressions. These fine-grained manipulations pose a significant challenge for existing detection models, which struggle to capture such localized variations. To the best of our knowledge, this work presents the first detection approach explicitly designed to generalize to localized edits in deepfake videos by leveraging spatiotemporal representations guided by facial action units. Our method leverages a cross-attention-based fusion of representations learned from pretext tasks like random masking and action unit detection, to create an embedding that effectively encodes subtle, localized changes. Comprehensive evaluations across multiple deepfake generation methods demonstrate that our approach, despite being trained solely on the traditional FF+ dataset, sets a new benchmark in detecting recent deepfake-generated videos with fine-grained local edits, achieving a $20\%$ improvement in accuracy over current state-of-the-art detection methods. Additionally, our method delivers competitive performance on standard datasets, highlighting its robustness and generalization across diverse types of local and global forgeries.
• Abstract（参考訳）: 生成モデリングの急速な進歩により、ディープフェイク技術は、実際のビデオと合成ビデオのギャップを狭め、プライバシーとセキュリティの深刻な懸念を生じさせている。 従来の顔交換や再現以外にも、最近の最先端のディープフェイク生成手法では、まぶたを上げたり、目の形を変えたり、口の表情を変えたりといった、特定の顔の特徴を微妙に編集するといった、局所的な編集が行われている。 これらのきめ細かい操作は、そのような局所的な変動を捉えるのに苦労する既存の検出モデルにとって大きな課題となる。 我々の知る限り、この研究は、顔アクションユニットによってガイドされた時空間表現を活用することで、ディープフェイク動画の局所的な編集を一般化するように設計された最初の検出手法を示す。 提案手法は,ランダムマスキングやアクション・ユニット検出といったプレテキストタスクから学習した表現の相互アテンションに基づく融合を利用して,微妙で局所的な変化を効果的にエンコードする埋め込みを生成する。 複数のディープフェイク生成手法の総合的な評価は、従来のFF+データセットにのみトレーニングされているにも関わらず、最新のディープフェイク生成ビデオの局所的な編集による検出において新しいベンチマークを設定し、現在の最先端検出方法よりも20倍の精度向上を実現していることを示している。 さらに,本手法は,その頑健さと多種多様な局所的およびグローバル的偽造の一般化を強調し,標準データセット上での競合性能を提供する。

関連論文リスト

• DiffusionFake: Enhancing Generalization in Deepfake Detection via Guided Stable Diffusion [94.46904504076124]
  ディープフェイク技術は、顔交換を極めて現実的にし、偽造された顔コンテンツの使用に対する懸念を高めている。 既存の方法は、顔操作の多様な性質のため、目に見えない領域に一般化するのに苦労することが多い。 顔偽造者の生成過程を逆転させて検出モデルの一般化を促進する新しいフレームワークであるDiffusionFakeを紹介する。
  論文  参考訳（メタデータ） (2024-10-06T06:22:43Z)
• UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
  高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。 我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
  論文  参考訳（メタデータ） (2024-07-26T20:51:54Z)
• The Tug-of-War Between Deepfake Generation and Detection [4.62070292702111]
  マルチモーダル生成モデルは急速に進化しており、現実的なビデオやオーディオの生成が急増している。 ディープフェイクビデオは、個人を説得力を持って偽造することができるが、悪用の可能性から特に注目を集めている。 本研究では,ディープフェイク映像の生成と検出の両面を考察し,効果的な対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-07-08T17:49:41Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Undercover Deepfakes: Detecting Fake Segments in Videos [1.2609216345578933]
  ディープフェイク・ジェネレーションは ディープフェイクの新しいパラダイムだ ほとんどは 真実を歪めるために わずかに修正された 実際のビデオだ 本稿では,フレームとビデオレベルでディープフェイク予測を行うことにより,この問題に対処できるディープフェイク検出手法を提案する。 特に、私たちが取り組むパラダイムは、ディープフェイクのモデレーションのための強力なツールを形成します。
  論文  参考訳（メタデータ） (2023-05-11T04:43:10Z)
• Cross-Domain Local Characteristic Enhanced Deepfake Video Detection [18.430287055542315]
  ディープフェイク検出はセキュリティ上の懸念から注目を集めている。 多くの検出器は、目に見えない操作を検出する際に正確な結果を得ることができない。 そこで我々は,より一般的なディープフェイクビデオ検出のための新しいパイプラインであるクロスドメインローカルフォレスティクスを提案する。
  論文  参考訳（メタデータ） (2022-11-07T07:44:09Z)
• Deep Convolutional Pooling Transformer for Deepfake Detection [54.10864860009834]
  本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。 具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。 提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2022-09-12T15:05:41Z)
• Delving into Sequential Patches for Deepfake Detection [64.19468088546743]
  近年の顔偽造技術は、ほとんど追跡不可能なディープフェイクビデオを生み出しており、悪意のある意図で活用することができる。 従来の研究では、ディープフェイク法にまたがる一般化を追求する上で、局所的な低レベルな手がかりと時間的情報の重要性が指摘されてきた。 本稿では,局所的・時間的変換をベースとしたDeepfake Detectionフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-06T16:46:30Z)
• Lips Don't Lie: A Generalisable and Robust Approach to Face Forgery Detection [118.37239586697139]
  LipForensicsは、操作の一般化と様々な歪みに耐えられる検出アプローチである。 視覚的音声認識(リリーディング)を行うために、初めて時間ネットワークを事前訓練する。 その後、リアルタイムおよび偽造データの固定された口埋め込みに時間的ネットワークを微調整し、低レベルな操作固有のアーティファクトに過度に適合することなく、口の動きに基づいて偽のビデオを検出する。
  論文  参考訳（メタデータ） (2020-12-14T15:53:56Z)
• FakeLocator: Robust Localization of GAN-Based Face Manipulations [19.233930372590226]
  本稿では,FakeLocatorと呼ばれる新しいアプローチを提案する。 これは、GANベースのフェイクローカライゼーション問題をグレースケールのフェイクネスマップで解決する最初の試みである。 人気の高いFaceForensics++,DFFDデータセット,および7種類の最先端のGANベースの顔生成手法による実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-01-27T06:15:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。