論文の概要: Multimodal Graph Learning for Deepfake Detection
- arxiv url: http://arxiv.org/abs/2209.05419v2
- Date: Fri, 28 Apr 2023 09:13:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-01 17:39:03.013877
- Title: Multimodal Graph Learning for Deepfake Detection
- Title（参考訳）: ディープフェイク検出のためのマルチモーダルグラフ学習
- Authors: Zhiyuan Yan, Peng Sun, Yubo Lang, Shuo Du, Shanzhuo Zhang, Wei Wang,
Lei Liu
- Abstract要約: 既存のディープフェイク検出器は、堅牢性と一般化を達成する上でいくつかの課題に直面している。
本稿では,マルチモーダルグラフ学習(MGL)という新しいフレームワークを提案する。
提案手法は,ディープフェイク検出のための特徴を効果的に識別し,活用することを目的としている。
- 参考スコア（独自算出の注目度）: 10.077496841634135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing deepfake detectors face several challenges in achieving robustness
and generalization. One of the primary reasons is their limited ability to
extract relevant information from forgery videos, especially in the presence of
various artifacts such as spatial, frequency, temporal, and landmark
mismatches. Current detectors rely on pixel-level features that are easily
affected by unknown disturbances or facial landmarks that do not provide
sufficient information. Furthermore, most detectors cannot utilize information
from multiple domains for detection, leading to limited effectiveness in
identifying deepfake videos. To address these limitations, we propose a novel
framework, namely Multimodal Graph Learning (MGL) that leverages information
from multiple modalities using two GNNs and several multimodal fusion modules.
At the frame level, we employ a bi-directional cross-modal transformer and an
adaptive gating mechanism to combine the features from the spatial and
frequency domains with the geometric-enhanced landmark features captured by a
GNN. At the video level, we use a Graph Attention Network (GAT) to represent
each frame in a video as a node in a graph and encode temporal information into
the edges of the graph to extract temporal inconsistency between frames. Our
proposed method aims to effectively identify and utilize distinguishing
features for deepfake detection. We evaluate the effectiveness of our method
through extensive experiments on widely-used benchmarks and demonstrate that
our method outperforms the state-of-the-art detectors in terms of
generalization ability and robustness against unknown disturbances.
- Abstract（参考訳）: 既存のディープフェイク検出器は、堅牢性と一般化を達成する上でいくつかの課題に直面している。
主な理由の1つは、特に空間、周波数、時間、ランドマークのミスマッチのような様々なアーティファクトの存在下で、偽ビデオから関連情報を抽出する能力が限られていることである。
現在の検出器は、未知の乱れや十分な情報を提供していない顔のランドマークに容易に影響を受けるピクセルレベルの特徴に依存している。
さらに、ほとんどの検出器は検出のために複数のドメインからの情報を利用できないため、ディープフェイクビデオの識別に限界がある。
これらの制約に対処するため、2つのGNNと複数のマルチモーダル融合モジュールを用いて複数のモーダルからの情報を活用するMGL(Multimodal Graph Learning)を提案する。
フレームレベルでは、空間領域と周波数領域の特徴とGNNが捉えた幾何的なランドマーク特徴を組み合わせるために、双方向のクロスモーダル変換器と適応ゲーティング機構を用いる。
ビデオレベルでは、グラフ内の各フレームをグラフのノードとして表現し、時間情報をグラフのエッジにエンコードしてフレーム間の時間的不整合を抽出するために、グラフ注意ネットワーク(GAT)を用いる。
提案手法は,ディープフェイク検出のための識別特徴を効果的に識別し活用することを目的としている。
提案手法の有効性を広範に評価し,提案手法が未知の乱れに対する一般化能力と堅牢性の観点から,最先端の検出器よりも優れていることを示す。
関連論文リスト
- Contextual Cross-Modal Attention for Audio-Visual Deepfake Detection and Localization [3.9440964696313485]
デジタル時代には、ディープフェイクや合成メディアの出現は、社会的・政治的整合性に対する重大な脅威となる。
オーディオ視覚のようなマルチモーダル操作に基づくディープフェイクは、より現実的であり、より大きな脅威をもたらす。
本稿では,音声・視覚的ディープフェイク検出にコンテキスト情報を活用する,リカレントニューラルネットワーク(RNN)に基づく新しいマルチモーダルアテンションフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-02T18:45:01Z) - DA-HFNet: Progressive Fine-Grained Forgery Image Detection and Localization Based on Dual Attention [12.36906630199689]
DA-HFNet鍛造画像データセットをテキストまたは画像支援GANおよび拡散モデルで作成する。
我々のゴールは、階層的なプログレッシブネットワークを使用して、異なるスケールの偽造物を検出およびローカライゼーションするために捕獲することである。
論文 参考訳（メタデータ） (2024-06-03T16:13:33Z) - Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳（メタデータ） (2024-03-12T01:28:00Z) - Beyond the Benchmark: Detecting Diverse Anomalies in Videos [0.6993026261767287]
ビデオ異常検出(VAD)は、現代の監視システムにおいて重要な役割を担い、現実の状況における様々な異常を識別することを目的としている。
現在のベンチマークデータセットは、新しいオブジェクト検出のような単純な単一フレームの異常を主に強調している。
我々は,従来のベンチマーク境界を超える複雑な異常を包含するVAD調査の拡大を提唱する。
論文 参考訳（メタデータ） (2023-10-03T09:22:06Z) - HiDAnet: RGB-D Salient Object Detection via Hierarchical Depth Awareness [2.341385717236931]
本稿では,RGB-Dサリエンシ検出のための階層的深度認識ネットワーク(HiDAnet)を提案する。
我々のモチベーションは、幾何学的先行の多粒性特性がニューラルネットワーク階層とよく相関しているという観察から来ています。
当社のHiDAnetは最先端の手法よりも大きなマージンで良好に動作します。
論文 参考訳（メタデータ） (2023-01-18T10:00:59Z) - Deep Convolutional Pooling Transformer for Deepfake Detection [54.10864860009834]
本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。
具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。
提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2022-09-12T15:05:41Z) - Spatial-Temporal Frequency Forgery Clue for Video Forgery Detection in
VIS and NIR Scenario [87.72258480670627]
既存の周波数領域に基づく顔偽造検出手法では、GAN鍛造画像は、実際の画像と比較して、周波数スペクトルに明らかな格子状の視覚的アーチファクトを持つ。
本稿では,コサイン変換に基づくフォージェリークリュー拡張ネットワーク(FCAN-DCT)を提案し,より包括的な時空間特徴表現を実現する。
論文 参考訳（メタデータ） (2022-07-05T09:27:53Z) - Detection of Deepfake Videos Using Long Distance Attention [73.6659488380372]
既存のほとんどの検出方法は、問題をバニラ二項分類問題として扱う。
本稿では,偽顔と実顔の相違が非常に微妙であるため,特にきめ細かな分類問題として扱われる。
大域的な視点で空間的・時間的偽の痕跡を捉えるための2つの要素を持つ時空間モデルを提案する。
論文 参考訳（メタデータ） (2021-06-24T08:33:32Z) - Learning Multi-Granular Hypergraphs for Video-Based Person
Re-Identification [110.52328716130022]
ビデオベースの人物識別(re-ID)はコンピュータビジョンにおいて重要な研究課題である。
MGH(Multi-Granular Hypergraph)という新しいグラフベースのフレームワークを提案する。
MARSの90.0%のトップ-1精度はMGHを用いて達成され、最先端のスキームよりも優れていた。
論文 参考訳（メタデータ） (2021-04-30T11:20:02Z) - M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。
本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。
最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
論文 参考訳（メタデータ） (2021-04-20T05:43:44Z) - Fake Visual Content Detection Using Two-Stream Convolutional Neural
Networks [14.781702606707642]
周波数領域と空間領域の特徴を補完する2ストリーム畳み込みニューラルネットワークアーキテクチャであるTwoStreamNetを提案する。
提案手法は, 現状の偽コンテンツ検出装置に比べ, 大幅に性能が向上した。
論文 参考訳（メタデータ） (2021-01-03T18:05:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。