論文の概要: Seeing Through Deepfakes: A Human-Inspired Framework for Multi-Face Detection
- arxiv url: http://arxiv.org/abs/2507.14807v1
- Date: Sun, 20 Jul 2025 03:53:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-22 20:51:32.067533
- Title: Seeing Through Deepfakes: A Human-Inspired Framework for Multi-Face Detection
- Title(参考訳): Deepfakesを通して見る: ヒューマンインスパイアされたマルチ顔検出フレームワーク
- Authors: Juan Hu, Shaojing Fan, Terence Sim,
- Abstract要約: 我々は,複数面のディープフェイク映像を分析し,防御するための新しい手法を開発した。
textsfHICOMは、マルチフェイスシナリオにおけるすべての偽の顔を検出するように設計されたフレームワークである。
実験の結果、textsfHICOMはデータ内の検出で平均精度を3.3%改善し、現実世界の摂動では2.8%向上した。
- 参考スコア(独自算出の注目度): 9.311629859325146
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-face deepfake videos are becoming increasingly prevalent, often appearing in natural social settings that challenge existing detection methods. Most current approaches excel at single-face detection but struggle in multi-face scenarios, due to a lack of awareness of crucial contextual cues. In this work, we develop a novel approach that leverages human cognition to analyze and defend against multi-face deepfake videos. Through a series of human studies, we systematically examine how people detect deepfake faces in social settings. Our quantitative analysis reveals four key cues humans rely on: scene-motion coherence, inter-face appearance compatibility, interpersonal gaze alignment, and face-body consistency. Guided by these insights, we introduce \textsf{HICOM}, a novel framework designed to detect every fake face in multi-face scenarios. Extensive experiments on benchmark datasets show that \textsf{HICOM} improves average accuracy by 3.3\% in in-dataset detection and 2.8\% under real-world perturbations. Moreover, it outperforms existing methods by 5.8\% on unseen datasets, demonstrating the generalization of human-inspired cues. \textsf{HICOM} further enhances interpretability by incorporating an LLM to provide human-readable explanations, making detection results more transparent and convincing. Our work sheds light on involving human factors to enhance defense against deepfakes.
- Abstract(参考訳): 多面的なディープフェイクビデオはますます普及し、しばしば既存の検出方法に挑戦する自然の社会的設定に現れる。
現在のほとんどのアプローチは、単一顔検出において優れているが、重要な文脈的手がかりの認識が欠如しているため、複数の顔シナリオで苦労している。
本研究では,人間の認識を利用して,複数面のディープフェイク映像を分析し,防御する新しい手法を開発する。
一連の人間の研究を通じて,社会環境下でのディープフェイク顔の検出方法について系統的に検討した。
我々の定量的分析によると、人間はシーン・モーション・コヒーレンス、顔の外観の整合性、対人的な視線アライメント、顔と身体の一貫性の4つのキー・キューに頼っている。
これらの知見に導かれ、多面的シナリオにおけるすべての偽の顔を検出するように設計された新しいフレームワークである \textsf{HICOM} を紹介した。
ベンチマークデータセットの大規模な実験により、‘textsf{HICOM} はデータセット内検出において平均精度を3.3\%、現実世界の摂動下では2.8\%向上することが示された。
さらに、既存の手法を5.8倍に上回り、人間にインスパイアされた手がかりの一般化を実証している。
textsf{HICOM} はさらに LLM を組み込んで人間可読な説明を提供し、検出結果をより透明で説得力のあるものにすることで、解釈可能性を高める。
私たちの仕事は、ディープフェイクに対する防御を強化するためのヒューマンファクターの関与に光を当てています。
関連論文リスト
- Reconstructing Close Human Interaction with Appearance and Proxemics Reasoning [50.76723760768117]
既存の人間のポーズ推定手法では、既存の映像からもっともらしい密接な相互作用を回復できない。
人間の外見は、これらの障害に対処するための簡単な手がかりとなる。
本研究では,人間の外見,社会的プロキシ,物理法則に制約された身体接触により,正確な対話動作を再構築するための2分岐最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2025-07-03T12:19:26Z) - Guard Me If You Know Me: Protecting Specific Face-Identity from Deepfakes [37.12401429882299]
ディープフェイク攻撃に対する個人情報の保護は、デジタル時代においてますます重要になっている。
既存のディープフェイク検出手法の多くは汎用シナリオに重点を置いている。
ディープフェイク検出のための統合マルチモーダルフレームワークである textbfVIPGuard を提案する。
論文 参考訳(メタデータ) (2025-05-26T06:55:23Z) - Deepfake detection in videos with multiple faces using geometric-fakeness features [79.16635054977068]
被害者や人物のディープフェイクは、脅迫、ゆがみ、金融詐欺の詐欺師によって使用される。
本研究では,映像中の顔の存在の動的度を特徴付ける幾何学的フェイクネス機能(GFF)を提案する。
我々は、ビデオに同時に存在する複数の顔でビデオを分析するために、我々のアプローチを採用している。
論文 参考訳(メタデータ) (2024-10-10T13:10:34Z) - Shaking the Fake: Detecting Deepfake Videos in Real Time via Active Probes [3.6308756891251392]
生成AIの一種であるリアルタイムディープフェイク(Real-time Deepfake)は、ビデオ内の既存のコンテンツ(例えば、顔を別のものと交換する)を「生成する」ことができる。
金融詐欺や政治的誤報など、悪意ある目的のためにディープフェイクビデオを作るのに誤用されている。
本研究では,物理干渉に適応できないディープフェイクモデルを利用した新しいリアルタイムディープフェイク検出手法であるSFakeを提案する。
論文 参考訳(メタデータ) (2024-09-17T04:58:30Z) - Semantics-Oriented Multitask Learning for DeepFake Detection: A Joint Embedding Approach [77.65459419417533]
本稿では,セマンティクス指向のDeepFake検出タスクをサポートする自動データセット拡張手法を提案する。
また,顔画像とラベル(テキストによる記述で示される)を併用して予測を行う。
提案手法は,DeepFake検出の一般化性を向上し,人間の理解可能な説明を提供することで,ある程度のモデル解釈を行う。
論文 参考訳(メタデータ) (2024-08-29T07:11:50Z) - UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。
我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
論文 参考訳(メタデータ) (2024-07-26T20:51:54Z) - SHIELD : An Evaluation Benchmark for Face Spoofing and Forgery Detection with Multimodal Large Language Models [61.8876114116716]
MLLM(Multimodal large language model)は、視覚関連タスクにおいて強力な機能を示す。
しかし、顔攻撃検出タスクにおける微妙な視覚的偽造や偽造の手がかりを検出する能力は、まだ探索されていない。
フェーススプーフィングと偽造検出のためのMLLM評価のためのベンチマークShiELDを導入する。
論文 参考訳(メタデータ) (2024-02-06T17:31:36Z) - DeepFidelity: Perceptual Forgery Fidelity Assessment for Deepfake
Detection [67.3143177137102]
ディープフェイク検出(Deepfake detection)とは、画像やビデオにおいて、人工的に生成された顔や編集された顔を検出すること。
本稿では,実顔と偽顔とを適応的に識別するDeepFidelityという新しいDeepfake検出フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-07T07:19:45Z) - Multiface: A Dataset for Neural Face Rendering [108.44505415073579]
本研究では,新しいマルチビュー,高解像度のヒューマン・フェイス・データセットであるMultifaceを提案する。
顔のパフォーマンスの高解像度同期映像をキャプチャする大規模なマルチカメラ装置であるMugsyを紹介する。
Multifaceの目的は、学術コミュニティにおける高品質データへのアクセシビリティのギャップを埋め、VRテレプレゼンスの研究を可能にすることである。
論文 参考訳(メタデータ) (2022-07-22T17:55:39Z) - Evaluation of Human and Machine Face Detection using a Novel Distinctive
Human Appearance Dataset [0.76146285961466]
画像中の顔を検出する能力において,現在最先端の顔検出モデルを評価する。
評価結果から,顔検出アルゴリズムは多様な外観に適さないことが示された。
論文 参考訳(メタデータ) (2021-11-01T02:20:40Z) - Where Do Deep Fakes Look? Synthetic Face Detection via Gaze Tracking [8.473714899301601]
ディープフェイクと異なる目と視線の特徴をいくつか提案する。
次に、これらの機能をシグネチャにコンパイルし、リアルビデオとフェイクビデオの機能を分析および比較します。
第3に,この公式をディープニューラルネットワークによるディープフェイク検出問題に一般化する。
論文 参考訳(メタデータ) (2021-01-04T18:54:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。