論文の概要: Evolving from Single-modal to Multi-modal Facial Deepfake Detection: A Survey

• arxiv url: http://arxiv.org/abs/2406.06965v1
• Date: Tue, 11 Jun 2024 05:48:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 17:25:19.099044
• Title: Evolving from Single-modal to Multi-modal Facial Deepfake Detection: A Survey
• Title（参考訳）: 単一モーダルから多モーダル顔面深度検出への展開:調査
• Authors: Ping Liu, Qiqi Tao, Joey Tianyi Zhou,
• Abstract要約: AI生成メディアがより現実的になるにつれて、誤情報を拡散したり、身元確認詐欺を犯したりする危険性が高まっている。 この研究は、従来の単一モダリティ手法から、音声・視覚・テキスト・視覚シナリオを扱う高度なマルチモーダルアプローチへの進化を辿る。 私たちの知る限りでは、この種の調査はこれが初めてである。
• 参考スコア（独自算出の注目度）: 40.11614155244292
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This survey addresses the critical challenge of deepfake detection amidst the rapid advancements in artificial intelligence. As AI-generated media, including video, audio and text, become more realistic, the risk of misuse to spread misinformation and commit identity fraud increases. Focused on face-centric deepfakes, this work traces the evolution from traditional single-modality methods to sophisticated multi-modal approaches that handle audio-visual and text-visual scenarios. We provide comprehensive taxonomies of detection techniques, discuss the evolution of generative methods from auto-encoders and GANs to diffusion models, and categorize these technologies by their unique attributes. To our knowledge, this is the first survey of its kind. We also explore the challenges of adapting detection methods to new generative models and enhancing the reliability and robustness of deepfake detectors, proposing directions for future research. This survey offers a detailed roadmap for researchers, supporting the development of technologies to counter the deceptive use of AI in media creation, particularly facial forgery. A curated list of all related papers can be found at \href{https://github.com/qiqitao77/Comprehensive-Advances-in-Deepfake-Detection-Spanning-Diverse-Modalitie s}{https://github.com/qiqitao77/Awesome-Comprehensive-Deepfake-Detection}.
• Abstract（参考訳）: この調査は、人工知能の急速な進歩の中で、ディープフェイク検出の重要な課題に対処する。 ビデオ、音声、テキストを含むAI生成メディアがより現実的になるにつれて、誤情報を拡散したり、身元確認詐欺を犯すリスクが高まる。 顔中心のディープフェイクに焦点を当てたこの研究は、従来の単一モダリティ手法から、オーディオ視覚とテキスト視覚のシナリオを扱う高度なマルチモーダルアプローチへの進化を辿る。 本稿では,検出手法の包括的分類法を提供し,自動エンコーダやGANから拡散モデルへの生成手法の進化を論じ,それらの特性によってこれらの技術を分類する。 私たちの知る限りでは、この種の調査はこれが初めてである。 また、新しい生成モデルに検出手法を適用することの課題や、ディープフェイク検出器の信頼性と堅牢性の向上、今後の研究に向けての方向性についても検討する。 この調査は研究者に詳細なロードマップを提供し、メディア生成、特に顔の偽造にAIを欺くことに対処する技術開発を支援している。 すべての関連論文のキュレートされたリストは \href{https://github.com/qiqitao77/Comprehensive-Advances-in-Deepfake-Detection-Spanning-Diverse-Modalitie s}{https://github.com/qiqitao77/Awesome-Comprehensive-Deepfake-Detection} にある。

関連論文リスト

• The Tug-of-War Between Deepfake Generation and Detection [4.62070292702111]
  マルチモーダル生成モデルは急速に進化しており、現実的なビデオやオーディオの生成が急増している。 ディープフェイクビデオは、個人を説得力を持って偽造することができるが、悪用の可能性から特に注目を集めている。 本研究では,ディープフェイク映像の生成と検出の両面を考察し,効果的な対策の必要性を強調した。
  論文  参考訳（メタデータ） (2024-07-08T17:49:41Z)
• Deepfake Generation and Detection: A Benchmark and Survey [134.19054491600832]
  Deepfakeは、特定の条件下で非常にリアルな顔画像やビデオを作成するための技術だ。 この調査は、ディープフェイクの発生と検出の最新の展開を包括的にレビューする。 本研究では, 顔交換, 顔再現, 話し顔生成, 顔属性編集の4つの代表的なディープフェイク分野の研究に焦点をあてる。
  論文  参考訳（メタデータ） (2024-03-26T17:12:34Z)
• XAI-Based Detection of Adversarial Attacks on Deepfake Detectors [0.0]
  我々は,XAIを用いたディープフェイク検出器に対する敵攻撃を識別するための新しい手法を提案する。 本手法は, ディープフェイクの検出だけでなく, 敵攻撃の可能性に対する理解の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-03-05T13:25:30Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• NPVForensics: Jointing Non-critical Phonemes and Visemes for Deepfake Detection [50.33525966541906]
  既存のマルチモーダル検出手法は、Deepfakeビデオを公開するために、音声と視覚の不整合をキャプチャする。 NPVForensics と呼ばれる非臨界音素とビセムの相関関係を抽出する新しいディープフェイク検出法を提案する。 我々のモデルは、微調整で下流のDeepfakeデータセットに容易に適応できる。
  論文  参考訳（メタデータ） (2023-06-12T06:06:05Z)
• Investigation of ensemble methods for the detection of deepfake face manipulations [21.077064523799677]
  最近のAI研究の波は、Deepfakesと呼ばれる新しい種類の合成メディアを可能にした。 ディープフェイクには素晴らしいフォトリアリズムがあり、エキサイティングな新しいユースケースを生み出しました。 これらの脅威を軽減するために、研究者たちは、従来の法医学よりも効果的で、ディープAI技術に強く依存するディープフェイク検出の新しい方法を考え出そうとしてきた。
  論文  参考訳（メタデータ） (2023-04-14T21:18:51Z)
• Beyond the Spectrum: Detecting Deepfakes via Re-Synthesis [69.09526348527203]
  ディープフェイク(Deepfakes)として知られる非常に現実的なメディアは、現実の目から人間の目まで区別できない。 本研究では,テスト画像を再合成し,検出のための視覚的手がかりを抽出する,新しい偽検出手法を提案する。 種々の検出シナリオにおいて,提案手法の摂動に対する有効性の向上,GANの一般化,堅牢性を示す。
  論文  参考訳（メタデータ） (2021-05-29T21:22:24Z)
• Deepfakes Generation and Detection: State-of-the-art, open challenges, countermeasures, and way forward [2.15242029196761]
  不正情報、リベンジポルノ、金融詐欺、詐欺、政府機能を妨害するディープフェイクを発生させることが可能である。 オーディオとビデオの両方のディープフェイクの検出と生成のアプローチをレビューする試みは行われていない。 本稿では、deepfake生成のための既存のツールと機械学習(ml)ベースのアプローチの包括的なレビューと詳細な分析を提供する。
  論文  参考訳（メタデータ） (2021-02-25T18:26:50Z)
• Artificial Fingerprinting for Generative Models: Rooting Deepfake Attribution in Training Data [64.65952078807086]
  光現実性画像生成は、GAN(Generative Adversarial Network)のブレークスルーにより、新たな品質レベルに達した。 しかし、このようなディープフェイクのダークサイド、すなわち生成されたメディアの悪意ある使用は、視覚的誤報に関する懸念を提起する。 我々は,モデルに人工指紋を導入することによって,深度検出の積極的な,持続可能なソリューションを模索する。
  論文  参考訳（メタデータ） (2020-07-16T16:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。