論文の概要: PolyGlotFake: A Novel Multilingual and Multimodal DeepFake Dataset
- arxiv url: http://arxiv.org/abs/2405.08838v1
- Date: Tue, 14 May 2024 06:40:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-16 15:15:00.927818
- Title: PolyGlotFake: A Novel Multilingual and Multimodal DeepFake Dataset
- Title(参考訳): PolyGlotFake: マルチ言語とマルチモーダルのDeepFakeデータセット
- Authors: Yang Hou, Haitao Fu, Chuankai Chen, Zida Li, Haoyu Zhang, Jianjun Zhao,
- Abstract要約: 音声と視覚の両方を操る マルチモーダル・ディープフェイクは 公衆の懸念を増している
このギャップに対処するために、新しい多言語、多モーダルなディープフェイクデータセット、PolyGlotFakeを提案する。
これには、7つの言語のコンテンツが含まれており、様々な最先端で人気のあるText-to-Speech、音声のクローン、リップシンク技術を使って作成されている。
- 参考スコア(独自算出の注目度): 7.952304417617302
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the rapid advancement of generative AI, multimodal deepfakes, which manipulate both audio and visual modalities, have drawn increasing public concern. Currently, deepfake detection has emerged as a crucial strategy in countering these growing threats. However, as a key factor in training and validating deepfake detectors, most existing deepfake datasets primarily focus on the visual modal, and the few that are multimodal employ outdated techniques, and their audio content is limited to a single language, thereby failing to represent the cutting-edge advancements and globalization trends in current deepfake technologies. To address this gap, we propose a novel, multilingual, and multimodal deepfake dataset: PolyGlotFake. It includes content in seven languages, created using a variety of cutting-edge and popular Text-to-Speech, voice cloning, and lip-sync technologies. We conduct comprehensive experiments using state-of-the-art detection methods on PolyGlotFake dataset. These experiments demonstrate the dataset's significant challenges and its practical value in advancing research into multimodal deepfake detection.
- Abstract(参考訳): 生成AIの急速な進歩に伴い、音声と視覚の両方を操作できるマルチモーダルディープフェイクが、公衆の関心を喚起している。
現在、ディープフェイク検出は、これらの増大する脅威に対処するための重要な戦略として現れています。
しかし、ディープフェイク検出のトレーニングや検証において重要な要素として、既存のディープフェイクデータセットのほとんどは視覚的モーダルに重点を置いており、マルチモーダルである少数は時代遅れの手法を採用しており、オーディオコンテンツは単一の言語に限られており、現在のディープフェイク技術における最先端の進歩とグローバリゼーショントレンドを表現できない。
このギャップに対処するため、我々は新しい多言語、多モーダルなディープフェイクデータセットPolyGlotFakeを提案する。
これには、7つの言語のコンテンツが含まれており、様々な最先端で人気のあるText-to-Speech、音声のクローン、リップシンク技術を使って作成されている。
我々はPolyGlotFakeデータセットの最先端検出手法を用いて総合的な実験を行う。
これらの実験は、マルチモーダルディープフェイク検出の研究を進める上で、データセットの重要な課題とその実用的価値を実証する。
関連論文リスト
- DF40: Toward Next-Generation Deepfake Detection [62.073997142001424]
既存の作業では、ある特定のデータセット(例えばFF++)上で検出器をトレーニングし、他の一般的なディープフェイクデータセットでそれらをテストすることで、トップノッチ検出アルゴリズムとモデルを識別する。
しかし、これらの「勝者」は現実の世界に潜む無数の現実的で多様なディープフェイクに取り組むために真に応用できるのだろうか?
我々は,40種類の異なるディープフェイク技術からなるDF40という,高度に多様な大規模ディープフェイクデータセットを構築した。
次に,4つの標準評価プロトコルと7つの代表検出器を用いて総合評価を行い,2000以上の評価を行った。
論文 参考訳(メタデータ) (2024-06-19T12:35:02Z) - Evolving from Single-modal to Multi-modal Facial Deepfake Detection: A Survey [40.11614155244292]
AI生成メディアがより現実的になるにつれて、誤情報を拡散したり、身元確認詐欺を犯したりする危険性が高まっている。
この研究は、従来の単一モダリティ手法から、音声・視覚・テキスト・視覚シナリオを扱う高度なマルチモーダルアプローチへの進化を辿る。
私たちの知る限りでは、この種の調査はこれが初めてである。
論文 参考訳(メタデータ) (2024-06-11T05:48:04Z) - Deepfake Generation and Detection: A Benchmark and Survey [134.19054491600832]
Deepfakeは、特定の条件下で非常にリアルな顔画像やビデオを作成するための技術だ。
この調査は、ディープフェイクの発生と検出の最新の展開を包括的にレビューする。
本研究では, 顔交換, 顔再現, 話し顔生成, 顔属性編集の4つの代表的なディープフェイク分野の研究に焦点をあてる。
論文 参考訳(メタデータ) (2024-03-26T17:12:34Z) - Linguistic Profiling of Deepfakes: An Open Database for Next-Generation
Deepfake Detection [40.20982463380279]
本稿では,Deepfake データベース (DFLIP-3K) を提案する。
約3K生成モデルから約300Kの多様なディープフェイクサンプルが含まれており、この文献で最も多くのディープフェイクモデルがある。
この2つの特徴により、DFLIP-3Kはディープフェイクの言語プロファイリングの進歩を促進するベンチマークを開発することができる。
論文 参考訳(メタデータ) (2024-01-04T16:19:52Z) - AVTENet: Audio-Visual Transformer-based Ensemble Network Exploiting
Multiple Experts for Video Deepfake Detection [53.448283629898214]
近年の超現実的なディープフェイクビデオの普及は、オーディオと視覚の偽造の脅威に注意を向けている。
AI生成のフェイクビデオの検出に関するこれまでのほとんどの研究は、視覚的モダリティまたはオーディオ的モダリティのみを使用していた。
音響操作と視覚操作の両方を考慮したAVTENet(Audio-Visual Transformer-based Ensemble Network)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-19T19:01:26Z) - MIS-AVoiDD: Modality Invariant and Specific Representation for
Audio-Visual Deepfake Detection [4.659427498118277]
新しいタイプのディープフェイクが登場し、オーディオまたは視覚的モーダルが操作された。
既存のマルチモーダルディープフェイク検出器は、しばしばビデオからのオーディオとビジュアルストリームの融合に基づいている。
本稿では,マルチモーダルディープフェイク検出のための音声と視覚ストリームの融合を支援するために,表現レベルでの問題に取り組む。
論文 参考訳(メタデータ) (2023-10-03T17:43:24Z) - NPVForensics: Jointing Non-critical Phonemes and Visemes for Deepfake
Detection [50.33525966541906]
既存のマルチモーダル検出手法は、Deepfakeビデオを公開するために、音声と視覚の不整合をキャプチャする。
NPVForensics と呼ばれる非臨界音素とビセムの相関関係を抽出する新しいディープフェイク検出法を提案する。
我々のモデルは、微調整で下流のDeepfakeデータセットに容易に適応できる。
論文 参考訳(メタデータ) (2023-06-12T06:06:05Z) - Evaluation of an Audio-Video Multimodal Deepfake Dataset using Unimodal
and Multimodal Detectors [18.862258543488355]
ディープフェイクはセキュリティとプライバシーの問題を引き起こす可能性がある。
ディープラーニング技術を使って人間の声をクローンする新しい領域も登場しつつある。
優れたディープフェイク検出器を開発するには、複数のモードのディープフェイクを検出する検出器が必要である。
論文 参考訳(メタデータ) (2021-09-07T11:00:20Z) - M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。
本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。
最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
論文 参考訳(メタデータ) (2021-04-20T05:43:44Z) - Multi-attentional Deepfake Detection [79.80308897734491]
ディープフェイクによる顔の偽造はインターネットに広まり、深刻な社会的懸念を引き起こしている。
新たなマルチアテンテーショナルディープフェイク検出ネットワークを提案する。
具体的には,1)ネットワークを異なる局所的部分へ配置するための複数の空間的注意ヘッド,2)浅い特徴の微妙なアーティファクトをズームするテクスチャ的特徴拡張ブロック,3)低レベルなテクスチャ特徴と高レベルなセマンティクス特徴をアグリゲートする,の3つの構成要素からなる。
論文 参考訳(メタデータ) (2021-03-03T13:56:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。