論文の概要: Multiverse Through Deepfakes: The MultiFakeVerse Dataset of Person-Centric Visual and Conceptual Manipulations
- arxiv url: http://arxiv.org/abs/2506.00868v1
- Date: Sun, 01 Jun 2025 07:17:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-04 21:47:33.709225
- Title: Multiverse Through Deepfakes: The MultiFakeVerse Dataset of Person-Centric Visual and Conceptual Manipulations
- Title（参考訳）: Multiverse through Deepfakes: The MultiFakeVerse Dataset of Person-Centric Visual and Conceptual Manipulations
- Authors: Parul Gupta, Shreya Ghosh, Tom Gedeon, Thanh-Toan Do, Abhinav Dhall,
- Abstract要約: GenAI技術は、非常にリアルなディープフェイクコンテンツ生成に寄与している。
進行中の努力にもかかわらず、研究コミュニティには、大規模で推論能力を備えたディープフェイクベンチマークデータセットがまだ欠けている。
本稿では,大規模人物中心のディープフェイクデータセットであるMultiFakeVerseを紹介する。
- 参考スコア（独自算出の注目度）: 18.458064228857527
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid advancement of GenAI technology over the past few years has significantly contributed towards highly realistic deepfake content generation. Despite ongoing efforts, the research community still lacks a large-scale and reasoning capability driven deepfake benchmark dataset specifically tailored for person-centric object, context and scene manipulations. In this paper, we address this gap by introducing MultiFakeVerse, a large scale person-centric deepfake dataset, comprising 845,286 images generated through manipulation suggestions and image manipulations both derived from vision-language models (VLM). The VLM instructions were specifically targeted towards modifications to individuals or contextual elements of a scene that influence human perception of importance, intent, or narrative. This VLM-driven approach enables semantic, context-aware alterations such as modifying actions, scenes, and human-object interactions rather than synthetic or low-level identity swaps and region-specific edits that are common in existing datasets. Our experiments reveal that current state-of-the-art deepfake detection models and human observers struggle to detect these subtle yet meaningful manipulations. The code and dataset are available on \href{https://github.com/Parul-Gupta/MultiFakeVerse}{GitHub}.
- Abstract（参考訳）: 近年のGenAI技術の急速な進歩は、非常に現実的なディープフェイクコンテンツ生成に大きく貢献している。
進行中の努力にもかかわらず、研究コミュニティは、人中心のオブジェクト、コンテキスト、シーン操作に特化して、大規模で推論能力を備えたディープフェイクベンチマークデータセットを欠いている。
本稿では,視覚言語モデル(VLM)から得られた操作提案と画像操作によって生成される845,286個の画像からなる大規模人物中心のディープフェイクデータセットであるMultiFakeVerseを導入することで,このギャップに対処する。
VLM命令は、重要、意図、物語に対する人間の認識に影響を与えるシーンの個人または文脈要素の変更を特に対象としていた。
このVLM駆動のアプローチは、既存のデータセットに共通する、合成または低レベルのアイデンティティスワップや地域固有の編集よりも、アクション、シーン、人間とオブジェクトのインタラクションを変更するような、セマンティックでコンテキスト対応の修正を可能にする。
我々の実験によると、現在の最先端のディープフェイク検出モデルと人間の観察者は、これらの微妙で意味のある操作を検出するのに苦労している。
コードとデータセットは \href{https://github.com/Parul-Gupta/MultiFakeVerse}{GitHub} で公開されている。
関連論文リスト
- Deepfake Media Generation and Detection in the Generative AI Era: A Survey and Outlook [101.30779332427217]
本研究は,近年の現場開発を含むディープフェイク発生・検出技術について調査する。
偽コンテンツの変更や生成に使用する手順に従って,様々な種類のディープフェイクを識別する。
我々は,分布外コンテンツに基づくディープフェイク検出のための新しいマルチモーダル・ベンチマークを開発した。
論文 参考訳（メタデータ） (2024-11-29T08:29:25Z) - FakeFormer: Efficient Vulnerability-Driven Transformers for Generalisable Deepfake Detection [12.594436202557446]
本稿では,視覚変換器(ViT)が顔面偽造検出に最適である理由について検討する。
本稿では, 微妙な不整合情報を抽出するためにViTを拡張したFakeFormerというディープフェイク検出フレームワークを提案する。
FF++、Celeb-DF、WildDeepfake、DFD、DFDCP、DFDCなど、さまざまな有名なデータセットで実験が行われている。
論文 参考訳（メタデータ） (2024-10-29T11:36:49Z) - Semantics-Oriented Multitask Learning for DeepFake Detection: A Joint Embedding Approach [77.65459419417533]
本稿では,セマンティクス指向のDeepFake検出タスクをサポートする自動データセット拡張手法を提案する。
また,顔画像とラベル(テキストによる記述で示される)を併用して予測を行う。
提案手法は,DeepFake検出の一般化性を向上し,人間の理解可能な説明を提供することで,ある程度のモデル解釈を行う。
論文 参考訳（メタデータ） (2024-08-29T07:11:50Z) - Media Forensics and Deepfake Systematic Survey [0.0]
Deepfakeは、顔の特徴を非常に現実的な方法で生成または変更する、生成的なディープラーニングアルゴリズムである。
映画を良く見せるだけでなく、有名人を模倣して偽情報を広めるのにも使える。
論文 参考訳（メタデータ） (2024-06-19T07:33:33Z) - Deepfake detection by exploiting surface anomalies: the SurFake approach [29.088218634944116]
本稿では, ディープフェイク生成が, 買収時のシーン全体の特性に与える影響について検討する。
画像に描かれた表面の特性を解析することにより、深度検出のためにCNNを訓練するのに使用できる記述子を得ることができる。
論文 参考訳（メタデータ） (2023-10-31T16:54:14Z) - Undercover Deepfakes: Detecting Fake Segments in Videos [1.2609216345578933]
ディープフェイク・ジェネレーションは ディープフェイクの新しいパラダイムだ ほとんどは 真実を歪めるために わずかに修正された 実際のビデオだ
本稿では,フレームとビデオレベルでディープフェイク予測を行うことにより,この問題に対処できるディープフェイク検出手法を提案する。
特に、私たちが取り組むパラダイムは、ディープフェイクのモデレーションのための強力なツールを形成します。
論文 参考訳（メタデータ） (2023-05-11T04:43:10Z) - Voice-Face Homogeneity Tells Deepfake [56.334968246631725]
既存の検出アプローチは、ディープフェイクビデオにおける特定のアーティファクトの探索に寄与する。
未探索の音声-顔のマッチングビューからディープフェイク検出を行う。
我々のモデルは、他の最先端の競合と比較して、大幅に性能が向上する。
論文 参考訳（メタデータ） (2022-03-04T09:08:50Z) - REGRAD: A Large-Scale Relational Grasp Dataset for Safe and
Object-Specific Robotic Grasping in Clutter [52.117388513480435]
本稿では,オブジェクト間の関係のモデル化を継続するregradという新しいデータセットを提案する。
データセットは2D画像と3Dポイントクラウドの両方で収集されます。
ユーザは、好きなだけ多くのデータを生成するために、自由に独自のオブジェクトモデルをインポートできる。
論文 参考訳（メタデータ） (2021-04-29T05:31:21Z) - M2TR: Multi-modal Multi-scale Transformers for Deepfake Detection [74.19291916812921]
Deepfake技術によって生成された鍛造画像は、デジタル情報の信頼性に深刻な脅威をもたらします。
本稿では,Deepfake検出のための微妙な操作アーチファクトを異なるスケールで捉えることを目的とする。
最先端の顔スワッピングと顔の再現方法によって生成された4000のDeepFakeビデオで構成される高品質のDeepFakeデータセットSR-DFを紹介します。
論文 参考訳（メタデータ） (2021-04-20T05:43:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。