論文の概要: SIDA: Social Media Image Deepfake Detection, Localization and Explanation with Large Multimodal Model
- arxiv url: http://arxiv.org/abs/2412.04292v2
- Date: Mon, 10 Mar 2025 11:03:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 15:50:05.503292
- Title: SIDA: Social Media Image Deepfake Detection, Localization and Explanation with Large Multimodal Model
- Title（参考訳）: SIDA:大規模マルチモーダルモデルによるソーシャルメディア画像深度検出・局所化・説明
- Authors: Zhenglin Huang, Jinwei Hu, Xiangtai Li, Yiwei He, Xingyu Zhao, Bei Peng, Baoyuan Wu, Xiaowei Huang, Guangliang Cheng,
- Abstract要約: ソーシャルメディア上で共有される合成画像は、広範囲の聴衆を誤解させ、デジタルコンテンツに対する信頼を損なう可能性がある。
ソーシャルメディア画像検出データセット(SID-Set)を紹介する。
本稿では,SIDA という画像深度検出,局所化,説明の枠組みを提案する。
- 参考スコア（独自算出の注目度）: 48.547599530927926
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid advancement of generative models in creating highly realistic images poses substantial risks for misinformation dissemination. For instance, a synthetic image, when shared on social media, can mislead extensive audiences and erode trust in digital content, resulting in severe repercussions. Despite some progress, academia has not yet created a large and diversified deepfake detection dataset for social media, nor has it devised an effective solution to address this issue. In this paper, we introduce the Social media Image Detection dataSet (SID-Set), which offers three key advantages: (1) extensive volume, featuring 300K AI-generated/tampered and authentic images with comprehensive annotations, (2) broad diversity, encompassing fully synthetic and tampered images across various classes, and (3) elevated realism, with images that are predominantly indistinguishable from genuine ones through mere visual inspection. Furthermore, leveraging the exceptional capabilities of large multimodal models, we propose a new image deepfake detection, localization, and explanation framework, named SIDA (Social media Image Detection, localization, and explanation Assistant). SIDA not only discerns the authenticity of images, but also delineates tampered regions through mask prediction and provides textual explanations of the model's judgment criteria. Compared with state-of-the-art deepfake detection models on SID-Set and other benchmarks, extensive experiments demonstrate that SIDA achieves superior performance among diversified settings. The code, model, and dataset will be released.
- Abstract（参考訳）: 非常にリアルな画像作成における生成モデルの急速な進歩は、誤情報拡散に重大なリスクをもたらす。
例えば、ソーシャルメディア上で共有される合成画像は、広範囲の聴衆を誤解させ、デジタルコンテンツに対する信頼を損なう可能性がある。
ある程度の進歩にもかかわらず、学界はまだソーシャルメディア向けの大規模かつ多様化したディープフェイク検出データセットを作成しておらず、またこの問題に対処するための効果的なソリューションも考案していない。
本稿ではソーシャルメディア画像検出データセット(SID-Set)を紹介し,(1)AI生成・改ざん・改ざん・改ざん画像の広帯域化,(2)完全合成・改ざん画像の多彩化,(3)視覚的検査によって実物と区別できない画像の高次化,の3つの利点について述べる。
さらに,大規模マルチモーダルモデルの異常な機能を活用し,SIDA (Social media Image Detection, Localization, and explanation Assistant) と呼ばれる新たな画像深度検出, 局所化, 説明フレームワークを提案する。
SIDAは画像の正当性を識別するだけでなく、マスク予測を通じて改ざんされた領域を記述し、モデルの判断基準をテキストで説明する。
SID-Setや他のベンチマークにおける最先端のディープフェイク検出モデルと比較して、SIDAは多種多様な設定において優れた性能を発揮することを示す。
コード、モデル、データセットがリリースされる。
関連論文リスト
- TrueFake: A Real World Case Dataset of Last Generation Fake Images also Shared on Social Networks [0.9870503213194768]
我々は600,000画像の大規模ベンチマークデータセットであるTrueFakeを紹介する。
このデータセットは、非常に現実的で困難な条件下で、最先端の偽画像検出器の厳密な評価を可能にする。
ソーシャルメディアの共有が検出性能に与える影響を分析し、現在最も効果的な検出およびトレーニング戦略を特定する。
論文 参考訳（メタデータ） (2025-04-29T11:33:52Z) - FakeScope: Large Multimodal Expert Model for Transparent AI-Generated Image Forensics [66.14786900470158]
本稿では,AIによる画像鑑定に適した専門家マルチモーダルモデル(LMM)であるFakeScopeを提案する。
FakeScopeはAI合成画像を高精度に識別し、リッチで解釈可能なクエリ駆動の法医学的な洞察を提供する。
FakeScopeは、クローズドエンドとオープンエンドの両方の法医学的シナリオで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-03-31T16:12:48Z) - M3-AGIQA: Multimodal, Multi-Round, Multi-Aspect AI-Generated Image Quality Assessment [65.3860007085689]
M3-AGIQAは、AGIの品質評価のための包括的なフレームワークである。
中間画像記述を生成する構造付きマルチラウンド評価機構を含む。
複数のベンチマークデータセットで実施された実験は、M3-AGIQAが最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2025-02-21T03:05:45Z) - Retrieval-guided Cross-view Image Synthesis [3.7477511412024573]
クロスビュー画像合成は、異なる視点や視点からシーンの新しい画像を生成する。
本稿では,ドメインギャップを埋め込むために,検索ネットワークを組込みとして利用する新しい検索誘導フレームワークを提案する。
また,都市環境における多彩なクロスビュー画像ペアの提供により,データセットの多様性を向上する新たなデータセットVIGOR-GENを提案する。
論文 参考訳（メタデータ） (2024-11-29T07:04:44Z) - Contrasting Deepfakes Diffusion via Contrastive Learning and Global-Local Similarities [88.398085358514]
Contrastive Deepfake Embeddings (CoDE)は、ディープフェイク検出に特化した新しい埋め込み空間である。
CoDEは、グローバルローカルな類似性をさらに強化することで、対照的な学習を通じて訓練される。
論文 参考訳（メタデータ） (2024-07-29T18:00:10Z) - LookupForensics: A Large-Scale Multi-Task Dataset for Multi-Phase Image-Based Fact Verification [15.616232457341097]
これは、ジャーナリストが使用するテキストベースの事実チェックシステムに由来する名前です。
我々は,手作りの画像編集や機械学習による操作を多用した,この新しいタスクに適した大規模なデータセットを提案する。
論文 参考訳（メタデータ） (2024-07-26T09:15:29Z) - SIDBench: A Python Framework for Reliably Assessing Synthetic Image Detection Methods [9.213926755375024]
完全合成画像の作成は、ユニークな課題である。
ベンチマークデータセットの実験結果と、ワイルドなメソッドのパフォーマンスの間には、大きなギャップがしばしばあります。
本稿では,いくつかの最先端SIDモデルを統合するベンチマークフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-29T09:50:16Z) - ASAP: Interpretable Analysis and Summarization of AI-generated Image Patterns at Scale [20.12991230544801]
生成画像モデルは、現実的な画像を生成するための有望な技術として登場してきた。
ユーザーがAI生成画像のパターンを効果的に識別し理解できるようにするための需要が高まっている。
我々はAI生成画像の異なるパターンを自動的に抽出する対話型可視化システムASAPを開発した。
論文 参考訳（メタデータ） (2024-04-03T18:20:41Z) - GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross Appearance-Edge Learning [50.7702397913573]
フォトリアリスティック・ジェネレータの急速な進歩は、真の画像と操作された画像の相違がますます不明瞭になっている臨界点に達している。
公開されている顔の偽造データセットはいくつかあるが、偽造顔は主にGANベースの合成技術を用いて生成される。
我々は,大規模で多様できめ細かな高忠実度データセットであるGenFaceを提案し,ディープフェイク検出の進展を促進する。
論文 参考訳（メタデータ） (2024-02-03T03:13:50Z) - Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。
我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
論文 参考訳（メタデータ） (2023-04-02T10:25:09Z) - GLFF: Global and Local Feature Fusion for AI-synthesized Image Detection [29.118321046339656]
画像全体から複数スケールのグローバルな特徴と、AI合成画像検出のための情報パッチからの洗練されたローカル特徴を組み合わせることで、リッチで差別的な表現を学習するフレームワークを提案する。
GLFFは、マルチスケールの意味的特徴を抽出するグローバルブランチと、詳細なローカルアーティファクト抽出のための情報パッチを選択するローカルブランチの2つのブランチから情報を抽出する。
論文 参考訳（メタデータ） (2022-11-16T02:03:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。