論文の概要: SIDA: Social Media Image Deepfake Detection, Localization and Explanation with Large Multimodal Model

• arxiv url: http://arxiv.org/abs/2412.04292v1
• Date: Thu, 05 Dec 2024 16:12:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:42:16.108781
• Title: SIDA: Social Media Image Deepfake Detection, Localization and Explanation with Large Multimodal Model
• Title（参考訳）: SIDA:大規模マルチモーダルモデルによるソーシャルメディア画像深度検出・局所化・説明
• Authors: Zhenglin Huang, Jinwei Hu, Xiangtai Li, Yiwei He, Xingyu Zhao, Bei Peng, Baoyuan Wu, Xiaowei Huang, Guangliang Cheng,
• Abstract要約: ソーシャルメディア上で共有される合成画像は、広範囲の聴衆を誤解させ、デジタルコンテンツに対する信頼を損なう可能性がある。 ソーシャルメディア画像検出データセット(SID-Set)を紹介する。 本稿では,SIDA という画像深度検出,局所化,説明の枠組みを提案する。
• 参考スコア（独自算出の注目度）: 48.547599530927926
• License:
• Abstract: The rapid advancement of generative models in creating highly realistic images poses substantial risks for misinformation dissemination. For instance, a synthetic image, when shared on social media, can mislead extensive audiences and erode trust in digital content, resulting in severe repercussions. Despite some progress, academia has not yet created a large and diversified deepfake detection dataset for social media, nor has it devised an effective solution to address this issue. In this paper, we introduce the Social media Image Detection dataSet (SID-Set), which offers three key advantages: (1) extensive volume, featuring 300K AI-generated/tampered and authentic images with comprehensive annotations, (2) broad diversity, encompassing fully synthetic and tampered images across various classes, and (3) elevated realism, with images that are predominantly indistinguishable from genuine ones through mere visual inspection. Furthermore, leveraging the exceptional capabilities of large multimodal models, we propose a new image deepfake detection, localization, and explanation framework, named SIDA (Social media Image Detection, localization, and explanation Assistant). SIDA not only discerns the authenticity of images, but also delineates tampered regions through mask prediction and provides textual explanations of the model's judgment criteria. Compared with state-of-the-art deepfake detection models on SID-Set and other benchmarks, extensive experiments demonstrate that SIDA achieves superior performance among diversified settings. The code, model, and dataset will be released.
• Abstract（参考訳）: 非常にリアルな画像作成における生成モデルの急速な進歩は、誤情報拡散に重大なリスクをもたらす。 例えば、ソーシャルメディア上で共有される合成画像は、広範囲の聴衆を誤解させ、デジタルコンテンツに対する信頼を損なう可能性がある。 ある程度の進歩にもかかわらず、学界はまだソーシャルメディア向けの大規模かつ多様化したディープフェイク検出データセットを作成しておらず、またこの問題に対処するための効果的なソリューションも考案していない。 本稿ではソーシャルメディア画像検出データセット(SID-Set)を紹介し,(1)AI生成・改ざん・改ざん・改ざん画像の広帯域化,(2)完全合成・改ざん画像の多彩化,(3)視覚的検査によって実物と区別できない画像の高次化,の3つの利点について述べる。 さらに,大規模マルチモーダルモデルの異常な機能を活用し,SIDA (Social media Image Detection, Localization, and explanation Assistant) と呼ばれる新たな画像深度検出, 局所化, 説明フレームワークを提案する。 SIDAは画像の正当性を識別するだけでなく、マスク予測を通じて改ざんされた領域を記述し、モデルの判断基準をテキストで説明する。 SID-Setや他のベンチマークにおける最先端のディープフェイク検出モデルと比較して、SIDAは多種多様な設定において優れた性能を発揮することを示す。 コード、モデル、データセットがリリースされる。

関連論文リスト

• Semi-Truths: A Large-Scale Dataset of AI-Augmented Images for Evaluating Robustness of AI-Generated Image detectors [62.63467652611788]
  実画像27,600枚、223,400枚、AI拡張画像1,472,700枚を含むSEMI-TRUTHSを紹介する。 それぞれの画像には、検出器のロバスト性の標準化と目標評価のためのメタデータが添付されている。 以上の結果から,現状の検出器は摂動の種類や程度,データ分布,拡張方法に様々な感度を示すことが示唆された。
  論文  参考訳（メタデータ） (2024-11-12T01:17:27Z)
• Contrasting Deepfakes Diffusion via Contrastive Learning and Global-Local Similarities [88.398085358514]
  Contrastive Deepfake Embeddings (CoDE)は、ディープフェイク検出に特化した新しい埋め込み空間である。 CoDEは、グローバルローカルな類似性をさらに強化することで、対照的な学習を通じて訓練される。
  論文  参考訳（メタデータ） (2024-07-29T18:00:10Z)
• ImagiNet: A Multi-Content Dataset for Generalizable Synthetic Image Detection via Contrastive Learning [0.0]
  生成モデルは、実際の写真やアートワークとほとんど区別がつかない、信頼性の高い画像を生成する。 合成画像の識別が困難であるため、オンラインメディアプラットフォームは偽造や誤情報に脆弱である。 合成画像検出のための高分解能かつバランスの取れたデータセットであるImagiNetを紹介する。
  論文  参考訳（メタデータ） (2024-07-29T13:57:24Z)
• LookupForensics: A Large-Scale Multi-Task Dataset for Multi-Phase Image-Based Fact Verification [15.616232457341097]
  これは、ジャーナリストが使用するテキストベースの事実チェックシステムに由来する名前です。 我々は,手作りの画像編集や機械学習による操作を多用した,この新しいタスクに適した大規模なデータセットを提案する。
  論文  参考訳（メタデータ） (2024-07-26T09:15:29Z)
• SIDBench: A Python Framework for Reliably Assessing Synthetic Image Detection Methods [9.213926755375024]
  完全合成画像の作成は、ユニークな課題である。 ベンチマークデータセットの実験結果と、ワイルドなメソッドのパフォーマンスの間には、大きなギャップがしばしばあります。 本稿では,いくつかの最先端SIDモデルを統合するベンチマークフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-29T09:50:16Z)
• ASAP: Interpretable Analysis and Summarization of AI-generated Image Patterns at Scale [20.12991230544801]
  生成画像モデルは、現実的な画像を生成するための有望な技術として登場してきた。 ユーザーがAI生成画像のパターンを効果的に識別し理解できるようにするための需要が高まっている。 我々はAI生成画像の異なるパターンを自動的に抽出する対話型可視化システムASAPを開発した。
  論文  参考訳（メタデータ） (2024-04-03T18:20:41Z)
• GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross Appearance-Edge Learning [50.7702397913573]
  フォトリアリスティック・ジェネレータの急速な進歩は、真の画像と操作された画像の相違がますます不明瞭になっている臨界点に達している。 公開されている顔の偽造データセットはいくつかあるが、偽造顔は主にGANベースの合成技術を用いて生成される。 我々は,大規模で多様できめ細かな高忠実度データセットであるGenFaceを提案し,ディープフェイク検出の進展を促進する。
  論文  参考訳（メタデータ） (2024-02-03T03:13:50Z)
• On quantifying and improving realism of images generated with diffusion [50.37578424163951]
  与えられた画像の5つの統計的測度から算出した画像リアリズムスコア(IRS)と呼ばれるメトリクスを提案する。 IRSは、与えられた画像を実または偽のものとして分類する手段として容易に利用できる。 我々は,安定拡散モデル (SDM) , Dalle2, Midjourney, BigGAN による偽画像の検出に成功して,提案したIRSのモデルおよびデータに依存しない性質を実験的に確立した。 このデータセットは、高品質の4つのモデルによって生成される100のクラスに対して1,000のサンプルを提供します。
  論文  参考訳（メタデータ） (2023-09-26T08:32:55Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• GLFF: Global and Local Feature Fusion for AI-synthesized Image Detection [29.118321046339656]
  画像全体から複数スケールのグローバルな特徴と、AI合成画像検出のための情報パッチからの洗練されたローカル特徴を組み合わせることで、リッチで差別的な表現を学習するフレームワークを提案する。 GLFFは、マルチスケールの意味的特徴を抽出するグローバルブランチと、詳細なローカルアーティファクト抽出のための情報パッチを選択するローカルブランチの2つのブランチから情報を抽出する。
  論文  参考訳（メタデータ） (2022-11-16T02:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。