論文の概要: FakeBench: Probing Explainable Fake Image Detection via Large Multimodal Models
- arxiv url: http://arxiv.org/abs/2404.13306v2
- Date: Sun, 8 Sep 2024 12:07:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 02:52:35.473656
- Title: FakeBench: Probing Explainable Fake Image Detection via Large Multimodal Models
- Title（参考訳）: FakeBench: 大規模なマルチモーダルモデルによる説明可能なフェイク画像の検出
- Authors: Yixuan Li, Xuelin Liu, Xiaoyang Wang, Bu Sung Lee, Shiqi Wang, Anderson Rocha, Weisi Lin,
- Abstract要約: 我々は人間の知覚に関する生成的視覚的偽造の分類を導入し、人間の自然言語における偽造記述を収集する。
FakeBenchは、検出、推論、解釈、きめ細かい偽造分析の4つの評価基準でLMMを調べている。
本研究は,偽画像検出領域における透明性へのパラダイムシフトを示す。
- 参考スコア（独自算出の注目度）: 62.66610648697744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ability to distinguish whether an image is generated by artificial intelligence (AI) is a crucial ingredient in human intelligence, usually accompanied by a complex and dialectical forensic and reasoning process. However, current fake image detection models and databases focus on binary classification without understandable explanations for the general populace. This weakens the credibility of authenticity judgment and may conceal potential model biases. Meanwhile, large multimodal models (LMMs) have exhibited immense visual-text capabilities on various tasks, bringing the potential for explainable fake image detection. Therefore, we pioneer the probe of LMMs for explainable fake image detection by presenting a multimodal database encompassing textual authenticity descriptions, the FakeBench. For construction, we first introduce a fine-grained taxonomy of generative visual forgery concerning human perception, based on which we collect forgery descriptions in human natural language with a human-in-the-loop strategy. FakeBench examines LMMs with four evaluation criteria: detection, reasoning, interpretation and fine-grained forgery analysis, to obtain deeper insights into image authenticity-relevant capabilities. Experiments on various LMMs confirm their merits and demerits in different aspects of fake image detection tasks. This research presents a paradigm shift towards transparency for the fake image detection area and reveals the need for greater emphasis on forensic elements in visual-language research and AI risk control. FakeBench will be available at https://github.com/Yixuan423/FakeBench.
- Abstract（参考訳）: 人工知能(AI)によって画像が生成されるかどうかを識別する能力は、人間の知能において重要な要素であり、通常、複雑で弁証的な法学と推論のプロセスが伴う。
しかし、現在の偽画像検出モデルとデータベースは、一般大衆に対する理解可能な説明なしにバイナリ分類に焦点を当てている。
これは真正性判定の信頼性を弱め、潜在的なモデルバイアスを隠蔽する可能性がある。
一方、大型マルチモーダルモデル(LMM)は、様々なタスクにおいて膨大な視覚的テキスト能力を示しており、説明可能な偽画像検出の可能性を秘めている。
そこで本稿では,テキストの真正性記述を含むマルチモーダルデータベースである FakeBench を提示することにより,説明可能な偽画像検出のためのLMMの探索を行った。
構築のために,我々はまず,人間の知覚に関する生成的視覚的偽造の微粒な分類を導入する。
FakeBench氏はLMMを4つの評価基準(検出、推論、解釈、きめ細かな偽造分析)で検証し、画像の真正性関連能力に関する深い洞察を得る。
様々なLMM実験は、偽画像検出タスクのさまざまな側面において、そのメリットとデメリットを確認している。
本研究は、偽画像検出領域の透明性へのパラダイムシフトを示し、視覚言語研究やAIリスクコントロールにおける法医学的要素の強調の必要性を明らかにする。
FakeBenchはhttps://github.com/Yixuan423/FakeBench.comから入手できる。
関連論文リスト
- ASAP: Interpretable Analysis and Summarization of AI-generated Image Patterns at Scale [20.12991230544801]
生成画像モデルは、現実的な画像を生成するための有望な技術として登場してきた。
ユーザーがAI生成画像のパターンを効果的に識別し理解できるようにするための需要が高まっている。
我々はAI生成画像の異なるパターンを自動的に抽出する対話型可視化システムASAPを開発した。
論文 参考訳（メタデータ） (2024-04-03T18:20:41Z) - Unveiling the Truth: Exploring Human Gaze Patterns in Fake Images [34.02058539403381]
我々は、人間の意味的知識を活用して、偽画像検出のフレームワークに含まれる可能性を調べる。
予備的な統計的分析により、人間が本物の画像や変化した画像をどのように知覚するかの特徴的なパターンを探索する。
論文 参考訳（メタデータ） (2024-03-13T19:56:30Z) - SHIELD : An Evaluation Benchmark for Face Spoofing and Forgery Detection
with Multimodal Large Language Models [63.946809247201905]
フェーススプーフィングと偽造検出におけるMLLMの能力を評価するための新しいベンチマーク、ShielDを導入する。
我々は、これらの2つの顔セキュリティタスクにおいて、マルチモーダル顔データを評価するために、真/偽/複数選択の質問を設計する。
その結果,MLLMは顔セキュリティ領域において大きな可能性を秘めていることがわかった。
論文 参考訳（メタデータ） (2024-02-06T17:31:36Z) - Common Sense Reasoning for Deepfake Detection [13.502008402754658]
最先端のディープフェイク検出アプローチは、ニューラルネットワークを介して抽出された画像ベースの機能に依存している。
我々は,Deepfake Detection VQA (DD-VQA) タスクとしてディープフェイク検出を行い,人間の直感をモデル化した。
我々は、新しい注釈付きデータセットを導入し、DD-VQAタスクのためのビジョン・アンド・ランゲージ・トランスフォーマーベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-31T19:11:58Z) - DeepFidelity: Perceptual Forgery Fidelity Assessment for Deepfake
Detection [67.3143177137102]
ディープフェイク検出(Deepfake detection)とは、画像やビデオにおいて、人工的に生成された顔や編集された顔を検出すること。
本稿では,実顔と偽顔とを適応的に識別するDeepFidelityという新しいDeepfake検出フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-07T07:19:45Z) - AntifakePrompt: Prompt-Tuned Vision-Language Models are Fake Image Detectors [24.78672820633581]
深層生成モデルは、偽情報や著作権侵害に対する懸念を高めながら、驚くほど偽のイメージを作成することができる。
実画像と偽画像とを区別するためにディープフェイク検出技術が開発された。
本稿では,視覚言語モデルとアクシデントチューニング技術を用いて,Antifake Promptと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-10-26T14:23:45Z) - Seeing is not always believing: Benchmarking Human and Model Perception
of AI-Generated Images [66.20578637253831]
人工知能(AI)技術の進歩が偽写真を生み出すのではないかという懸念が高まっている。
本研究の目的は、最先端のAI生成視覚コンテンツを識別するためのエージェントを包括的に評価することである。
論文 参考訳（メタデータ） (2023-04-25T17:51:59Z) - Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。
我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
論文 参考訳（メタデータ） (2023-04-02T10:25:09Z) - What makes fake images detectable? Understanding properties that
generalize [55.4211069143719]
深層ネットワークは、博士画像の微妙なアーティファクトを拾い上げることができる。
我々は、偽画像のどの特性が検出可能かを理解することを模索する。
検出可能な特性を誇張する手法を示す。
論文 参考訳（メタデータ） (2020-08-24T17:50:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。