論文の概要: FakeBench: Uncover the Achilles' Heels of Fake Images with Large Multimodal Models
- arxiv url: http://arxiv.org/abs/2404.13306v1
- Date: Sat, 20 Apr 2024 07:28:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 19:39:25.939766
- Title: FakeBench: Uncover the Achilles' Heels of Fake Images with Large Multimodal Models
- Title（参考訳）: フェイクベンチ:大きめのマルチモーダルモデルでアキレスのフェイク画像のヒールを発見
- Authors: Yixuan Li, Xuelin Liu, Xiaoyang Wang, Shiqi Wang, Weisi Lin,
- Abstract要約: FakeBenchは、透過的なデファクタに対する第一種ベンチマークである。
本研究では,FakeClassデータセットを6kの多様なソースの偽画像と実画像で構築し,画像の正確性に関する質問と回答のペアを備える。
実験の結果,現在のLMMは中等度識別能力,予備解釈能力,推論能力を有しており,画像デフォーメーションの解答能力は欠かせないことがわかった。
- 参考スコア（独自算出の注目度）: 58.592922449294356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, fake images generated by artificial intelligence (AI) models have become indistinguishable from the real, exerting new challenges for fake image detection models. To this extent, simple binary judgments of real or fake seem less convincing and credible due to the absence of human-understandable explanations. Fortunately, Large Multimodal Models (LMMs) bring possibilities to materialize the judgment process while their performance remains undetermined. Therefore, we propose FakeBench, the first-of-a-kind benchmark towards transparent defake, consisting of fake images with human language descriptions on forgery signs. FakeBench gropes for two open questions of LMMs: (1) can LMMs distinguish fake images generated by AI, and (2) how do LMMs distinguish fake images? In specific, we construct the FakeClass dataset with 6k diverse-sourced fake and real images, each equipped with a Question&Answer pair concerning the authenticity of images, which are utilized to benchmark the detection ability. To examine the reasoning and interpretation abilities of LMMs, we present the FakeClue dataset, consisting of 15k pieces of descriptions on the telltale clues revealing the falsification of fake images. Besides, we construct the FakeQA to measure the LMMs' open-question answering ability on fine-grained authenticity-relevant aspects. Our experimental results discover that current LMMs possess moderate identification ability, preliminary interpretation and reasoning ability, and passable open-question answering ability for image defake. The FakeBench will be made publicly available soon.
- Abstract（参考訳）: 近年,人工知能(AI)モデルによって生成された偽画像は,偽画像検出モデルに対する新たな課題として現実と区別できないものとなっている。
この程度では、人間の理解できない説明がないため、現実または偽の単純な二分判断は説得力が少なく、信頼性が低いように見える。
幸運なことに、LMM(Large Multimodal Models)は、その性能が未決定のまま、判断プロセスを実現する可能性をもたらす。
そこで本稿では,偽のサインに人間の言語記述を付加した偽画像からなる,透過的なデファクタに対する最初のベンチマークであるFakeBenchを提案する。
1)LMMはAIによって生成された偽画像を区別できるか、(2)LMMは偽画像をどのように区別できるのか?
具体的には、FakeClassデータセットを6kの多様なソースの偽画像と実画像で構築し、それぞれに画像の信頼性に関する質問&回答ペアを設け、検出能力をベンチマークする。
本研究では,LMMの推論能力と解釈能力を検討するために,偽画像のファルシフィケーションを明らかにする暗黙の手がかりに関する15k個の記述からなるFakeClueデータセットを提案する。
さらに,FakeQAを構築し,LMMの解答能力を評価する。
実験の結果,現在のLMMは中等度識別能力,予備解釈能力,推論能力を有しており,画像デフォーメーションの解答能力は欠かせないことがわかった。
FakeBenchは近く一般公開される予定だ。
関連論文リスト
- ASAP: Interpretable Analysis and Summarization of AI-generated Image Patterns at Scale [20.12991230544801]
生成画像モデルは、現実的な画像を生成するための有望な技術として登場してきた。
ユーザーがAI生成画像のパターンを効果的に識別し理解できるようにするための需要が高まっている。
我々はAI生成画像の異なるパターンを自動的に抽出する対話型可視化システムASAPを開発した。
論文 参考訳（メタデータ） (2024-04-03T18:20:41Z) - Unveiling the Truth: Exploring Human Gaze Patterns in Fake Images [34.02058539403381]
我々は、人間の意味的知識を活用して、偽画像検出のフレームワークに含まれる可能性を調べる。
予備的な統計的分析により、人間が本物の画像や変化した画像をどのように知覚するかの特徴的なパターンを探索する。
論文 参考訳（メタデータ） (2024-03-13T19:56:30Z) - SHIELD : An Evaluation Benchmark for Face Spoofing and Forgery Detection
with Multimodal Large Language Models [63.946809247201905]
フェーススプーフィングと偽造検出におけるMLLMの能力を評価するための新しいベンチマーク、ShielDを導入する。
我々は、これらの2つの顔セキュリティタスクにおいて、マルチモーダル顔データを評価するために、真/偽/複数選択の質問を設計する。
その結果,MLLMは顔セキュリティ領域において大きな可能性を秘めていることがわかった。
論文 参考訳（メタデータ） (2024-02-06T17:31:36Z) - Common Sense Reasoning for Deepfake Detection [13.502008402754658]
最先端のディープフェイク検出アプローチは、ニューラルネットワークを介して抽出された画像ベースの機能に依存している。
我々は,Deepfake Detection VQA (DD-VQA) タスクとしてディープフェイク検出を行い,人間の直感をモデル化した。
我々は、新しい注釈付きデータセットを導入し、DD-VQAタスクのためのビジョン・アンド・ランゲージ・トランスフォーマーベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-31T19:11:58Z) - DeepFidelity: Perceptual Forgery Fidelity Assessment for Deepfake
Detection [67.3143177137102]
ディープフェイク検出(Deepfake detection)とは、画像やビデオにおいて、人工的に生成された顔や編集された顔を検出すること。
本稿では,実顔と偽顔とを適応的に識別するDeepFidelityという新しいDeepfake検出フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-07T07:19:45Z) - AntifakePrompt: Prompt-Tuned Vision-Language Models are Fake Image Detectors [24.78672820633581]
深層生成モデルは、偽情報や著作権侵害に対する懸念を高めながら、驚くほど偽のイメージを作成することができる。
実画像と偽画像とを区別するためにディープフェイク検出技術が開発された。
本稿では,視覚言語モデルとアクシデントチューニング技術を用いて,Antifake Promptと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-10-26T14:23:45Z) - Seeing is not always believing: Benchmarking Human and Model Perception
of AI-Generated Images [66.20578637253831]
人工知能(AI)技術の進歩が偽写真を生み出すのではないかという懸念が高まっている。
本研究の目的は、最先端のAI生成視覚コンテンツを識別するためのエージェントを包括的に評価することである。
論文 参考訳（メタデータ） (2023-04-25T17:51:59Z) - Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。
我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
論文 参考訳（メタデータ） (2023-04-02T10:25:09Z) - What makes fake images detectable? Understanding properties that
generalize [55.4211069143719]
深層ネットワークは、博士画像の微妙なアーティファクトを拾い上げることができる。
我々は、偽画像のどの特性が検出可能かを理解することを模索する。
検出可能な特性を誇張する手法を示す。
論文 参考訳（メタデータ） (2020-08-24T17:50:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。