論文の概要: Parents and Children: Distinguishing Multimodal DeepFakes from Natural
Images
- arxiv url: http://arxiv.org/abs/2304.00500v1
- Date: Sun, 2 Apr 2023 10:25:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 17:38:53.233214
- Title: Parents and Children: Distinguishing Multimodal DeepFakes from Natural
Images
- Title(参考訳): 親子:自然画像からマルチモーダルディープフェイクを識別する
- Authors: Roberto Amoroso, Davide Morelli, Marcella Cornia, Lorenzo Baraldi,
Alberto Del Bimbo, Rita Cucchiara
- Abstract要約: 我々は,最先端拡散モデルにより生成された偽画像の正当性に関する体系的研究を開拓した。
我々の分析は、偽画像は共通の低レベルな手がかりを共有しており、容易に認識できることを示している。
本設定では,偽検出手法の性能を定量的に評価し,コントラッシブ・ベース・ディエンタング・ストラテジーを導入する。
- 参考スコア(独自算出の注目度): 59.71861772648853
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advancements in diffusion models have enabled the generation of
realistic deepfakes by writing textual prompts in natural language. While these
models have numerous benefits across various sectors, they have also raised
concerns about the potential misuse of fake images and cast new pressures on
fake image detection. In this work, we pioneer a systematic study of the
authenticity of fake images generated by state-of-the-art diffusion models.
Firstly, we conduct a comprehensive study on the performance of contrastive and
classification-based visual features. Our analysis demonstrates that fake
images share common low-level cues, which render them easily recognizable.
Further, we devise a multimodal setting wherein fake images are synthesized by
different textual captions, which are used as seeds for a generator. Under this
setting, we quantify the performance of fake detection strategies and introduce
a contrastive-based disentangling strategy which let us analyze the role of the
semantics of textual descriptions and low-level perceptual cues. Finally, we
release a new dataset, called COCOFake, containing about 600k images generated
from original COCO images.
- Abstract(参考訳): 近年の拡散モデルの発展により、自然言語でテキストプロンプトを書くことで現実的なディープフェイクが生成できるようになった。
これらのモデルは様々な分野に多くの利点があるが、偽画像の誤用の可能性や偽画像検出への新たな圧力も懸念されている。
本研究では,最先端拡散モデルにより生成された偽画像の正当性に関する体系的な研究を開拓する。
まず,コントラストと分類に基づく視覚特徴の総合的な評価を行った。
我々の分析は、偽画像が共通の低レベルの手がかりを共有していることを示す。
さらに,フェイク画像を異なるテキストキャプションで合成し,生成装置の種として使用するマルチモーダル設定を考案する。
そこで本研究では,テキスト記述と低レベルの知覚的手がかりのセマンティクスの役割を解析するための,偽検出戦略の定量化と,コントラストに基づくディエンタング戦略を導入する。
最後に、COCO画像から生成された約600万の画像を含むCOCOFakeと呼ばれる新しいデータセットをリリースする。
関連論文リスト
- Unveiling the Truth: Exploring Human Gaze Patterns in Fake Images [34.02058539403381]
我々は、人間の意味的知識を活用して、偽画像検出のフレームワークに含まれる可能性を調べる。
予備的な統計的分析により、人間が本物の画像や変化した画像をどのように知覚するかの特徴的なパターンを探索する。
論文 参考訳(メタデータ) (2024-03-13T19:56:30Z) - Coarse-to-Fine Latent Diffusion for Pose-Guided Person Image Synthesis [70.58988592832684]
PGPIS(Pose-Guided Person Image Synthesis)のためのCFLD(Coarse-to-Fine Latent Diffusion)法を提案する。
認識修正デコーダは、学習可能なクエリの集合を段階的に洗練し、粗いプロンプトとして人物画像の意味的理解を抽出するように設計されている。
論文 参考訳(メタデータ) (2024-02-28T06:07:07Z) - Detecting Generated Images by Real Images Only [64.12501227493765]
既存の画像検出手法は、生成画像中の視覚的アーティファクトを検出したり、大規模なトレーニングによって、実画像と生成画像の両方から識別的特徴を学習する。
本稿では,新たな視点から生成した画像検出問題にアプローチする。
実画像の共通性を見つけ、特徴空間内の密接な部分空間にマッピングすることで、生成した画像は生成モデルに関係なくサブ空間の外側に投影される。
論文 参考訳(メタデータ) (2023-11-02T03:09:37Z) - Diversity and Diffusion: Observations on Synthetic Image Distributions
with Stable Diffusion [6.491645162078057]
Text-to-image (TTI)システムにより、単純なテキストプロンプトでリアルな画像を作成することができる。
これまでに行われたすべての実験において、合成画像のみで訓練された分類器は推論時に性能が良くない。
この課題に対するTTIシステムの有用性を制限する4つの問題:曖昧さ、プロンプトへの順守、多様性の欠如、基礎となる概念を表現できないこと。
論文 参考訳(メタデータ) (2023-10-31T18:05:15Z) - Perceptual Artifacts Localization for Image Synthesis Tasks [59.638307505334076]
我々は10,168個の画像からなる新しいデータセットを導入し,それぞれに知覚的アーティファクトラベルを付加した。
提案したデータセットに基づいてトレーニングされたセグメンテーションモデルは、さまざまなタスクにまたがるアーティファクトを効果的にローカライズする。
生成した画像の知覚的アーティファクトをシームレスに修正する,革新的なズームイン・インペインティングパイプラインを提案する。
論文 参考訳(メタデータ) (2023-10-09T10:22:08Z) - From Text to Mask: Localizing Entities Using the Attention of
Text-to-Image Diffusion Models [41.66656119637025]
本稿では,テキスト・画像拡散モデルの認知ネットワークにおける注意機構を利用する手法を提案する。
そこで我々はPascal VOC 2012 と Microsoft COCO 2014 のセマンティックセグメンテーションを弱教師付きで評価した。
本研究は,セグメンテーションの拡散モデルに隠された豊富なマルチモーダル知識を抽出する方法を明らかにする。
論文 参考訳(メタデータ) (2023-09-08T04:10:01Z) - Generalizable Synthetic Image Detection via Language-guided Contrastive
Learning [22.4158195581231]
偽ニュースの拡散や偽のプロフィールの作成などの合成画像の真偽の使用は、画像の真正性に関する重要な懸念を提起する。
本稿では,言語指導によるコントラスト学習と検出問題の新たな定式化による,シンプルで効果的な合成画像検出手法を提案する。
提案したLanguAge-guided SynThEsis Detection (LASTED) モデルでは,画像生成モデルに対する一般化性が大幅に向上していることが示されている。
論文 参考訳(メタデータ) (2023-05-23T08:13:27Z) - DE-FAKE: Detection and Attribution of Fake Images Generated by
Text-to-Image Diffusion Models [12.310393737912412]
我々は,テキスト・ツー・イメージ拡散モデルにより生成された偽画像の正当性に関する体系的な研究を開拓した。
視覚的モダリティのために、これらのテキスト・画像拡散モデルの偽画像が共通の手がかりを共有していることを示す普遍的検出を提案する。
言語的モダリティについて,テキスト・ツー・イメージ拡散モデルの画像信頼度に及ぼすテキストキャプションの影響を解析する。
論文 参考訳(メタデータ) (2022-10-13T13:08:54Z) - Enhancing Photorealism Enhancement [83.88433283714461]
本稿では,畳み込みネットワークを用いた合成画像のリアリズム向上手法を提案する。
一般的に使用されるデータセットのシーンレイアウトの分布を分析し、重要な方法で異なることを見つけます。
近年のイメージ・ツー・イメージ翻訳法と比較して,安定性とリアリズムの大幅な向上が報告されている。
論文 参考訳(メタデータ) (2021-05-10T19:00:49Z) - What makes fake images detectable? Understanding properties that
generalize [55.4211069143719]
深層ネットワークは、博士画像の微妙なアーティファクトを拾い上げることができる。
我々は、偽画像のどの特性が検出可能かを理解することを模索する。
検出可能な特性を誇張する手法を示す。
論文 参考訳(メタデータ) (2020-08-24T17:50:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。