論文の概要: Fusing Global and Local Features for Generalized AI-Synthesized Image
Detection
- arxiv url: http://arxiv.org/abs/2203.13964v1
- Date: Sat, 26 Mar 2022 01:55:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-29 14:42:36.011313
- Title: Fusing Global and Local Features for Generalized AI-Synthesized Image
Detection
- Title(参考訳): 一般化AI合成画像検出のためのグローバル・ローカル特徴の融合
- Authors: Yan Ju, Shan Jia, Lipeng Ke, Hongfei Xue, Koki Nagano, Siwei Lyu
- Abstract要約: 画像全体からのグローバル空間情報と,新しいパッチ選択モジュールによって選択されたパッチからの局所的な情報的特徴を結合する2分岐モデルを設計する。
さまざまなオブジェクトと解像度を持つ19のモデルで合成された非常に多様なデータセットを収集し、モデルを評価する。
- 参考スコア(独自算出の注目度): 31.35052580048599
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the development of the Generative Adversarial Networks (GANs) and
DeepFakes, AI-synthesized images are now of such high quality that humans can
hardly distinguish them from real images. It is imperative for media forensics
to develop detectors to expose them accurately. Existing detection methods have
shown high performance in generated images detection, but they tend to
generalize poorly in the real-world scenarios, where the synthetic images are
usually generated with unseen models using unknown source data. In this work,
we emphasize the importance of combining information from the whole image and
informative patches in improving the generalization ability of AI-synthesized
image detection. Specifically, we design a two-branch model to combine global
spatial information from the whole image and local informative features from
multiple patches selected by a novel patch selection module. Multi-head
attention mechanism is further utilized to fuse the global and local features.
We collect a highly diverse dataset synthesized by 19 models with various
objects and resolutions to evaluate our model. Experimental results demonstrate
the high accuracy and good generalization ability of our method in detecting
generated images.
- Abstract(参考訳): GAN(Generative Adversarial Networks)とDeepFakes(DeepFakes)の開発により、AI合成画像は高品質になり、人間が実際の画像と区別することがほとんどなくなった。
メディアの鑑識はそれらを正確に露呈する検出器を開発することが不可欠である。
既存の検出手法は、生成した画像の検出において高い性能を示してきたが、実際のシナリオでは、合成画像は、未知のソースデータを用いて、通常見えないモデルで生成される。
本稿では,ai合成画像検出の一般化能力を向上させる上で,画像全体からの情報と情報パッチを組み合わせることの重要性を強調する。
具体的には,新しいパッチ選択モジュールによって選択された複数のパッチから,画像全体からのグローバル空間情報と局所的な情報特徴を組み合わせた2分岐モデルを設計する。
マルチヘッドアテンション機構は、グローバルな特徴とローカルな特徴を融合するためにさらに活用される。
19のモデルで合成された非常に多様なデータセットを,さまざまなオブジェクトと解像度で収集し,モデルを評価する。
実験の結果, 生成画像の検出において, 高精度かつ良好な一般化が得られた。
関連論文リスト
- GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross
Appearance-Edge Learning [49.93362169016503]
フォトリアリスティック・ジェネレータの急速な進歩は、真の画像と操作された画像の相違がますます不明瞭になっている臨界点に達している。
公開されている顔の偽造データセットはいくつかあるが、偽造顔は主にGANベースの合成技術を用いて生成される。
我々は,大規模で多様できめ細かな高忠実度データセットであるGenFaceを提案し,ディープフェイク検出の進展を促進する。
論文 参考訳(メタデータ) (2024-02-03T03:13:50Z) - Rethinking the Up-Sampling Operations in CNN-based Generative Network
for Generalizable Deepfake Detection [86.97062579515833]
我々は、アップサンプリング操作から生じる一般化された構造的アーティファクトをキャプチャし、特徴付ける手段として、NPR(Neighboring Pixel Relationships)の概念を紹介した。
tft28の異なる生成モデルによって生成されたサンプルを含む、オープンワールドデータセット上で包括的な分析を行う。
この分析は、新しい最先端のパフォーマンスを確立し、既存の手法よりも優れたtft11.6%の向上を示している。
論文 参考訳(メタデータ) (2023-12-16T14:27:06Z) - Learned representation-guided diffusion models for large-image
generation [60.698616089211505]
自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。
我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。
実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
論文 参考訳(メタデータ) (2023-12-12T14:45:45Z) - Detecting Images Generated by Deep Diffusion Models using their Local
Intrinsic Dimensionality [8.968599131722023]
拡散モデルは驚くほどリアルな画像の視覚合成に成功している。
これにより、悪意のある目的のために、彼らの可能性に対する強い懸念が持ち上がる。
合成画像の自動検出に軽量な多重局所固有次元法(multiLID)を提案する。
論文 参考訳(メタデータ) (2023-07-05T15:03:10Z) - Generalizable Synthetic Image Detection via Language-guided Contrastive
Learning [22.4158195581231]
偽ニュースの拡散や偽のプロフィールの作成などの合成画像の真偽の使用は、画像の真正性に関する重要な懸念を提起する。
本稿では,言語指導によるコントラスト学習と検出問題の新たな定式化による,シンプルで効果的な合成画像検出手法を提案する。
提案したLanguAge-guided SynThEsis Detection (LASTED) モデルでは,画像生成モデルに対する一般化性が大幅に向上していることが示されている。
論文 参考訳(メタデータ) (2023-05-23T08:13:27Z) - Intriguing properties of synthetic images: from generative adversarial
networks to diffusion models [19.448196464632]
実際の画像と偽画像を区別する上で,どの画像の特徴がより優れているかを知ることが重要である。
本稿では, 実画像と生成画像の最も法学的に関係した特徴を発見することを目的とした, 異なる家系の多数の画像生成装置の系統的研究について報告する。
論文 参考訳(メタデータ) (2023-04-13T11:13:19Z) - GLFF: Global and Local Feature Fusion for AI-synthesized Image Detection [29.118321046339656]
画像全体から複数スケールのグローバルな特徴と、AI合成画像検出のための情報パッチからの洗練されたローカル特徴を組み合わせることで、リッチで差別的な表現を学習するフレームワークを提案する。
GLFFは、マルチスケールの意味的特徴を抽出するグローバルブランチと、詳細なローカルアーティファクト抽出のための情報パッチを選択するローカルブランチの2つのブランチから情報を抽出する。
論文 参考訳(メタデータ) (2022-11-16T02:03:20Z) - Beyond the Spectrum: Detecting Deepfakes via Re-Synthesis [69.09526348527203]
ディープフェイク(Deepfakes)として知られる非常に現実的なメディアは、現実の目から人間の目まで区別できない。
本研究では,テスト画像を再合成し,検出のための視覚的手がかりを抽出する,新しい偽検出手法を提案する。
種々の検出シナリオにおいて,提案手法の摂動に対する有効性の向上,GANの一般化,堅牢性を示す。
論文 参考訳(メタデータ) (2021-05-29T21:22:24Z) - Generative Hierarchical Features from Synthesizing Images [65.66756821069124]
画像合成の学習は、広範囲のアプリケーションにまたがって一般化可能な顕著な階層的な視覚的特徴をもたらす可能性があることを示す。
生成的階層的特徴(Generative Hierarchical Feature, GH-Feat)と呼ばれるエンコーダが生成する視覚的特徴は、生成的タスクと識別的タスクの両方に強い伝達性を有する。
論文 参考訳(メタデータ) (2020-07-20T18:04:14Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳(メタデータ) (2020-03-15T11:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。