論文の概要: GLFF: Global and Local Feature Fusion for Face Forgery Detection
- arxiv url: http://arxiv.org/abs/2211.08615v1
- Date: Wed, 16 Nov 2022 02:03:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 15:21:21.894283
- Title: GLFF: Global and Local Feature Fusion for Face Forgery Detection
- Title(参考訳): GLFF:顔偽造検出のためのグローバル・ローカル機能融合
- Authors: Yan Ju, Shan Jia, Jialing Cai, Haiying Guan, Siwei Lyu
- Abstract要約: 顔偽造検出のための情報パッチから,多大のグローバル特徴と改良されたローカル特徴を組み合わせることで,リッチで差別的な表現を学習するためのグローバル・ローカル特徴融合(GLFF)を提案する。
GLFFは2つのブランチから情報を抽出する。グローバルブランチはマルチスケールのセマンティック特徴を抽出し、ローカルブランチは詳細なローカルアーティファクト抽出のための情報パッチを選択する。
DeepFakeFaceForensics (DF$3$)という,6つの最先端世代モデルとさまざまな種類の顔フォージェリデータセットを新たに作成する。
- 参考スコア(独自算出の注目度): 29.60351736435313
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid development of the deep generative models (such as Generative
Adversarial Networks and Auto-encoders), AI-synthesized images of human face
are now of such high qualities that humans can hardly distinguish them from
pristine ones. Although existing detection methods have shown high performance
in specific evaluation settings, e.g., on images from seen models or on images
without real-world post-processings, they tend to suffer serious performance
degradation in real-world scenarios where testing images can be generated by
more powerful generation models or combined with various post-processing
operations. To address this issue, we propose a Global and Local Feature Fusion
(GLFF) to learn rich and discriminative representations by combining
multi-scale global features from the whole image with refined local features
from informative patches for face forgery detection. GLFF fuses information
from two branches: global branch to extract multi-scale semantic features and
local branch to select informative patches for detailed local artifacts
extraction. Due to the lack of face forgery dataset simulating real-world
applications for evaluation, we further create a challenging face forgery
dataset, named DeepFakeFaceForensics (DF$^3$), which contains 6
state-of-the-art generation models and a variety of post-processing techniques
to approach the real-world scenarios. Experimental results demonstrate the
superiority of our method to the state-of-the-art methods on the proposed DF^3
dataset and three other open-source datasets.
- Abstract(参考訳): 深層生成モデル(ジェネレーティブ・アドバイサル・ネットワークやオート・エンコーダなど)の急速な発展に伴い、人間の顔のAI合成画像は質の高いものとなり、人間が原始的画像と区別することがほとんどなくなった。
既存の検出手法は、例えば実世界のポストプロセッシングなしで見たモデルや画像の特定の評価設定で高い性能を示してきたが、より強力な世代モデルや様々なポストプロセッシング操作によってテスト画像が生成される現実のシナリオでは、深刻なパフォーマンス劣化に悩まされる傾向にある。
そこで本研究では,画像全体から多スケールのグローバル特徴と,顔偽造検出のための情報パッチから洗練された局所特徴を組み合わせることで,リッチで判別的な表現を学習するグローバル・ローカル特徴融合(glff)を提案する。
GLFFはグローバルブランチとローカルブランチの2つのブランチから情報を抽出し、詳細なローカルアーティファクト抽出のための情報パッチを選択する。
実世界のアプリケーションをシミュレートして評価するface forgeryデータセットが不足しているため、deepfakefaceforensics(df$^3$)という、挑戦的なface forgeryデータセットを作成します。
実験により,提案したDF^3データセットおよび他の3つのオープンソースデータセットの最先端手法に対する本手法の優位性を示した。
関連論文リスト
- GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross
Appearance-Edge Learning [49.93362169016503]
フォトリアリスティック・ジェネレータの急速な進歩は、真の画像と操作された画像の相違がますます不明瞭になっている臨界点に達している。
公開されている顔の偽造データセットはいくつかあるが、偽造顔は主にGANベースの合成技術を用いて生成される。
我々は,大規模で多様できめ細かな高忠実度データセットであるGenFaceを提案し,ディープフェイク検出の進展を促進する。
論文 参考訳(メタデータ) (2024-02-03T03:13:50Z) - DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。
画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。
MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2023-12-11T18:38:28Z) - Pixel-Inconsistency Modeling for Image Manipulation Localization [63.54342601757723]
デジタル画像法医学は、画像認証と操作のローカライゼーションにおいて重要な役割を果たす。
本稿では,画素不整合アーチファクトの解析を通じて,一般化されたロバストな操作ローカライゼーションモデルを提案する。
実験により,本手法は固有の画素不整合偽指紋を抽出することに成功した。
論文 参考訳(メタデータ) (2023-09-30T02:54:51Z) - Improving Few-shot Image Generation by Structural Discrimination and
Textural Modulation [10.389698647141296]
画像生成の目的は、このカテゴリからいくつかの画像が与えられた場合、あるカテゴリに対して可塑性で多様な画像を生成することである。
既存のアプローチでは、異なる画像をグローバルに補間するか、事前に定義された係数で局所表現を融合する。
本稿では,内部局所表現に外部意味信号を注入する新しいメカニズムを提案する。
論文 参考訳(メタデータ) (2023-08-30T16:10:21Z) - IT3D: Improved Text-to-3D Generation with Explicit View Synthesis [71.68595192524843]
本研究では、これらの問題に対処するために、明示的に合成されたマルチビュー画像を活用する新しい戦略を提案する。
我々のアプローチは、高画質画像を生成するために、LCDによって強化されたイメージ・ツー・イメージ・パイプラインを活用することである。
組込み判別器では、合成したマルチビュー画像は実データと見なされ、最適化された3Dモデルのレンダリングは偽データとして機能する。
論文 参考訳(メタデータ) (2023-08-22T14:39:17Z) - Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。
我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
論文 参考訳(メタデータ) (2023-04-02T10:25:09Z) - Multi-modal Gated Mixture of Local-to-Global Experts for Dynamic Image
Fusion [59.19469551774703]
赤外線と可視画像の融合は,複数の情報源からの包括的情報を統合して,様々な作業において優れた性能を実現することを目的としている。
局所-言語の専門家によるマルチモーダルゲート混合を用いた動的画像融合フレームワークを提案する。
本モデルは,Mixture of Local Experts (MoLE) とMixture of Global Experts (MoGE) から構成される。
論文 参考訳(メタデータ) (2023-02-02T20:06:58Z) - Rethinking Blur Synthesis for Deep Real-World Image Deblurring [4.00114307523959]
本稿では,撮影過程をシミュレートする,新しいリアルなボケ合成パイプラインを提案する。
機能領域における非局所的依存関係と局所的コンテキストを同時にキャプチャする効果的なデブロアリングモデルを開発する。
3つの実世界のデータセットに関する総合的な実験により、提案したデブロアリングモデルは最先端の手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2022-09-28T06:50:16Z) - Fusing Global and Local Features for Generalized AI-Synthesized Image
Detection [31.35052580048599]
画像全体からのグローバル空間情報と,新しいパッチ選択モジュールによって選択されたパッチからの局所的な情報的特徴を結合する2分岐モデルを設計する。
さまざまなオブジェクトと解像度を持つ19のモデルで合成された非常に多様なデータセットを収集し、モデルを評価する。
論文 参考訳(メタデータ) (2022-03-26T01:55:37Z) - Reconciliation of Statistical and Spatial Sparsity For Robust Image and
Image-Set Classification [27.319334479994787]
分類のための画像や画像セットデータをモデル化するために,textitJ3Sと呼ばれる新しい統計空間スパース表現を提案する。
本稿では,J3Sモデルに基づく結合スパース符号化問題の解法を提案する。
実験の結果,提案手法はFMD, UIUC, ETH-80, YTCデータベース上での競合手法よりも高い性能を示した。
論文 参考訳(メタデータ) (2021-06-01T06:33:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。