論文の概要: GLFF: Global and Local Feature Fusion for Face Forgery Detection

• arxiv url: http://arxiv.org/abs/2211.08615v1
• Date: Wed, 16 Nov 2022 02:03:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 15:21:21.894283
• Title: GLFF: Global and Local Feature Fusion for Face Forgery Detection
• Title（参考訳）: GLFF:顔偽造検出のためのグローバル・ローカル機能融合
• Authors: Yan Ju, Shan Jia, Jialing Cai, Haiying Guan, Siwei Lyu
• Abstract要約: 顔偽造検出のための情報パッチから,多大のグローバル特徴と改良されたローカル特徴を組み合わせることで,リッチで差別的な表現を学習するためのグローバル・ローカル特徴融合(GLFF)を提案する。 GLFFは2つのブランチから情報を抽出する。グローバルブランチはマルチスケールのセマンティック特徴を抽出し、ローカルブランチは詳細なローカルアーティファクト抽出のための情報パッチを選択する。 DeepFakeFaceForensics (DF$3$)という,6つの最先端世代モデルとさまざまな種類の顔フォージェリデータセットを新たに作成する。
• 参考スコア（独自算出の注目度）: 29.60351736435313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid development of the deep generative models (such as Generative Adversarial Networks and Auto-encoders), AI-synthesized images of human face are now of such high qualities that humans can hardly distinguish them from pristine ones. Although existing detection methods have shown high performance in specific evaluation settings, e.g., on images from seen models or on images without real-world post-processings, they tend to suffer serious performance degradation in real-world scenarios where testing images can be generated by more powerful generation models or combined with various post-processing operations. To address this issue, we propose a Global and Local Feature Fusion (GLFF) to learn rich and discriminative representations by combining multi-scale global features from the whole image with refined local features from informative patches for face forgery detection. GLFF fuses information from two branches: global branch to extract multi-scale semantic features and local branch to select informative patches for detailed local artifacts extraction. Due to the lack of face forgery dataset simulating real-world applications for evaluation, we further create a challenging face forgery dataset, named DeepFakeFaceForensics (DF$^3$), which contains 6 state-of-the-art generation models and a variety of post-processing techniques to approach the real-world scenarios. Experimental results demonstrate the superiority of our method to the state-of-the-art methods on the proposed DF^3 dataset and three other open-source datasets.
• Abstract（参考訳）: 深層生成モデル(ジェネレーティブ・アドバイサル・ネットワークやオート・エンコーダなど)の急速な発展に伴い、人間の顔のAI合成画像は質の高いものとなり、人間が原始的画像と区別することがほとんどなくなった。 既存の検出手法は、例えば実世界のポストプロセッシングなしで見たモデルや画像の特定の評価設定で高い性能を示してきたが、より強力な世代モデルや様々なポストプロセッシング操作によってテスト画像が生成される現実のシナリオでは、深刻なパフォーマンス劣化に悩まされる傾向にある。 そこで本研究では,画像全体から多スケールのグローバル特徴と,顔偽造検出のための情報パッチから洗練された局所特徴を組み合わせることで,リッチで判別的な表現を学習するグローバル・ローカル特徴融合(glff)を提案する。 GLFFはグローバルブランチとローカルブランチの2つのブランチから情報を抽出し、詳細なローカルアーティファクト抽出のための情報パッチを選択する。 実世界のアプリケーションをシミュレートして評価するface forgeryデータセットが不足しているため、deepfakefaceforensics(df$^3$)という、挑戦的なface forgeryデータセットを作成します。 実験により,提案したDF^3データセットおよび他の3つのオープンソースデータセットの最先端手法に対する本手法の優位性を示した。

関連論文リスト

• MFCLIP: Multi-modal Fine-grained CLIP for Generalizable Diffusion Face Forgery Detection [64.29452783056253]
  フォトリアリスティック・フェイスジェネレーション手法の急速な発展は、社会やアカデミックにおいて大きな関心を集めている。 既存のアプローチは主に画像モダリティを用いて顔の偽造パターンをキャプチャするが、きめ細かいノイズやテキストのような他のモダリティは完全には探索されていない。 そこで本研究では,画像ノイズの多点にわたる包括的かつきめ細かなフォージェリートレースをマイニングする,MFCLIP(MF-modal Fine-fine-fine-fine-fine-fine CLIP)モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-15T13:08:59Z)
• Swin Transformer for Robust Differentiation of Real and Synthetic Images: Intra- and Inter-Dataset Analysis [0.0]
  本研究では,自然画像と合成画像の正確な識別のためのSwin Transformerモデルを提案する。 モデルの性能は、3つの異なるデータセットにわたるデータセット内およびデータセット間テストによって評価された。
  論文  参考訳（メタデータ） (2024-09-07T06:43:17Z)
• Detecting the Undetectable: Combining Kolmogorov-Arnold Networks and MLP for AI-Generated Image Detection [0.0]
  本稿では,最先端な生成AIモデルによって生成された画像の堅牢な識別が可能な,新しい検出フレームワークを提案する。 従来の多層パーセプトロン(MLP)とセマンティックイメージ埋め込みを統合した分類システムを提案する。
  論文  参考訳（メタデータ） (2024-08-18T06:00:36Z)
• Contrasting Deepfakes Diffusion via Contrastive Learning and Global-Local Similarities [88.398085358514]
  Contrastive Deepfake Embeddings (CoDE)は、ディープフェイク検出に特化した新しい埋め込み空間である。 CoDEは、グローバルローカルな類似性をさらに強化することで、対照的な学習を通じて訓練される。
  論文  参考訳（メタデータ） (2024-07-29T18:00:10Z)
• GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross Appearance-Edge Learning [50.7702397913573]
  フォトリアリスティック・ジェネレータの急速な進歩は、真の画像と操作された画像の相違がますます不明瞭になっている臨界点に達している。 公開されている顔の偽造データセットはいくつかあるが、偽造顔は主にGANベースの合成技術を用いて生成される。 我々は,大規模で多様できめ細かな高忠実度データセットであるGenFaceを提案し,ディープフェイク検出の進展を促進する。
  論文  参考訳（メタデータ） (2024-02-03T03:13:50Z)
• DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
  本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。 画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。 MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2023-12-11T18:38:28Z)
• Pixel-Inconsistency Modeling for Image Manipulation Localization [59.968362815126326]
  デジタル画像法医学は、画像認証と操作のローカライゼーションにおいて重要な役割を果たす。 本稿では,画素不整合アーチファクトの解析を通じて,一般化されたロバストな操作ローカライゼーションモデルを提案する。 実験により,本手法は固有の画素不整合偽指紋を抽出することに成功した。
  論文  参考訳（メタデータ） (2023-09-30T02:54:51Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• Fusing Global and Local Features for Generalized AI-Synthesized Image Detection [31.35052580048599]
  画像全体からのグローバル空間情報と,新しいパッチ選択モジュールによって選択されたパッチからの局所的な情報的特徴を結合する2分岐モデルを設計する。 さまざまなオブジェクトと解像度を持つ19のモデルで合成された非常に多様なデータセットを収集し、モデルを評価する。
  論文  参考訳（メタデータ） (2022-03-26T01:55:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。