論文の概要: Rethinking the Up-Sampling Operations in CNN-based Generative Network
for Generalizable Deepfake Detection
- arxiv url: http://arxiv.org/abs/2312.10461v2
- Date: Wed, 20 Dec 2023 07:27:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 12:36:58.241729
- Title: Rethinking the Up-Sampling Operations in CNN-based Generative Network
for Generalizable Deepfake Detection
- Title（参考訳）: 一般化可能なディープフェイク検出のためのCNN生成ネットワークにおけるアップサンプリング動作の再考
- Authors: Chuangchuang Tan, Huan Liu, Yao Zhao, Shikui Wei, Guanghua Gu, Ping
Liu, Yunchao Wei
- Abstract要約: 我々は、アップサンプリング操作から生じる一般化された構造的アーティファクトをキャプチャし、特徴付ける手段として、NPR(Neighboring Pixel Relationships)の概念を紹介した。
tft28の異なる生成モデルによって生成されたサンプルを含む、オープンワールドデータセット上で包括的な分析を行う。
この分析は、新しい最先端のパフォーマンスを確立し、既存の手法よりも優れたtft11.6%の向上を示している。
- 参考スコア（独自算出の注目度）: 86.97062579515833
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the proliferation of highly realistic synthetic images, facilitated
through a variety of GANs and Diffusions, has significantly heightened the
susceptibility to misuse. While the primary focus of deepfake detection has
traditionally centered on the design of detection algorithms, an investigative
inquiry into the generator architectures has remained conspicuously absent in
recent years. This paper contributes to this lacuna by rethinking the
architectures of CNN-based generators, thereby establishing a generalized
representation of synthetic artifacts. Our findings illuminate that the
up-sampling operator can, beyond frequency-based artifacts, produce generalized
forgery artifacts. In particular, the local interdependence among image pixels
caused by upsampling operators is significantly demonstrated in synthetic
images generated by GAN or diffusion. Building upon this observation, we
introduce the concept of Neighboring Pixel Relationships(NPR) as a means to
capture and characterize the generalized structural artifacts stemming from
up-sampling operations. A comprehensive analysis is conducted on an open-world
dataset, comprising samples generated by \tft{28 distinct generative models}.
This analysis culminates in the establishment of a novel state-of-the-art
performance, showcasing a remarkable \tft{11.6\%} improvement over existing
methods. The code is available at
https://github.com/chuangchuangtan/NPR-DeepfakeDetection.
- Abstract（参考訳）: 近年,様々なGANや拡散によって促進される高度にリアルな合成画像の拡散は,誤用に対する感受性を著しく高めている。
ディープフェイク検出の主な焦点は、従来は検出アルゴリズムの設計に集中していたが、ジェネレータアーキテクチャに関する調査は、近年は顕著に欠落している。
本稿では,cnn ベースの生成器のアーキテクチャを再考し,合成アーティファクトの一般化表現を確立した。
以上の結果から,アップサンプリングオペレータは,頻度に基づくアーティファクト以外にも,汎用的な偽造アーティファクトを生成できることが明らかとなった。
特に、アップサンプリング演算子による画像画素間の局所的相互依存性は、GANまたは拡散によって生成された合成画像において顕著に示される。
そこで本研究では,近傍画素関係(npr)の概念を,アップサンプリング操作から生じる一般化された構造的アーティファクトを捉え,特徴付ける手法として導入する。
包括的分析はオープンワールドデータセット上で行われ、これは \tft{28 distinct generative model} によって生成されたサンプルからなる。
この分析は,従来の手法よりも顕著な<tft{11.6\%}改善を示す,新しい最先端性能の確立に寄与する。
コードはhttps://github.com/chuangchuangtan/npr-deepfakedetectionで入手できる。
関連論文リスト
- Contrasting Deepfakes Diffusion via Contrastive Learning and Global-Local Similarities [88.398085358514]
Contrastive Deepfake Embeddings (CoDE)は、ディープフェイク検出に特化した新しい埋め込み空間である。
CoDEは、グローバルローカルな類似性をさらに強化することで、対照的な学習を通じて訓練される。
論文 参考訳（メタデータ） (2024-07-29T18:00:10Z) - GenFace: A Large-Scale Fine-Grained Face Forgery Benchmark and Cross Appearance-Edge Learning [50.7702397913573]
フォトリアリスティック・ジェネレータの急速な進歩は、真の画像と操作された画像の相違がますます不明瞭になっている臨界点に達している。
公開されている顔の偽造データセットはいくつかあるが、偽造顔は主にGANベースの合成技術を用いて生成される。
我々は,大規模で多様できめ細かな高忠実度データセットであるGenFaceを提案し,ディープフェイク検出の進展を促進する。
論文 参考訳（メタデータ） (2024-02-03T03:13:50Z) - DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。
画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。
MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2023-12-11T18:38:28Z) - Diffusion Noise Feature: Accurate and Fast Generated Image Detection [28.262273539251172]
生成モデルは、驚くほどリアルなイメージを生成できる先進的な段階に達している。
生成された画像に対する既存の画像検出器は、低精度や限定的な一般化といった課題に直面している。
本稿では,生成画像の検出能力を高めるために,強力な一般化機能を備えた表現を求めることにより,この問題に対処する。
論文 参考訳（メタデータ） (2023-12-05T10:01:11Z) - Perceptual Artifacts Localization for Image Synthesis Tasks [59.638307505334076]
我々は10,168個の画像からなる新しいデータセットを導入し,それぞれに知覚的アーティファクトラベルを付加した。
提案したデータセットに基づいてトレーニングされたセグメンテーションモデルは、さまざまなタスクにまたがるアーティファクトを効果的にローカライズする。
生成した画像の知覚的アーティファクトをシームレスに修正する,革新的なズームイン・インペインティングパイプラインを提案する。
論文 参考訳（メタデータ） (2023-10-09T10:22:08Z) - Beyond the Spectrum: Detecting Deepfakes via Re-Synthesis [69.09526348527203]
ディープフェイク(Deepfakes)として知られる非常に現実的なメディアは、現実の目から人間の目まで区別できない。
本研究では,テスト画像を再合成し,検出のための視覚的手がかりを抽出する,新しい偽検出手法を提案する。
種々の検出シナリオにおいて,提案手法の摂動に対する有効性の向上,GANの一般化,堅牢性を示す。
論文 参考訳（メタデータ） (2021-05-29T21:22:24Z) - Fighting deepfakes by detecting GAN DCT anomalies [0.0]
最先端アルゴリズムはディープニューラルネットワークを使って偽のコンテンツを検出する。
ディープフェイク画像の高精度判別が可能な新しい高速検出法を提案する。
この手法は革新的であり、最先端技術を超え、説明可能性の観点から多くの洞察を与えている。
論文 参考訳（メタデータ） (2021-01-24T19:45:11Z) - DeepFake Detection by Analyzing Convolutional Traces [0.0]
我々は,人間の顔のディープフェイクの分析に着目し,新しい検出方法を提案する。
提案手法は, 予測最大化(EM)アルゴリズムを用いて, 基礎となる畳み込み生成過程をモデル化するための局所的特徴の集合を抽出する。
その結果、異なるアーキテクチャと対応する生成過程を区別する手法の有効性が示された。
論文 参考訳（メタデータ） (2020-04-22T09:02:55Z) - Leveraging Frequency Analysis for Deep Fake Image Recognition [35.1862941141084]
ディープニューラルネットワークは驚くべきほどリアルな画像を生成することができるため、人間が実際の写真と区別するのはしばしば困難である。
これらの成果は主にGAN(Generative Adversarial Networks)によって実現されている。
本稿では、周波数空間において、GAN生成した画像は、容易に識別できる重いアーティファクトを示すことを示す。
論文 参考訳（メタデータ） (2020-03-19T11:06:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。