論文の概要: Improving Synthetic Image Detection Towards Generalization: An Image Transformation Perspective
- arxiv url: http://arxiv.org/abs/2408.06741v1
- Date: Tue, 13 Aug 2024 09:01:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 18:07:03.014820
- Title: Improving Synthetic Image Detection Towards Generalization: An Image Transformation Perspective
- Title（参考訳）: 一般化に向けた合成画像検出の改善:画像変換の視点から
- Authors: Ouxiang Li, Jiayin Cai, Yanbin Hao, Xiaolong Jiang, Yao Hu, Fuli Feng,
- Abstract要約: 現在の合成画像検出(SID)パイプラインは、主に普遍的なアーティファクト機能を構築することを目的としている。
3つの簡単な画像変換を持つ軽量かつ効率的な検出器SAFEを提案する。
我々のパイプラインは、新しい最先端のパフォーマンスを実現し、既存の手法に対する平均精度は4.5%、平均精度は2.9%向上した。
- 参考スコア（独自算出の注目度）: 45.210030086193775
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With recent generative models facilitating photo-realistic image synthesis, the proliferation of synthetic images has also engendered certain negative impacts on social platforms, thereby raising an urgent imperative to develop effective detectors. Current synthetic image detection (SID) pipelines are primarily dedicated to crafting universal artifact features, accompanied by an oversight about SID training paradigm. In this paper, we re-examine the SID problem and identify two prevalent biases in current training paradigms, i.e., weakened artifact features and overfitted artifact features. Meanwhile, we discover that the imaging mechanism of synthetic images contributes to heightened local correlations among pixels, suggesting that detectors should be equipped with local awareness. In this light, we propose SAFE, a lightweight and effective detector with three simple image transformations. Firstly, for weakened artifact features, we substitute the down-sampling operator with the crop operator in image pre-processing to help circumvent artifact distortion. Secondly, for overfitted artifact features, we include ColorJitter and RandomRotation as additional data augmentations, to help alleviate irrelevant biases from color discrepancies and semantic differences in limited training samples. Thirdly, for local awareness, we propose a patch-based random masking strategy tailored for SID, forcing the detector to focus on local regions at training. Comparative experiments are conducted on an open-world dataset, comprising synthetic images generated by 26 distinct generative models. Our pipeline achieves a new state-of-the-art performance, with remarkable improvements of 4.5% in accuracy and 2.9% in average precision against existing methods.
- Abstract（参考訳）: 画像合成を容易にする最近の生成モデルにより、合成画像の増殖は社会プラットフォームに一定の負の影響を及ぼし、効果的な検出器を開発するために緊急の衝動を生じさせている。
現在の合成画像検出(SID)パイプラインは、主に、SIDトレーニングパラダイムに関する監視を伴う、普遍的なアーティファクト機能の構築に向けられている。
本稿では、SID問題を再検討し、現在の訓練パラダイムにおける2つの偏り、すなわち、不足したアーティファクト特徴と過度に適合したアーティファクト特徴を同定する。
一方, 合成画像の撮像機構は, 画素間の局所的相関の増大に寄与し, 検出器に局所的認識を組み込むことが示唆された。
本稿では,3つの簡単な画像変換を行う軽量かつ効率的な検出器SAFEを提案する。
まず, 画像前処理において, ダウンサンプリング演算子をクロップ演算子に置き換えて, アーチファクトの歪みを回避する。
第二に、過度に適合したアーティファクト機能には、追加のデータ拡張としてColorJitterとRandomRotationが含まれています。
第3に、局所的な認識のために、SIDに適したパッチベースのランダムマスキング戦略を提案する。
比較実験は、26の異なる生成モデルによって生成された合成画像からなるオープンワールドデータセット上で実施される。
我々のパイプラインは、新しい最先端のパフォーマンスを実現し、既存の手法に対する平均精度は4.5%、平均精度は2.9%向上した。
関連論文リスト
- Understanding and Improving Training-Free AI-Generated Image Detections with Vision Foundation Models [68.90917438865078]
顔合成と編集のためのディープフェイク技術は、生成モデルに重大なリスクをもたらす。
本稿では,モデルバックボーン,タイプ,データセット間で検出性能がどう変化するかを検討する。
本稿では、顔画像のパフォーマンスを向上させるContrastive Blurと、ノイズタイプのバイアスに対処し、ドメイン間のパフォーマンスのバランスをとるMINDERを紹介する。
論文 参考訳（メタデータ） (2024-11-28T13:04:45Z) - Time Step Generating: A Universal Synthesized Deepfake Image Detector [0.4488895231267077]
汎用合成画像検出器 Time Step Generating (TSG) を提案する。
TSGは、事前訓練されたモデルの再構築能力、特定のデータセット、サンプリングアルゴリズムに依存していない。
我々は,提案したTSGを大規模GenImageベンチマークで検証し,精度と一般化性の両方において大幅な改善を実現した。
論文 参考訳（メタデータ） (2024-11-17T09:39:50Z) - DA-HFNet: Progressive Fine-Grained Forgery Image Detection and Localization Based on Dual Attention [12.36906630199689]
DA-HFNet鍛造画像データセットをテキストまたは画像支援GANおよび拡散モデルで作成する。
我々のゴールは、階層的なプログレッシブネットワークを使用して、異なるスケールの偽造物を検出およびローカライゼーションするために捕獲することである。
論文 参考訳（メタデータ） (2024-06-03T16:13:33Z) - Forgery-aware Adaptive Transformer for Generalizable Synthetic Image
Detection [106.39544368711427]
本研究では,様々な生成手法から偽画像を検出することを目的とした,一般化可能な合成画像検出の課題について検討する。
本稿では,FatFormerという新しいフォージェリー適応トランスフォーマー手法を提案する。
提案手法は, 平均98%の精度でGANを観測し, 95%の精度で拡散モデルを解析した。
論文 参考訳（メタデータ） (2023-12-27T17:36:32Z) - Leveraging Neural Radiance Fields for Uncertainty-Aware Visual
Localization [56.95046107046027]
我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。
レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
論文 参考訳（メタデータ） (2023-10-10T20:11:13Z) - Randomize to Generalize: Domain Randomization for Runway FOD Detection [1.4249472316161877]
細い物体検出は、小型化、低解像度化、オクルージョン化、背景クラッタ、照明条件、被写体対画像比の小さいため困難である。
本稿では,SRIA(Synthetic Image Augmentation)の新たな2段階手法を提案する。
検出精度は初期41%からOODテストセットの92%に改善した。
論文 参考訳（メタデータ） (2023-09-23T05:02:31Z) - Generalizable Synthetic Image Detection via Language-guided Contrastive
Learning [22.4158195581231]
偽ニュースの拡散や偽のプロフィールの作成などの合成画像の真偽の使用は、画像の真正性に関する重要な懸念を提起する。
本稿では,言語指導によるコントラスト学習と検出問題の新たな定式化による,シンプルで効果的な合成画像検出手法を提案する。
提案したLanguAge-guided SynThEsis Detection (LASTED) モデルでは,画像生成モデルに対する一般化性が大幅に向上していることが示されている。
論文 参考訳（メタデータ） (2023-05-23T08:13:27Z) - Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。
我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
論文 参考訳（メタデータ） (2023-04-02T10:25:09Z) - Ensembling with Deep Generative Views [72.70801582346344]
生成モデルは、色やポーズの変化などの現実世界の変動を模倣する人工画像の「ビュー」を合成することができる。
そこで本研究では, 画像分類などの下流解析作業において, 実画像に適用できるかどうかを検討する。
StyleGAN2を再生増強の源として使用し、顔の属性、猫の顔、車を含む分類タスクについてこの設定を調査します。
論文 参考訳（メタデータ） (2021-04-29T17:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。