論文の概要: TruFor: Leveraging all-round clues for trustworthy image forgery
detection and localization
- arxiv url: http://arxiv.org/abs/2212.10957v3
- Date: Thu, 25 May 2023 20:59:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 22:50:04.117159
- Title: TruFor: Leveraging all-round clues for trustworthy image forgery
detection and localization
- Title（参考訳）: TruFor: 信頼できる画像偽造検出とローカライゼーションのための全周手がかりを活用する
- Authors: Fabrizio Guillaro and Davide Cozzolino and Avneesh Sud and Nicholas
Dufour and Luisa Verdoliva
- Abstract要約: TruForは、さまざまなイメージ操作方法に適用可能な、法医学的なフレームワークである。
変換器をベースとした融合アーキテクチャにより,高レベルのトレースと低レベルのトレースの両方を抽出する。
当社の手法は,安価なフェイクとディープフェイク操作の両方を確実に検出し,ローカライズすることができる。
- 参考スコア（独自算出の注目度）: 17.270110456445806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper we present TruFor, a forensic framework that can be applied to
a large variety of image manipulation methods, from classic cheapfakes to more
recent manipulations based on deep learning. We rely on the extraction of both
high-level and low-level traces through a transformer-based fusion architecture
that combines the RGB image and a learned noise-sensitive fingerprint. The
latter learns to embed the artifacts related to the camera internal and
external processing by training only on real data in a self-supervised manner.
Forgeries are detected as deviations from the expected regular pattern that
characterizes each pristine image. Looking for anomalies makes the approach
able to robustly detect a variety of local manipulations, ensuring
generalization. In addition to a pixel-level localization map and a whole-image
integrity score, our approach outputs a reliability map that highlights areas
where localization predictions may be error-prone. This is particularly
important in forensic applications in order to reduce false alarms and allow
for a large scale analysis. Extensive experiments on several datasets show that
our method is able to reliably detect and localize both cheapfakes and
deepfakes manipulations outperforming state-of-the-art works. Code is publicly
available at https://grip-unina.github.io/TruFor/
- Abstract（参考訳）: 本稿では,従来のチープフェイクから深層学習に基づくより最近の操作まで,多種多様な画像操作法に適用可能な法医学的枠組みであるtruforを提案する。
我々は、RGB画像と学習されたノイズ感度指紋を組み合わせたトランスフォーマーベースの融合アーキテクチャにより、高レベルのトレースと低レベルのトレースの両方を抽出する。
後者は、実際のデータのみを自己管理的にトレーニングすることで、カメラの内部および外部処理に関連するアーティファクトを埋め込むことを学ぶ。
ファジトリーは、各プリスタンイメージを特徴付ける期待される正規パターンから逸脱として検出される。
異常を探すことで、さまざまなローカル操作を堅牢に検出し、一般化を確実にすることができる。
画素レベルのローカライゼーションマップと全画像整合性スコアに加えて,本手法では,ローカライズ予測がエラーを起こしやすい領域をハイライトする信頼性マップを出力する。
これは、誤報を減らし、大規模な分析を可能にするために、法医学的な応用において特に重要である。
いくつかのデータセットに対する大規模な実験により、我々の手法は、安価なフェイクとディープフェイク操作の両方を確実に検出し、ローカライズすることができ、最先端の作業より優れていることが示されている。
コードはhttps://grip-unina.github.io/TruFor/で公開されている。
関連論文リスト
- DeCLIP: Decoding CLIP representations for deepfake localization [4.04729645587678]
DeCLIPは、局所的な操作を検出するために、大規模な事前学習機能を活用する最初の試みである。
合理的に大きな畳み込みデコーダと組み合わせることで、事前学習された自己教師付き表現がローカライズを行うことができることを示す。
従来の研究とは異なり、我々の手法は潜在拡散モデルの挑戦的な場合において局所化を行うことができる。
論文 参考訳（メタデータ） (2024-09-12T17:59:08Z) - FSBI: Deepfakes Detection with Frequency Enhanced Self-Blended Images [17.707379977847026]
本稿では、ディープフェイク検出のための周波数強調自己ブレンド画像手法を提案する。
提案手法はFF++とCeleb-DFデータセットで評価されている。
論文 参考訳（メタデータ） (2024-06-12T20:15:00Z) - Weakly-supervised deepfake localization in diffusion-generated images [4.548755617115687]
本稿では,Xception ネットワークをバックボーンアーキテクチャとして用いた弱教師付きローカライズ問題を提案する。
本研究では,(局所スコアに基づく)最良動作検出法は,データセットやジェネレータのミスマッチよりも,より緩やかな監視に敏感であることを示す。
論文 参考訳（メタデータ） (2023-11-08T10:27:36Z) - Towards Effective Image Manipulation Detection with Proposal Contrastive
Learning [61.5469708038966]
本稿では,効果的な画像操作検出のためのコントラスト学習(PCL)を提案する。
我々のPCLは、RGBとノイズビューから2種類のグローバル特徴を抽出し、2ストリームアーキテクチャで構成されている。
我々のPCLは、実際にラベル付けされていないデータに容易に適用でき、手作業によるラベル付けコストを削減し、より一般化可能な機能を促進することができる。
論文 参考訳（メタデータ） (2022-10-16T13:30:13Z) - Deep Convolutional Pooling Transformer for Deepfake Detection [54.10864860009834]
本研究では,局所的・グローバル的に決定的な画像特徴を取り入れた深部畳み込み変換器を提案する。
具体的には,抽出した特徴を充実させ,有効性を高めるために,畳み込みプーリングと再アテンションを適用した。
提案手法は、内部実験と相互データセット実験の両方において、最先端のベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2022-09-12T15:05:41Z) - Delving into Sequential Patches for Deepfake Detection [64.19468088546743]
近年の顔偽造技術は、ほとんど追跡不可能なディープフェイクビデオを生み出しており、悪意のある意図で活用することができる。
従来の研究では、ディープフェイク法にまたがる一般化を追求する上で、局所的な低レベルな手がかりと時間的情報の重要性が指摘されてきた。
本稿では,局所的・時間的変換をベースとしたDeepfake Detectionフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-06T16:46:30Z) - ObjectFormer for Image Manipulation Detection and Localization [118.89882740099137]
画像操作の検出とローカライズを行うObjectFormerを提案する。
画像の高周波特徴を抽出し,マルチモーダルパッチの埋め込みとしてRGB特徴と組み合わせる。
各種データセットについて広範な実験を行い,提案手法の有効性を検証した。
論文 参考訳（メタデータ） (2022-03-28T12:27:34Z) - Noise Doesn't Lie: Towards Universal Detection of Deep Inpainting [42.189768203036394]
本研究は, ディープ・インパインティングの普遍的検出に向けた最初の試みであり, 検出ネットワークの一般化を図っている。
提案手法は,既存の検出手法を大きなマージンで上回り,未確認の深層塗膜技術に最適化する。
論文 参考訳（メタデータ） (2021-06-03T01:29:29Z) - Identifying Invariant Texture Violation for Robust Deepfake Detection [17.306386179823576]
Invariant Texture Learning frameworkは,低画質で公開されたデータセットにのみアクセスすることができる。
本手法は, 被写体から転写したテクスチャによって, 被写体表面の微視的顔のテクスチャが必然的に侵害されることを前提とした。
論文 参考訳（メタデータ） (2020-12-19T03:02:15Z) - Unsupervised Metric Relocalization Using Transform Consistency Loss [66.19479868638925]
メートル法再ローカライズを行うためのトレーニングネットワークは、従来、正確な画像対応が必要である。
地図内のクエリ画像のローカライズは、登録に使用される参照画像に関係なく、同じ絶対的なポーズを与えるべきである。
提案手法は, 限られた地下構造情報が得られる場合に, 他の教師あり手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-11-01T19:24:27Z) - What makes fake images detectable? Understanding properties that
generalize [55.4211069143719]
深層ネットワークは、博士画像の微妙なアーティファクトを拾い上げることができる。
我々は、偽画像のどの特性が検出可能かを理解することを模索する。
検出可能な特性を誇張する手法を示す。
論文 参考訳（メタデータ） (2020-08-24T17:50:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。