論文の概要: Rethinking Gradient Operator for Exposing AI-enabled Face Forgeries
- arxiv url: http://arxiv.org/abs/2205.00767v1
- Date: Mon, 2 May 2022 09:28:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-03 15:14:16.982213
- Title: Rethinking Gradient Operator for Exposing AI-enabled Face Forgeries
- Title（参考訳）: AI対応顔偽造のグラディエント演算子再考
- Authors: Zhiqing Guo, Gaobo Yang, Dengyong Zhang and Ming Xia
- Abstract要約: 畳み込みニューラルネットワーク(CNN)は、微妙な操作トレースではなく、コンテンツの特徴を学習する傾向がある。
本研究では,顔偽造を暴露するグラデーション演算子の利点を再考し,勾配演算子とCNNを組み合わせることによって2つのプラグ・アンド・プレイモジュールを設計する。
実験により、提案したネットワークは、5つの公開データセットの以前の作業よりも優れた結果が得られることが示された。
- 参考スコア（独自算出の注目度）: 7.537748277911945
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For image forensics, convolutional neural networks (CNNs) tend to learn
content features rather than subtle manipulation traces, which limits forensic
performance. Existing methods predominantly solve the above challenges by
following a general pipeline, that is, subtracting the original pixel value
from the predicted pixel value to make CNNs pay attention to the manipulation
traces. However, due to the complicated learning mechanism, these methods may
bring some unnecessary performance losses. In this work, we rethink the
advantages of gradient operator in exposing face forgery, and design two
plug-and-play modules by combining gradient operator with CNNs, namely tensor
pre-processing (TP) and manipulation trace attention (MTA) module.
Specifically, TP module refines the feature tensor of each channel in the
network by gradient operator to highlight the manipulation traces and improve
the feature representation. Moreover, MTA module considers two dimensions,
namely channel and manipulation traces, to force the network to learn the
distribution of manipulation traces. These two modules can be seamlessly
integrated into CNNs for end-to-end training. Experiments show that the
proposed network achieves better results than prior works on five public
datasets. Especially, TP module greatly improves the accuracy by at least 4.60%
compared with the existing pre-processing module only via simple tensor
refinement. The code is available at:
https://github.com/EricGzq/GocNet-pytorch.
- Abstract（参考訳）: 画像法医学では、畳み込みニューラルネットワーク(CNN)は微妙な修正トレースではなく、コンテンツの特徴を学習する傾向がある。
既存の手法では、予測されたピクセル値から元のピクセル値を差し引いてcnnに操作トレースに注意を向けさせることで、上記の課題を主に解決している。
しかし、複雑な学習メカニズムのため、これらの手法は不要な性能損失をもたらす可能性がある。
本研究では,顔偽造を暴露する際の勾配演算子の利点を再考し,勾配演算子とCNN,すなわちテンソル前処理(TP)と操作トレースアテンション(MTA)モジュールを組み合わせた2つのプラグ・アンド・プレイモジュールを設計する。
具体的には、tpモジュールは、グラデーション演算子によってネットワーク内の各チャネルの特徴テンソルを洗練し、操作トレースを強調し、特徴表現を改善する。
さらに、MTAモジュールはチャネルと操作トレースという2つの次元を考慮し、ネットワークに操作トレースの分布を学習させる。
これら2つのモジュールは、エンドツーエンドのトレーニングのためにCNNにシームレスに統合できる。
実験の結果,提案ネットワークは5つの公開データセットにおける先行研究よりも優れた結果が得られることがわかった。
特にTPモジュールは、単純なテンソルリファインメントのみで既存の前処理モジュールに比べて、少なくとも4.60%精度が大幅に向上する。
コードはhttps://github.com/EricGzq/GocNet-pytorch.comで公開されている。
関連論文リスト
- A Noise and Edge extraction-based dual-branch method for Shallowfake and Deepfake Localization [15.647035299476894]
従来のCNN機能と手動で設計した特徴雑音を統合したデュアルブランチモデルを開発した。
このモデルは比較において優れており、既存の最先端モデル(SoTA)よりも容易に優れている。
論文 参考訳（メタデータ） (2024-09-02T02:18:34Z) - Reusing Convolutional Neural Network Models through Modularization and
Composition [22.823870645316397]
我々はCNNSplitterとGradSplitterという2つのモジュール化手法を提案する。
CNNSplitterは、トレーニングされた畳み込みニューラルネットワーク(CNN)モデルを、小さな再利用可能なモジュールとして$N$に分解する。
生成されたモジュールは、既存のCNNモデルにパッチを当てたり、コンポジションを通じて新しいCNNモデルを構築するために再利用することができる。
論文 参考訳（メタデータ） (2023-11-08T03:18:49Z) - SwinV2DNet: Pyramid and Self-Supervision Compounded Feature Learning for
Remote Sensing Images Change Detection [12.727650696327878]
本稿では,変換器とCNNの利点を継承するために,エンドツーエンドの複合ネットワークSwinV2DNetを提案する。
これは、密に接続されたSwin V2バックボーンを通じて、変更関係の機能をキャプチャする。
CNNブランチを通じて、低レベルの事前変更と後変更の機能を提供する。
論文 参考訳（メタデータ） (2023-08-22T03:31:52Z) - Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。
効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。
実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
論文 参考訳（メタデータ） (2023-07-20T16:00:19Z) - Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。
我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。
提案するフレームワークは,合理的な性能で高い効率性を示す。
論文 参考訳（メタデータ） (2023-04-20T07:21:32Z) - Attention-based Feature Compression for CNN Inference Offloading in Edge
Computing [93.67044879636093]
本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。
エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。
実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
論文 参考訳（メタデータ） (2022-11-24T18:10:01Z) - Interpretations Steered Network Pruning via Amortized Inferred Saliency
Maps [85.49020931411825]
限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。
本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。
本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
論文 参考訳（メタデータ） (2022-09-07T01:12:11Z) - QNNVerifier: A Tool for Verifying Neural Networks using SMT-Based Model
Checking [2.140126541785805]
QNNVerifierは、ニューラルネットワークの実装を検証する最初のオープンソースツールである。
これは、ニューラルネットワークの実装を、満足度変調理論(SMT)に基づく一階述語論理の決定可能な断片に変換する。
これにより、安否確認プロパティを指定し、異なる検証戦略で結果のモデルを検証することができる。
論文 参考訳（メタデータ） (2021-11-25T14:55:40Z) - The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。
本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
論文 参考訳（メタデータ） (2021-01-29T07:46:39Z) - Multichannel CNN with Attention for Text Classification [5.1545224296246275]
本稿では,テキスト分類のための注意型マルチチャネル畳み込みニューラルネットワーク(AMCNN)を提案する。
AMCNNは、単語の歴史と将来の情報を高次元表現にエンコードするために双方向長短期記憶を使用する。
ベンチマークデータセットの実験結果は、AMCNNが最先端の手法よりも優れたパフォーマンスを達成していることを示している。
論文 参考訳（メタデータ） (2020-06-29T16:37:51Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。