論文の概要: Exploring Unbiased Deepfake Detection via Token-Level Shuffling and Mixing

• arxiv url: http://arxiv.org/abs/2501.04376v1
• Date: Wed, 08 Jan 2025 09:30:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:55:58.324689
• Title: Exploring Unbiased Deepfake Detection via Token-Level Shuffling and Mixing
• Title（参考訳）: Token-Level ShufflingとMixingによる不偏深度検出の探索
• Authors: Xinghe Fu, Zhiyuan Yan, Taiping Yao, Shen Chen, Xi Li,
• Abstract要約: 我々は、検出器が過度に適合する傾向がある2つのバイアス、すなわち位置バイアスとコンテンツバイアスを識別する。 位置バイアスに対して、検出器は画像内の特定の位置によって遅延しがちである。 コンテンツバイアスに関しては、検知器は誤検出に偽造非関連情報を利用する可能性があると論じる。
• 参考スコア（独自算出の注目度）: 22.61113682126067
• License:
• Abstract: The generalization problem is broadly recognized as a critical challenge in detecting deepfakes. Most previous work believes that the generalization gap is caused by the differences among various forgery methods. However, our investigation reveals that the generalization issue can still occur when forgery-irrelevant factors shift. In this work, we identify two biases that detectors may also be prone to overfitting: position bias and content bias, as depicted in Fig. 1. For the position bias, we observe that detectors are prone to lazily depending on the specific positions within an image (e.g., central regions even no forgery). As for content bias, we argue that detectors may potentially and mistakenly utilize forgery-unrelated information for detection (e.g., background, and hair). To intervene these biases, we propose two branches for shuffling and mixing with tokens in the latent space of transformers. For the shuffling branch, we rearrange the tokens and corresponding position embedding for each image while maintaining the local correlation. For the mixing branch, we randomly select and mix the tokens in the latent space between two images with the same label within the mini-batch to recombine the content information. During the learning process, we align the outputs of detectors from different branches in both feature space and logit space. Contrastive losses for features and divergence losses for logits are applied to obtain unbiased feature representation and classifiers. We demonstrate and verify the effectiveness of our method through extensive experiments on widely used evaluation datasets.
• Abstract（参考訳）: 一般化問題はディープフェイクを検出する上で重要な課題として広く認識されている。 これまでの研究の多くは、一般化のギャップは様々な偽造法の違いによって生じると信じている。 しかし, フォージェリー非関連因子が変化しても, 一般化問題が発生する可能性が示唆された。 本研究では,検出器が過度に適合する可能性のある2つのバイアス,すなわち位置バイアスとコンテンツバイアスを図1に示す。 位置バイアスについて、検出器は画像内の特定の位置(例えば、中心領域は偽造もしない)によって遅延しがちである。 コンテンツバイアスに関しては,検出者が偽情報(例えば,背景,毛髪)を誤用する可能性があると論じる。 これらのバイアスを補うために、変圧器の潜伏空間におけるトークンのシャッフルと混合のための2つの分岐を提案する。 シャッフル分岐では,局所相関を維持しつつ,各画像のトークンと対応する位置埋め込みを並べ替える。 混合ブランチでは,2つの画像とミニバッチ内の同一ラベルとをランダムに選択・混合し,コンテンツ情報を再結合する。 学習過程において,特徴空間とロジット空間の両方において,異なる枝からの検出器の出力を整列する。 特徴量に対する相対的損失とロジットのばらつき損失を適用し, 特徴量表現と分類器を得る。 提案手法の有効性を,広く利用されている評価データセットに関する広範な実験を通じて実証し,検証する。

関連論文リスト

• ED$^4$: Explicit Data-level Debiasing for Deepfake Detection [24.695989108814018]
  限られたデータから固有のバイアスを学習することは、一般化可能なディープフェイク検出の失敗の主な原因と考えられている。 データレベルで上記のバイアスに明示的に対処するためのシンプルで効果的な戦略であるED$4$を提示します。 我々は,既存のディープフェイク検出手法よりも有効性と優位性を示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-08-13T10:05:20Z)
• GeneralAD: Anomaly Detection Across Domains by Attending to Distorted Features [68.14842693208465]
  GeneralADは、意味的、ほぼ分布的、産業的設定で動作するように設計された異常検出フレームワークである。 本稿では,ノイズ付加やシャッフルなどの簡単な操作を施した自己教師付き異常生成モジュールを提案する。 提案手法を10のデータセットに対して広範囲に評価し,6つの実験結果と,残りの6つの実験結果を得た。
  論文  参考訳（メタデータ） (2024-07-17T09:27:41Z)
• Transcending Forgery Specificity with Latent Space Augmentation for Generalizable Deepfake Detection [57.646582245834324]
  LSDAと呼ばれる簡易で効果的なディープフェイク検出器を提案する。 より多様な偽の表現は、より一般化可能な決定境界を学べるべきである。 提案手法は驚くほど有効であり, 広く使用されている複数のベンチマークで最先端の検出器を超越することを示す。
  論文  参考訳（メタデータ） (2023-11-19T09:41:10Z)
• Is Probing All You Need? Indicator Tasks as an Alternative to Probing Embedding Spaces [19.4968960182412]
  本研究では, 学習不能なタスクに対して, 特定の特性が存在する場合の埋め込み空間を問合せする「指示タスク」という用語を導入する。 適切な指標を適用すれば、プローブと比較して、取得・削除された情報のより正確な画像が得られることを示す。
  論文  参考訳（メタデータ） (2023-10-24T15:08:12Z)
• Spatial-Frequency Discriminability for Revealing Adversarial Perturbations [53.279716307171604]
  敵の摂動に対するディープニューラルネットワークの脆弱性は、コンピュータビジョンコミュニティで広く認識されている。 現在のアルゴリズムは、通常、自然および敵対的なデータの識別的分解を通じて、敵のパターンを検出する。 空間周波数Krawtchouk分解に基づく識別検出器を提案する。
  論文  参考訳（メタデータ） (2023-05-18T10:18:59Z)
• Ambiguity-Resistant Semi-Supervised Learning for Dense Object Detection [98.66771688028426]
  本研究では,一段階検出器のためのAmbiguity-Resistant Semi-supervised Learning (ARSL)を提案する。 擬似ラベルの分類とローカライズ品質を定量化するために,JCE(Joint-Confidence Estimation)を提案する。 ARSLは、曖昧さを効果的に軽減し、MS COCOおよびPASCALVOC上で最先端のSSOD性能を達成する。
  論文  参考訳（メタデータ） (2023-03-27T07:46:58Z)
• The Treasure Beneath Multiple Annotations: An Uncertainty-aware Edge Detector [70.43599299422813]
  既存のメソッドは、単純な投票プロセスを使用して複数のアノテーションを融合し、エッジ固有の曖昧さを無視し、アノテータのラベル付けバイアスを無視する。 多様なアノテーションの主観性とあいまいさを調査するために不確実性を利用した新しい不確実性認識エッジ検出器(UAED)を提案する。 UAEDは複数のエッジ検出ベンチマークで一貫したパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-03-21T13:14:36Z)
• Causal Transportability for Visual Recognition [70.13627281087325]
  画像とラベルの関連性は、設定間では転送できないため、標準分類器がフェールすることを示す。 次に、すべての共起源を摂食する因果効果が、ドメイン間で不変であることを示す。 これにより、画像分類における因果効果を推定するアルゴリズムを開発する動機付けとなる。
  論文  参考訳（メタデータ） (2022-04-26T15:02:11Z)
• MC-LCR: Multi-modal contrastive classification by locally correlated representations for effective face forgery detection [11.124150983521158]
  局所的関連表現を用いたマルチモーダルコントラスト分類法を提案する。 我々のMC-LCRは、空間領域と周波数領域の両方から真偽顔と偽顔の暗黙の局所的不一致を増幅することを目的としている。 我々は最先端の性能を達成し,本手法の堅牢性と一般化を実証する。
  論文  参考訳（メタデータ） (2021-10-07T09:24:12Z)
• Partial Wasserstein and Maximum Mean Discrepancy distances for bridging the gap between outlier detection and drift detection [0.0]
  監視の重要な側面は、入力が検証されたディストリビューションから逸脱したかどうかを確認することである。 我々は、与えられた入力数を基準分布の自動的に選択された部分と比較することにより、外乱検出とドリフト検出のギャップを埋める。
  論文  参考訳（メタデータ） (2021-06-09T18:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。