論文の概要: Deepfake Detection via Joint Unsupervised Reconstruction and Supervised Classification

• arxiv url: http://arxiv.org/abs/2211.13424v1
• Date: Thu, 24 Nov 2022 05:44:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 16:28:06.451766
• Title: Deepfake Detection via Joint Unsupervised Reconstruction and Supervised Classification
• Title（参考訳）: 統合的教師なし再建と教師付き分類によるディープフェイク検出
• Authors: Bosheng Yan, Xuequan Lu, Chang-Tsun Li
• Abstract要約: 本稿では,再建作業と分類作業を同時に行うディープフェイク検出手法を提案する。 この方法は、あるタスクによって学習された情報を他のタスクと共有する。 提案手法は,一般的に使用されている3つのデータセットに対して,最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 25.84902508816679
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has enabled realistic face manipulation (i.e., deepfake), which poses significant concerns over the integrity of the media in circulation. Most existing deep learning techniques for deepfake detection can achieve promising performance in the intra-dataset evaluation setting (i.e., training and testing on the same dataset), but are unable to perform satisfactorily in the inter-dataset evaluation setting (i.e., training on one dataset and testing on another). Most of the previous methods use the backbone network to extract global features for making predictions and only employ binary supervision (i.e., indicating whether the training instances are fake or authentic) to train the network. Classification merely based on the learning of global features leads often leads to weak generalizability to unseen manipulation methods. In addition, the reconstruction task can improve the learned representations. In this paper, we introduce a novel approach for deepfake detection, which considers the reconstruction and classification tasks simultaneously to address these problems. This method shares the information learned by one task with the other, which focuses on a different aspect other existing works rarely consider and hence boosts the overall performance. In particular, we design a two-branch Convolutional AutoEncoder (CAE), in which the Convolutional Encoder used to compress the feature map into the latent representation is shared by both branches. Then the latent representation of the input data is fed to a simple classifier and the unsupervised reconstruction component simultaneously. Our network is trained end-to-end. Experiments demonstrate that our method achieves state-of-the-art performance on three commonly-used datasets, particularly in the cross-dataset evaluation setting.
• Abstract（参考訳）: 深層学習は現実的な顔操作(ディープフェイク)を可能にし、循環中のメディアの整合性に重大な懸念をもたらす。 ディープフェイク検出のための多くの既存のディープラーニング技術は、データセット内評価設定(例えば、同じデータセット上でのトレーニングとテスト)で有望なパフォーマンスを達成することができるが、データセット間評価設定(例えば、あるデータセット上でのトレーニングと別のデータセットでのテスト)では満足に実行できない。 以前の手法のほとんどは、バックボーンネットワークを使用して予測を行うグローバルな特徴を抽出し、トレーニングインスタンスが偽か本物かを示すバイナリ監視のみを使用してネットワークをトレーニングしている。 単にグローバル特徴の学習に基づく分類は、しばしば見当たらない操作方法に対する弱い一般化に繋がる。 また、復元作業は、学習表現を改善することができる。 本稿では,これらの問題に対処するための再構築と分類タスクを同時に検討するディープフェイク検出手法を提案する。 この方法は、あるタスクによって学習された情報を他のタスクと共有し、既存の作業がほとんど考慮しない異なる側面に焦点をあてることで、全体的なパフォーマンスが向上する。 特に,2分岐の畳み込み自動エンコーダ(CAE)を設計し,特徴写像を潜在表現に圧縮するために使用する畳み込み型エンコーダを両ブランチで共有する。 そして、入力データの潜在表現を単純な分類器と教師なし再構成部品に同時に供給する。 私たちのネットワークはエンドツーエンドでトレーニングされています。 実験により,本手法は一般的に使用されている3つのデータセット,特にクロスデータセット評価設定において,最先端の性能を実現することを示す。

関連論文リスト

• Enhancing Hyperspectral Image Prediction with Contrastive Learning in Low-Label Regime [0.810304644344495]
  自己教師付きコントラスト学習は、限られたラベル付きデータの課題に対処するための効果的なアプローチである。 単一ラベルと複数ラベルの分類タスクに対して,本手法の性能を評価する。
  論文  参考訳（メタデータ） (2024-10-10T10:20:16Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
  本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。 中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。 直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
  論文  参考訳（メタデータ） (2022-12-12T13:10:19Z)
• Self-Supervised Visual Place Recognition by Mining Temporal and Feature Neighborhoods [17.852415436033436]
  時空間近傍と学習可能な特徴近傍を用いて未知空間近傍を探索するtextitTF-VPR という新しいフレームワークを提案する。 提案手法は,(1)データ拡張による表現学習,(2)現在の特徴空間を含む正の集合拡大,(3)幾何的検証による正の集合収縮を交互に行う。
  論文  参考訳（メタデータ） (2022-08-19T12:59:46Z)
• PARTICUL: Part Identification with Confidence measure using Unsupervised Learning [0.0]
  PartICULは、きめ細かい認識に使われるデータセットから部分検出器を教師なしで学習するための新しいアルゴリズムである。 トレーニングセット内のすべての画像のマクロ類似性を利用して、事前訓練された畳み込みニューラルネットワークの特徴空間における繰り返しパターンをマイニングする。 我々の検出器は、その予測に対する信頼度を測りながら、物体の一部を一貫して強調することができることを示す。
  論文  参考訳（メタデータ） (2022-06-27T13:44:49Z)
• Self-supervised Transformer for Deepfake Detection [112.81127845409002]
  現実世界のシナリオにおけるディープフェイク技術は、顔偽造検知器のより強力な一般化能力を必要とする。 転送学習に触発されて、他の大規模な顔関連タスクで事前訓練されたニューラルネットワークは、ディープフェイク検出に有用な機能を提供する可能性がある。 本稿では,自己教師型変換器を用いた音声視覚コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-02T17:44:40Z)
• X-Distill: Improving Self-Supervised Monocular Depth via Cross-Task Distillation [69.9604394044652]
  そこで本研究では,クロスタスク知識蒸留による単眼深度の自己指導的訓練を改善する手法を提案する。 トレーニングでは,事前訓練されたセマンティックセグメンテーション教師ネットワークを使用し,そのセマンティック知識を深度ネットワークに転送する。 提案手法の有効性をKITTIベンチマークで評価し,最新技術と比較した。
  論文  参考訳（メタデータ） (2021-10-24T19:47:14Z)
• MD-CSDNetwork: Multi-Domain Cross Stitched Network for Deepfake Detection [80.83725644958633]
  現在のディープフェイク生成法では、偽画像やビデオの周波数スペクトルに識別的アーティファクトが残されている。 MD-CSDNetwork(MD-CSDNetwork)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T14:11:53Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• Adaptive Prototypical Networks with Label Words and Joint Representation Learning for Few-Shot Relation Classification [17.237331828747006]
  本研究は,少ショット関係分類(FSRC)に焦点を当てる。 クラスプロトタイプの表現にラベル単語を追加するための適応的混合機構を提案する。 FewRelでは、異なる数ショット(FS)設定で実験が行われた。
  論文  参考訳（メタデータ） (2021-01-10T11:25:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。