論文の概要: Semantics-Oriented Multitask Learning for DeepFake Detection: A Joint Embedding Approach
- arxiv url: http://arxiv.org/abs/2408.16305v1
- Date: Thu, 29 Aug 2024 07:11:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-30 14:43:40.482978
- Title: Semantics-Oriented Multitask Learning for DeepFake Detection: A Joint Embedding Approach
- Title（参考訳）: ディープフェイク検出のためのセマンティック指向型マルチタスク学習:共同埋め込みアプローチ
- Authors: Mian Zou, Baosheng Yu, Yibing Zhan, Siwei Lyu, Kede Ma,
- Abstract要約: 本稿ではセマンティクス指向のDeepFake検出タスクをサポートするための自動データセット拡張手法を提案する。
また,顔画像とそれに対応するラベルを併用して予測を行う。
提案手法は,DeepFake検出の一般化性を向上し,人間の理解可能な説明を提供することで,ある程度のモデル解釈を行う。
- 参考スコア（独自算出の注目度）: 77.65459419417533
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, the multimedia forensics and security community has seen remarkable progress in multitask learning for DeepFake (i.e., face forgery) detection. The prevailing strategy has been to frame DeepFake detection as a binary classification problem augmented by manipulation-oriented auxiliary tasks. This strategy focuses on learning features specific to face manipulations, which exhibit limited generalizability. In this paper, we delve deeper into semantics-oriented multitask learning for DeepFake detection, leveraging the relationships among face semantics via joint embedding. We first propose an automatic dataset expansion technique that broadens current face forgery datasets to support semantics-oriented DeepFake detection tasks at both the global face attribute and local face region levels. Furthermore, we resort to joint embedding of face images and their corresponding labels (depicted by textual descriptions) for prediction. This approach eliminates the need for manually setting task-agnostic and task-specific parameters typically required when predicting labels directly from images. In addition, we employ a bi-level optimization strategy to dynamically balance the fidelity loss weightings of various tasks, making the training process fully automated. Extensive experiments on six DeepFake datasets show that our method improves the generalizability of DeepFake detection and, meanwhile, renders some degree of model interpretation by providing human-understandable explanations.
- Abstract（参考訳）: 近年、マルチメディア法医学とセキュリティコミュニティは、ディープフェイク(顔偽造)検出のためのマルチタスク学習において顕著な進歩を見せている。
一般的な戦略は、操作指向の補助タスクによって強化されたバイナリ分類問題としてDeepFake検出をフレーム化することである。
この戦略は、顔操作に特有な学習機能に焦点を当て、限定的な一般化性を示す。
本稿では,DeepFake検出のためのセマンティックス指向のマルチタスク学習について深く掘り下げ,関節埋め込みによる顔意味の関連性を活用する。
我々はまず,現在の顔偽造データセットを拡張して,グローバルな顔属性と局所的な顔領域レベルの両方でセマンティクス指向のDeepFake検出タスクをサポートする自動データセット拡張手法を提案する。
さらに,顔画像と対応するラベル(テキストによる記述で示される)を共同埋め込みして予測する。
このアプローチでは、イメージから直接ラベルを予測するのに必要なタスクに依存しないパラメータやタスク固有のパラメータを手動で設定する必要がなくなる。
さらに,各タスクの忠実度損失重み付けを動的にバランスさせるため,二段階最適化方式を採用し,トレーニングプロセスを完全に自動化する。
6つのDeepFakeデータセットに対する大規模な実験により、我々の手法はDeepFake検出の一般化性を向上し、一方で、人間の理解可能な説明を提供することで、ある程度のモデル解釈を行う。
関連論文リスト
- Leveraging Mixture of Experts for Improved Speech Deepfake Detection [53.69740463004446]
スピーチのディープフェイクは、個人のセキュリティとコンテンツの信頼性に重大な脅威をもたらす。
本研究では,Mixture of Expertsアーキテクチャを用いた音声深度検出性能の向上のための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-09-24T13:24:03Z) - UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。
我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
論文 参考訳（メタデータ） (2024-07-26T20:51:54Z) - Media Forensics and Deepfake Systematic Survey [0.0]
Deepfakeは、顔の特徴を非常に現実的な方法で生成または変更する、生成的なディープラーニングアルゴリズムである。
映画を良く見せるだけでなく、有名人を模倣して偽情報を広めるのにも使える。
論文 参考訳（メタデータ） (2024-06-19T07:33:33Z) - Semantic Contextualization of Face Forgery: A New Definition, Dataset, and Detection Method [77.65459419417533]
我々は,顔フォージェリを意味的文脈に配置し,意味的顔属性を変更する計算手法が顔フォージェリの源であることを定義した。
階層的なグラフで整理されたラベルの集合に各画像が関連付けられている大規模な顔偽画像データセットを構築した。
本稿では,ラベル関係を捕捉し,その優先課題を優先するセマンティクス指向の顔偽造検出手法を提案する。
論文 参考訳（メタデータ） (2024-05-14T10:24:19Z) - DeepFidelity: Perceptual Forgery Fidelity Assessment for Deepfake
Detection [67.3143177137102]
ディープフェイク検出(Deepfake detection)とは、画像やビデオにおいて、人工的に生成された顔や編集された顔を検出すること。
本稿では,実顔と偽顔とを適応的に識別するDeepFidelityという新しいDeepfake検出フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-07T07:19:45Z) - Learning to mask: Towards generalized face forgery detection [10.155873909545198]
フェースフォージェリ検出器にとって、偽造の見当たらない型に対する一般化性は不可欠である。
私たちの目標は、トレーニングフェーズで簡単に学習できる機能を減らすことで、特定のフォージェリータイプに過度に適合するリスクを減らすことです。
機能領域の偽造を合成するために、深い機能混在戦略も提案されている。
論文 参考訳（メタデータ） (2022-12-29T13:55:28Z) - Detecting and Recovering Sequential DeepFake Manipulation [32.34908534582532]
シークエンシャルディープフェイク制御(Seq-DeepFake)と呼ばれる新しい研究課題を提案する。
バイナリラベル予測のみを要求する既存のディープフェイク検出タスクとは異なり、Seq-DeepFakeでは、顔操作操作のシーケンシャルベクトルを正確に予測する必要がある。
我々は、この新たな研究課題に対して、包括的なベンチマークを構築し、厳密な評価プロトコルとメトリクスをセットアップする。
論文 参考訳（メタデータ） (2022-07-05T17:59:33Z) - Self-supervised Transformer for Deepfake Detection [112.81127845409002]
現実世界のシナリオにおけるディープフェイク技術は、顔偽造検知器のより強力な一般化能力を必要とする。
転送学習に触発されて、他の大規模な顔関連タスクで事前訓練されたニューラルネットワークは、ディープフェイク検出に有用な機能を提供する可能性がある。
本稿では,自己教師型変換器を用いた音声視覚コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2022-03-02T17:44:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。