論文の概要: Semantics-Oriented Multitask Learning for DeepFake Detection: A Joint Embedding Approach
- arxiv url: http://arxiv.org/abs/2408.16305v2
- Date: Tue, 20 May 2025 06:27:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-21 14:49:51.253431
- Title: Semantics-Oriented Multitask Learning for DeepFake Detection: A Joint Embedding Approach
- Title（参考訳）: ディープフェイク検出のためのセマンティック指向型マルチタスク学習:共同埋め込みアプローチ
- Authors: Mian Zou, Baosheng Yu, Yibing Zhan, Siwei Lyu, Kede Ma,
- Abstract要約: 本稿では,セマンティクス指向のDeepFake検出タスクをサポートする自動データセット拡張手法を提案する。
また,顔画像とラベル(テキストによる記述で示される)を併用して予測を行う。
提案手法は,DeepFake検出の一般化性を向上し,人間の理解可能な説明を提供することで,ある程度のモデル解釈を行う。
- 参考スコア（独自算出の注目度）: 77.65459419417533
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, the multimedia forensics and security community has seen remarkable progress in multitask learning for DeepFake (i.e., face forgery) detection. The prevailing approach has been to frame DeepFake detection as a binary classification problem augmented by manipulation-oriented auxiliary tasks. This scheme focuses on learning features specific to face manipulations with limited generalizability. In this paper, we delve deeper into semantics-oriented multitask learning for DeepFake detection, capturing the relationships among face semantics via joint embedding. We first propose an automated dataset expansion technique that broadens current face forgery datasets to support semantics-oriented DeepFake detection tasks at both the global face attribute and local face region levels. Furthermore, we resort to the joint embedding of face images and labels (depicted by text descriptions) for prediction. This approach eliminates the need for manually setting task-agnostic and task-specific parameters, which is typically required when predicting multiple labels directly from images. In addition, we employ bi-level optimization to dynamically balance the fidelity loss weightings of various tasks, making the training process fully automated. Extensive experiments on six DeepFake datasets show that our method improves the generalizability of DeepFake detection and renders some degree of model interpretation by providing human-understandable explanations.
- Abstract（参考訳）: 近年、マルチメディア法医学とセキュリティコミュニティは、ディープフェイク(顔偽造)検出のためのマルチタスク学習において顕著な進歩を見せている。
一般的なアプローチは、操作指向の補助タスクによって強化されたバイナリ分類問題としてDeepFake検出をフレーム化することである。
このスキームは、一般化性に制限のある顔操作に特有な学習機能に焦点を当てている。
本稿では,ディープフェイク検出のためのセマンティクス指向マルチタスク学習について深く掘り下げ,関節埋め込みによる顔意味間の関係を捉える。
我々はまず,現在の顔偽造データセットを拡張して,グローバルな顔属性と局所的な顔領域レベルの両方でセマンティクス指向のDeepFake検出タスクをサポートする自動データセット拡張手法を提案する。
さらに,顔画像とラベル(テキストによる記述で示される)を併用して予測を行う。
このアプローチでは、イメージから直接複数のラベルを予測するのに通常必要となる、タスクに依存しないパラメータとタスク固有のパラメータを手動で設定する必要がなくなる。
さらに,各タスクの忠実度損失重み付けを動的にバランスさせることにより,トレーニングプロセスを完全に自動化する。
6つのDeepFakeデータセットに対する大規模な実験により,DeepFake検出の一般化性が向上し,人間の理解可能な説明を提供することで,ある程度のモデル解釈が可能であることが示された。
関連論文リスト
- Unlocking the Hidden Potential of CLIP in Generalizable Deepfake Detection [23.48106270102081]
本稿では,顔の深部を部分的に操作して検出する課題に対処する。
我々は、Contrastive Language-Image Pre-Training(CLIP)モデル、特にViT-L/14ビジュアルエンコーダを利用する。
提案手法は,LNチューニングなどのPEFT技術を用いて,モデルのパラメータの小さな部分集合を調整する。
論文 参考訳（メタデータ） (2025-03-25T14:10:54Z) - Leveraging Mixture of Experts for Improved Speech Deepfake Detection [53.69740463004446]
スピーチのディープフェイクは、個人のセキュリティとコンテンツの信頼性に重大な脅威をもたらす。
本研究では,Mixture of Expertsアーキテクチャを用いた音声深度検出性能の向上のための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-09-24T13:24:03Z) - UniForensics: Face Forgery Detection via General Facial Representation [60.5421627990707]
高レベルの意味的特徴は摂動の影響を受けにくく、フォージェリー固有の人工物に限らないため、より強い一般化がある。
我々は、トランスフォーマーベースのビデオネットワークを活用する新しいディープフェイク検出フレームワークUniForensicsを導入し、顔の豊かな表現のためのメタファンクショナルな顔分類を行う。
論文 参考訳（メタデータ） (2024-07-26T20:51:54Z) - Media Forensics and Deepfake Systematic Survey [0.0]
Deepfakeは、顔の特徴を非常に現実的な方法で生成または変更する、生成的なディープラーニングアルゴリズムである。
映画を良く見せるだけでなく、有名人を模倣して偽情報を広めるのにも使える。
論文 参考訳（メタデータ） (2024-06-19T07:33:33Z) - Semantic Contextualization of Face Forgery: A New Definition, Dataset, and Detection Method [77.65459419417533]
我々は,顔フォージェリを意味的文脈に配置し,意味的顔属性を変更する計算手法が顔フォージェリの源であることを定義した。
階層的なグラフで整理されたラベルの集合に各画像が関連付けられている大規模な顔偽画像データセットを構築した。
本稿では,ラベル関係を捕捉し,その優先課題を優先するセマンティクス指向の顔偽造検出手法を提案する。
論文 参考訳（メタデータ） (2024-05-14T10:24:19Z) - DeepFidelity: Perceptual Forgery Fidelity Assessment for Deepfake
Detection [67.3143177137102]
ディープフェイク検出(Deepfake detection)とは、画像やビデオにおいて、人工的に生成された顔や編集された顔を検出すること。
本稿では,実顔と偽顔とを適応的に識別するDeepFidelityという新しいDeepfake検出フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-07T07:19:45Z) - Learning to mask: Towards generalized face forgery detection [10.155873909545198]
フェースフォージェリ検出器にとって、偽造の見当たらない型に対する一般化性は不可欠である。
私たちの目標は、トレーニングフェーズで簡単に学習できる機能を減らすことで、特定のフォージェリータイプに過度に適合するリスクを減らすことです。
機能領域の偽造を合成するために、深い機能混在戦略も提案されている。
論文 参考訳（メタデータ） (2022-12-29T13:55:28Z) - Detecting and Recovering Sequential DeepFake Manipulation [32.34908534582532]
シークエンシャルディープフェイク制御(Seq-DeepFake)と呼ばれる新しい研究課題を提案する。
バイナリラベル予測のみを要求する既存のディープフェイク検出タスクとは異なり、Seq-DeepFakeでは、顔操作操作のシーケンシャルベクトルを正確に予測する必要がある。
我々は、この新たな研究課題に対して、包括的なベンチマークを構築し、厳密な評価プロトコルとメトリクスをセットアップする。
論文 参考訳（メタデータ） (2022-07-05T17:59:33Z) - Self-supervised Transformer for Deepfake Detection [112.81127845409002]
現実世界のシナリオにおけるディープフェイク技術は、顔偽造検知器のより強力な一般化能力を必要とする。
転送学習に触発されて、他の大規模な顔関連タスクで事前訓練されたニューラルネットワークは、ディープフェイク検出に有用な機能を提供する可能性がある。
本稿では,自己教師型変換器を用いた音声視覚コントラスト学習手法を提案する。
論文 参考訳（メタデータ） (2022-03-02T17:44:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。