論文の概要: Audio Deepfake Attribution: An Initial Dataset and Investigation

• arxiv url: http://arxiv.org/abs/2208.10489v4
• Date: Sun, 17 Nov 2024 09:12:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:33:03.350935
• Title: Audio Deepfake Attribution: An Initial Dataset and Investigation
• Title（参考訳）: オーディオディープフェイクの属性:最初のデータセットと調査
• Authors: Xinrui Yan, Jiangyan Yi, Jianhua Tao, Jie Chen,
• Abstract要約: 我々は、Audio Deepfake Attribution (ADA)と呼ばれるオーディオ生成ツールの属性に対する最初のディープフェイクオーディオデータセットを設計する。 オープンセットオーディオディープフェイク属性(OSADA)のためのクラス・マルチセンター学習(CRML)手法を提案する。 実験の結果,CRML法は実世界のシナリオにおけるオープンセットリスクに効果的に対処できることが示された。
• 参考スコア（独自算出の注目度）: 41.62487394875349
• License:
• Abstract: The rapid progress of deep speech synthesis models has posed significant threats to society such as malicious manipulation of content. This has led to an increase in studies aimed at detecting so-called deepfake audio. However, existing works focus on the binary detection of real audio and fake audio. In real-world scenarios such as model copyright protection and digital evidence forensics, binary classification alone is insufficient. It is essential to identify the source of deepfake audio. Therefore, audio deepfake attribution has emerged as a new challenge. To this end, we designed the first deepfake audio dataset for the attribution of audio generation tools, called Audio Deepfake Attribution (ADA), and conducted a comprehensive investigation on system fingerprints. To address the challenges of attribution of continuously emerging unknown audio generation tools in the real world, we propose the Class-Representation Multi-Center Learning (CRML) method for open-set audio deepfake attribution (OSADA). CRML enhances the global directional variation of representations, ensuring the learning of discriminative representations with strong intra-class similarity and inter-class discrepancy among known classes. Finally, the strong class discrimination capability learned from known classes is extended to both known and unknown classes. Experimental results demonstrate that the CRML method effectively addresses open-set risks in real-world scenarios. The dataset is publicly available at: https://zenodo.org/records/13318702, and https://zenodo.org/records/13340666.
• Abstract（参考訳）: ディープ音声合成モデルの急速な進歩は、コンテンツの悪意ある操作など社会に重大な脅威をもたらしている。 これにより、いわゆるディープフェイク音声の検出を目的とした研究が増加している。 しかし、既存の研究は、実際のオーディオと偽オーディオのバイナリ検出に重点を置いている。 モデル著作権保護やデジタルエビデンス法医学のような現実のシナリオでは、バイナリ分類だけでは不十分である。 ディープフェイク音源を特定することが不可欠である。 そのため、オーディオディープフェイクの属性が新しい課題として浮上した。 そこで我々は,Audio Deepfake Attribution (ADA) と呼ばれる音声生成ツールの属性に対する最初のディープフェイク音声データセットを設計し,システム指紋の包括的調査を行った。 実世界の未知の音声生成ツールが生み出す課題に対処するため,オープンセットオーディオディープフェイク属性(OSADA)のためのクラス表現型マルチセンターラーニング(CRML)手法を提案する。 CRMLは、表現のグローバルな方向変化を強化し、クラス間の強い類似性とクラス間の相違性を持つ識別的表現の学習を保証する。 最後に、既知のクラスから学んだ強力なクラス識別能力は、既知のクラスと未知のクラスの両方に拡張される。 実験の結果,CRML法は実世界のシナリオにおけるオープンセットリスクに効果的に対処できることが示された。 データセットは、https://zenodo.org/records/13318702、https://zenodo.org/records/13340666で公開されている。

関連論文リスト

• SafeEar: Content Privacy-Preserving Audio Deepfake Detection [17.859275594843965]
  音声コンテンツにアクセスすることなくディープフェイク音声を検知する新しいフレームワークであるSafeEarを提案する。 私たちのキーとなるアイデアは、ニューラルオーディオを、セマンティックおよび音響情報をオーディオサンプルから適切に分離する、新しいデカップリングモデルに組み込むことです。 このようにして、セマンティックな内容が検出器に露出されることはない。
  論文  参考訳（メタデータ） (2024-09-14T02:45:09Z)
• Contextual Cross-Modal Attention for Audio-Visual Deepfake Detection and Localization [3.9440964696313485]
  デジタル時代には、ディープフェイクや合成メディアの出現は、社会的・政治的整合性に対する重大な脅威となる。 オーディオ視覚のようなマルチモーダル操作に基づくディープフェイクは、より現実的であり、より大きな脅威をもたらす。 本稿では,音声・視覚的ディープフェイク検出にコンテキスト情報を活用する,リカレントニューラルネットワーク(RNN)に基づく新しいマルチモーダルアテンションフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-02T18:45:01Z)
• A Multi-Stream Fusion Approach with One-Class Learning for Audio-Visual Deepfake Detection [17.285669984798975]
  本稿では,ロバストな音声・視覚深度検出モデルを開発する上での課題について述べる。 新たな世代のアルゴリズムが絶えず出現しており、検出方法の開発中にこれらのアルゴリズムは遭遇しない。 表現レベルの正規化手法として,一級学習を用いたマルチストリーム融合手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T10:33:15Z)
• Training-Free Deepfake Voice Recognition by Leveraging Large-Scale Pre-Trained Models [52.04189118767758]
  一般化は、現在のオーディオディープフェイク検出器の主な問題である。 本稿では,オーディオディープフェイク検出のための大規模事前学習モデルの可能性について検討する。
  論文  参考訳（メタデータ） (2024-05-03T15:27:11Z)
• What to Remember: Self-Adaptive Continual Learning for Audio Deepfake Detection [53.063161380423715]
  既存の検出モデルは、既知のディープフェイク音声を識別することに成功したが、新しい攻撃タイプに遭遇する際には苦労している。 本稿では,Radian Weight Modification (RWM) と呼ばれる連続的な学習手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T09:52:17Z)
• Text-to-feature diffusion for audio-visual few-shot learning [59.45164042078649]
  ビデオデータから学ぶことは難しいし、あまり研究されていないが、もっと安いセットアップだ。 3つのデータセットに対して,音声・視覚的数ショット映像分類ベンチマークを導入する。 AV-DIFFは,提案した音声・視覚的少数ショット学習のベンチマークにおいて,最先端の性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-07T17:30:36Z)
• SceneFake: An Initial Dataset and Benchmarks for Scene Fake Audio Detection [54.74467470358476]
  本稿では,シーンフェイク音声検出のためのデータセットSceneFakeを提案する。 操作されたオーディオは、オリジナルオーディオの音響シーンを改ざんするだけで生成される。 本論文では,SceneFakeデータセット上での擬似音声検出ベンチマーク結果について報告する。
  論文  参考訳（メタデータ） (2022-11-11T09:05:50Z)
• Faked Speech Detection with Zero Prior Knowledge [2.407976495888858]
  本稿では,入力音声を実物または模倣物として盲目的に分類する分類器を開発するニューラルネットワーク手法を提案する。 本稿では,3層を隠蔽し,重層と落層を交互に交互に配置した逐次モデルに基づくディープニューラルネットワークを提案する。 人間の観察者の場合の85%の精度に対して、テストケースの94%の正確な分類が得られた。
  論文  参考訳（メタデータ） (2022-09-26T10:38:39Z)
• Audio-Visual Person-of-Interest DeepFake Detection [77.04789677645682]
  本研究の目的は、現実世界で遭遇する様々な操作方法やシナリオに対処できるディープフェイク検出器を提案することである。 我々は、対照的な学習パラダイムを活用して、各アイデンティティに対して最も識別しやすい、移動面と音声セグメントの埋め込みを学習する。 本手法は,シングルモダリティ(オーディオのみ,ビデオのみ)とマルチモダリティ(オーディオビデオ)の両方を検出でき,低品質・低画質ビデオに対して堅牢である。
  論文  参考訳（メタデータ） (2022-04-06T20:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。