論文の概要: Phoneme-Level Feature Discrepancies: A Key to Detecting Sophisticated Speech Deepfakes

• arxiv url: http://arxiv.org/abs/2412.12619v1
• Date: Tue, 17 Dec 2024 07:31:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:57:13.145624
• Title: Phoneme-Level Feature Discrepancies: A Key to Detecting Sophisticated Speech Deepfakes
• Title（参考訳）: 音素レベル特徴の相違
• Authors: Kuiyuan Zhang, Zhongyun Hua, Rushi Lan, Yushu Zhang, Yifang Guo,
• Abstract要約: 音素機能はディープフェイク検出のための強力な音声表現を提供する。 我々は,音素レベルの音声特徴の不整合を識別し,音声の深度を検出する新しいメカニズムを開発した。
• 参考スコア（独自算出の注目度）: 13.218438914114019
• License:
• Abstract: Recent advancements in text-to-speech and speech conversion technologies have enabled the creation of highly convincing synthetic speech. While these innovations offer numerous practical benefits, they also cause significant security challenges when maliciously misused. Therefore, there is an urgent need to detect these synthetic speech signals. Phoneme features provide a powerful speech representation for deepfake detection. However, previous phoneme-based detection approaches typically focused on specific phonemes, overlooking temporal inconsistencies across the entire phoneme sequence. In this paper, we develop a new mechanism for detecting speech deepfakes by identifying the inconsistencies of phoneme-level speech features. We design an adaptive phoneme pooling technique that extracts sample-specific phoneme-level features from frame-level speech data. By applying this technique to features extracted by pre-trained audio models on previously unseen deepfake datasets, we demonstrate that deepfake samples often exhibit phoneme-level inconsistencies when compared to genuine speech. To further enhance detection accuracy, we propose a deepfake detector that uses a graph attention network to model the temporal dependencies of phoneme-level features. Additionally, we introduce a random phoneme substitution augmentation technique to increase feature diversity during training. Extensive experiments on four benchmark datasets demonstrate the superior performance of our method over existing state-of-the-art detection methods.
• Abstract（参考訳）: 近年,テキスト音声変換技術や音声変換技術の進歩により,高度に説得力のある合成音声の創出が可能となった。 これらのイノベーションは多くの実用的な利点を提供するが、悪意ある悪用された場合にも重大なセキュリティ上の問題を引き起こす。 したがって、これらの合成音声信号を検出する必要がある。 音素機能はディープフェイク検出のための強力な音声表現を提供する。 しかし、従来の音素に基づく検出手法は、典型的には特定の音素に焦点を合わせ、音素シーケンス全体の時間的不整合を見落としていた。 本稿では,音素レベルの音声特徴の不整合を識別し,音声の深度を検出する新しいメカニズムを開発する。 フレームレベル音声データからサンプル固有の音素レベル特徴を抽出する適応的な音素プール手法を設計する。 この手法を、未確認のディープフェイクデータセット上の事前学習音声モデルにより抽出された特徴に適用することにより、ディープフェイクサンプルは、真の音声と比較して、音素レベルの不整合がしばしば現れることを示した。 検出精度をさらに高めるため,音素レベルの特徴の時間的依存性をモデル化するグラフアテンションネットワークを用いたディープフェイク検出手法を提案する。 さらに,学習中の特徴量の多様性を高めるために,ランダムな音素置換法を導入する。 4つのベンチマークデータセットに対する大規模な実験は、既存の最先端検出手法よりも優れた性能を示す。

関連論文リスト

• ExPO: Explainable Phonetic Trait-Oriented Network for Speaker Verification [48.98768967435808]
  我々は,音声が登録話者の同一性に一致するかどうかを検証するために,計算手法を用いる。 多くの成功にもかかわらず、我々はまだ説明可能な結果を提供する話者検証システムを開発していない。 本稿では, 話者の音声特性を紹介するために, 説明可能な音声トラヒック指向(ExPO)ネットワークを提案する。
  論文  参考訳（メタデータ） (2025-01-10T05:53:37Z)
• Detecting the Undetectable: Assessing the Efficacy of Current Spoof Detection Methods Against Seamless Speech Edits [82.8859060022651]
  音声入力編集(SINE)データセットをVoiceboxで作成する。 本手法を用いて編集した音声は従来のカット・アンド・ペースト法よりも検出が困難であることを確認した。 人的困難にもかかわらず, 自己監督型検出器は検出, 局所化, 一般化において顕著な性能を発揮することを示す実験結果が得られた。
  論文  参考訳（メタデータ） (2025-01-07T14:17:47Z)
• Training-Free Deepfake Voice Recognition by Leveraging Large-Scale Pre-Trained Models [52.04189118767758]
  一般化は、現在のオーディオディープフェイク検出器の主な問題である。 本稿では,オーディオディープフェイク検出のための大規模事前学習モデルの可能性について検討する。
  論文  参考訳（メタデータ） (2024-05-03T15:27:11Z)
• NPVForensics: Jointing Non-critical Phonemes and Visemes for Deepfake Detection [50.33525966541906]
  既存のマルチモーダル検出手法は、Deepfakeビデオを公開するために、音声と視覚の不整合をキャプチャする。 NPVForensics と呼ばれる非臨界音素とビセムの相関関係を抽出する新しいディープフェイク検出法を提案する。 我々のモデルは、微調整で下流のDeepfakeデータセットに容易に適応できる。
  論文  参考訳（メタデータ） (2023-06-12T06:06:05Z)
• Combining Automatic Speaker Verification and Prosody Analysis for Synthetic Speech Detection [15.884911752869437]
  本稿では,人間の声の2つの高レベルな意味的特性を組み合わせた合成音声検出手法を提案する。 一方, 話者識別手法に着目し, 自動話者検証タスクの最先端手法を用いて抽出した話者埋め込みとして表現する。 一方、リズム、ピッチ、アクセントの変化を意図した音声韻律は、特殊なエンコーダによって抽出される。
  論文  参考訳（メタデータ） (2022-10-31T11:03:03Z)
• Deepfake audio detection by speaker verification [79.99653758293277]
  本研究では,話者の生体特性のみを活用する新しい検出手法を提案する。 提案手法は,既成話者検証ツールに基づいて実装することができる。 そこで我々は,3つの一般的なテストセット上で,優れた性能,高い一般化能力,高ロバスト性を有する音声障害に対する高ロバスト性を検証した。
  論文  参考訳（メタデータ） (2022-09-28T13:46:29Z)
• Deep Learning for Hate Speech Detection: A Comparative Study [54.42226495344908]
  ここでは, ディープ・ヘイト・音声検出法と浅いヘイト・音声検出法を大規模に比較した。 私たちの目標は、この地域の進歩を照らし、現在の最先端の強みと弱点を特定することです。 そこで我々は,ヘイトスピーチ検出の実践的利用に関するガイダンスの提供,最先端の定量化,今後の研究方向の特定を目的としている。
  論文  参考訳（メタデータ） (2022-02-19T03:48:20Z)
• Phoneme Boundary Detection using Learnable Segmental Features [31.203969460341817]
  音素境界検出は様々な音声処理アプリケーションにおいて重要な第一歩となる。 本稿では,音素境界検出タスクのセグメント表現を学習するために,パラメータ化された構造的損失関数と結合したニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-11T14:03:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。