論文の概要: Robust AI-Synthesized Speech Detection Using Feature Decomposition Learning and Synthesizer Feature Augmentation

• arxiv url: http://arxiv.org/abs/2411.09167v1
• Date: Thu, 14 Nov 2024 03:57:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:23:10.787235
• Title: Robust AI-Synthesized Speech Detection Using Feature Decomposition Learning and Synthesizer Feature Augmentation
• Title（参考訳）: 特徴分解学習と合成器機能拡張を用いたロバストAI合成音声検出
• Authors: Kuiyuan Zhang, Zhongyun Hua, Yushu Zhang, Yifang Guo, Tao Xiang,
• Abstract要約: 本稿では,特徴分解を利用して合成者非依存のコンテンツ特徴を学習する頑健なディープフェイク音声検出手法を提案する。 異なる合成器特性に対するモデルのロバスト性を高めるために,合成器の特徴増強戦略を提案する。
• 参考スコア（独自算出の注目度）: 52.0893266767733
• License:
• Abstract: AI-synthesized speech, also known as deepfake speech, has recently raised significant concerns due to the rapid advancement of speech synthesis and speech conversion techniques. Previous works often rely on distinguishing synthesizer artifacts to identify deepfake speech. However, excessive reliance on these specific synthesizer artifacts may result in unsatisfactory performance when addressing speech signals created by unseen synthesizers. In this paper, we propose a robust deepfake speech detection method that employs feature decomposition to learn synthesizer-independent content features as complementary for detection. Specifically, we propose a dual-stream feature decomposition learning strategy that decomposes the learned speech representation using a synthesizer stream and a content stream. The synthesizer stream specializes in learning synthesizer features through supervised training with synthesizer labels. Meanwhile, the content stream focuses on learning synthesizer-independent content features, enabled by a pseudo-labeling-based supervised learning method. This method randomly transforms speech to generate speed and compression labels for training. Additionally, we employ an adversarial learning technique to reduce the synthesizer-related components in the content stream. The final classification is determined by concatenating the synthesizer and content features. To enhance the model's robustness to different synthesizer characteristics, we further propose a synthesizer feature augmentation strategy that randomly blends the characteristic styles within real and fake audio features and randomly shuffles the synthesizer features with the content features. This strategy effectively enhances the feature diversity and simulates more feature combinations.
• Abstract（参考訳）: ディープフェイク音声としても知られるAI合成音声は、音声合成技術や音声変換技術の急速な進歩により、近年大きな関心を集めている。 それまでの作品は、ディープフェイク音声を特定するために、しばしばシンセサイザーアーティファクトの区別に頼っていた。 しかしながら、これらの特定のシンセサイザーアーティファクトへの過度な依存は、目に見えないシンセサイザーによって生成された音声信号に対処するときに、不満足なパフォーマンスをもたらす可能性がある。 本稿では,特徴分解を利用した頑健なディープフェイク音声検出手法を提案する。 具体的には、シンセサイザーストリームとコンテンツストリームを用いて、学習した音声表現を分解するデュアルストリーム特徴分解学習戦略を提案する。 シンセサイザーストリームは、シンセサイザーラベルを用いた教師付きトレーニングを通じて、シンセサイザーの特徴を学習する。 一方、コンテンツストリームは、擬似ラベルに基づく教師あり学習法によって実現された、シンセサイザーに依存しないコンテンツ特徴の学習に焦点を当てている。 学習用速度ラベルと圧縮ラベルを生成するために、ランダムに音声を変換する。 さらに,コンテンツストリーム中の合成器関連成分を減らすために,逆学習手法を用いる。 最終分類は、合成器と内容特徴を連結することにより決定される。 さらに,異なる合成器特性に対するモデルのロバスト性を高めるため,実・偽音声特徴に特徴的スタイルをランダムにブレンドし,合成器特徴とコンテンツ特徴をランダムにシャッフルする合成器機能拡張戦略を提案する。 この戦略は機能の多様性を効果的に強化し、より多くの機能の組み合わせをシミュレートします。

関連論文リスト

• Synthesizer Sound Matching Using Audio Spectrogram Transformers [2.5944208050492183]
  音声スペクトログラム変換器を用いた合成音声マッチングモデルを提案する。 本モデルでは,16個のパラメータの集合から生成されたサンプルのパラメータを再構成可能であることを示す。 また、音声の模倣をエミュレートする際、ドメイン外モデルの性能を示す音声例も提供する。
  論文  参考訳（メタデータ） (2024-07-23T16:58:14Z)
• Speech2UnifiedExpressions: Synchronous Synthesis of Co-Speech Affective Face and Body Expressions from Affordable Inputs [67.27840327499625]
  本稿では,デジタル文字の表情と上半身ジェスチャーを同時に合成するマルチモーダル学習手法を提案する。 提案手法は, 映像データから直接推定される, まばらな顔のランドマークと上体関節から学習し, もっともらしい感情的性格運動を生成する。
  論文  参考訳（メタデータ） (2024-06-26T04:53:11Z)
• Contrastive Learning from Synthetic Audio Doppelgangers [1.3754952818114714]
  合成音声を利用したデータスケールと変換の制限に対する解決策を提案する。 音声合成器のパラメータをランダムに摂動することで、音色、ピッチ、時間的エンベロープの因果的に操作された変化を持つオーディオ・ドッペルグ・アンガー合成正ペアを生成する。 ランダムに生成された合成データへのシフトにもかかわらず,本手法は,標準音声分類ベンチマークにおける実データと競合する強力な表現を生成する。
  論文  参考訳（メタデータ） (2024-06-09T21:44:06Z)
• Creative Text-to-Audio Generation via Synthesizer Programming [1.1203110769488043]
  78個のパラメータしか持たない仮想モジュールサウンドシンセサイザーを利用するテキスト音声生成手法を提案する。 提案手法であるCTAGは、テキストプロンプトの高品質なオーディオレンダリングを生成するために、シンセサイザーのパラメータを反復的に更新する。
  論文  参考訳（メタデータ） (2024-06-01T04:08:31Z)
• EXPRESSO: A Benchmark and Analysis of Discrete Expressive Speech Resynthesis [49.04496602282718]
  テキストなし音声合成のための高品質な表現型音声データセットであるExpressoを紹介する。 このデータセットは、26の自発的表現スタイルで描画された読み上げ音声と即興対話の両方を含む。 自己監督型離散エンコーダの自動計測値を用いて再生品質を評価する。
  論文  参考訳（メタデータ） (2023-08-10T17:41:19Z)
• Transformer-Based Speech Synthesizer Attribution in an Open Set Scenario [16.93803259128475]
  音声合成法は、詐欺、偽造、誤情報キャンペーンに使用できる現実的な音声を生成することができる。 法医学的帰属法は、音声信号を生成するために使用される特定の音声合成法を特定する。 学習中に見えない新しい合成器に一般化する音声帰属法を提案する。
  論文  参考訳（メタデータ） (2022-10-14T05:55:21Z)
• Discretization and Re-synthesis: an alternative method to solve the Cocktail Party Problem [65.25725367771075]
  この研究は、初めて合成に基づくアプローチがこの問題にうまく対応できることを示した。 具体的には,離散シンボルの認識に基づく音声分離/強調モデルを提案する。 離散シンボルの入力による合成モデルを利用することで、離散シンボル列の予測後、各ターゲット音声を再合成することができる。
  論文  参考訳（メタデータ） (2021-12-17T08:35:40Z)
• Advances in Speech Vocoding for Text-to-Speech with Continuous Parameters [2.6572330982240935]
  本稿では,連続的なボコーダにおいて,全ての特徴が連続的であり,フレキシブルな音声合成システムを示す新しい手法を提案する。 位相歪みに基づく新しい連続雑音マスキングを提案し,残音の知覚的影響を排除した。 双方向長短期記憶 (LSTM) とゲートリカレント単位 (GRU) について検討し, 連続パラメータのモデル化に応用した。
  論文  参考訳（メタデータ） (2021-06-19T12:05:01Z)
• Vector-Quantized Timbre Representation [53.828476137089325]
  本稿では, スペクトル特性の近似分解を生成的特徴の集合で学習することにより, 個々の音色をより柔軟に合成することを目的とする。 音量分布の量子化表現を学習するために、大音量から切り離された離散潜在空間を持つオートエンコーダを導入する。 オーケストラ楽器と歌唱音声間の音声の翻訳結果と、ボーカルの模倣音から楽器への変換結果について詳述する。
  論文  参考訳（メタデータ） (2020-07-13T12:35:45Z)
• Synthesizer: Rethinking Self-Attention in Transformer Models [93.08171885200922]
  ドット積の自己アテンションは、最先端のトランスフォーマーモデルでは不可欠である。 本稿では,ドット製品に基づく自己認識機構がトランスフォーマーモデルの性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-05-02T08:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。