論文の概要: HuLA: Prosody-Aware Anti-Spoofing with Multi-Task Learning for Expressive and Emotional Synthetic Speech

• arxiv url: http://arxiv.org/abs/2509.21676v1
• Date: Thu, 25 Sep 2025 22:49:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.06831
• Title: HuLA: Prosody-Aware Anti-Spoofing with Multi-Task Learning for Expressive and Emotional Synthetic Speech
• Title（参考訳）: HuLA:表現的・感情的合成音声のためのマルチタスク学習による韻律を考慮したアンチ・スプーフィング
• Authors: Aurosweta Mahapatra, Ismail Rasim Ulgen, Berrak Sisman,
• Abstract要約: 本稿では,スプーフ検出のための2段階の韻律対応マルチタスク学習フレームワークであるHuLAを提案する。 ステージ1では、F0予測と音声・無声分類の補助的タスクを用いて、自己教師型学習バックボーンを実音声で訓練する。 ステージ2では、実データと合成データの両方において、スプーフ検出と韻律タスクに共同最適化されている。
• 参考スコア（独自算出の注目度）: 7.515445362219416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current anti-spoofing systems remain vulnerable to expressive and emotional synthetic speech, since they rarely leverage prosody as a discriminative cue. Prosody is central to human expressiveness and emotion, and humans instinctively use prosodic cues such as F0 patterns and voiced/unvoiced structure to distinguish natural from synthetic speech. In this paper, we propose HuLA, a two-stage prosody-aware multi-task learning framework for spoof detection. In Stage 1, a self-supervised learning (SSL) backbone is trained on real speech with auxiliary tasks of F0 prediction and voiced/unvoiced classification, enhancing its ability to capture natural prosodic variation similar to human perceptual learning. In Stage 2, the model is jointly optimized for spoof detection and prosody tasks on both real and synthetic data, leveraging prosodic awareness to detect mismatches between natural and expressive synthetic speech. Experiments show that HuLA consistently outperforms strong baselines on challenging out-of-domain dataset, including expressive, emotional, and cross-lingual attacks. These results demonstrate that explicit prosodic supervision, combined with SSL embeddings, substantially improves robustness against advanced synthetic speech attacks.
• Abstract（参考訳）: 現在のアンチ・スプーフィング・システムは、表現的・感情的な合成音声に弱いままであり、プロソディを差別的キューとして利用することは滅多にない。 韻律は人間の表現力や感情の中心であり、人間はF0パターンや音声・無声構造などの韻律的手がかりを本能的に用いて合成音声と自然を区別する。 本稿では,スプーフ検出のための2段階の韻律対応マルチタスク学習フレームワークであるHuLAを提案する。 ステージ1では、自己教師付き学習(SSL)のバックボーンがF0予測と音声・無声分類の補助的なタスクで実際の音声で訓練され、人間の知覚学習と同様の自然な韻律変化を捉える能力を高める。 ステージ2では、モデルは実データと合成データの両方のスプーフ検出と韻律タスクに共同最適化され、韻律的認識を利用して自然な合成音声と表現的な合成音声のミスマッチを検出する。 実験によると、HuLAは表現力、感情、言語間攻撃など、ドメイン外のデータセットに挑戦する上で、強いベースラインを一貫して上回っている。 これらの結果から,SSL埋め込みと組み合わせた明示的な韻律的監視は,高度な合成音声攻撃に対する堅牢性を大幅に向上させることが示された。

関連論文リスト

• ADEPT: RL-Aligned Agentic Decoding of Emotion via Evidence Probing Tools -- From Consensus Learning to Ambiguity-Driven Emotion Reasoning [67.22219034602514]
  ADEPT(Agentic Decoding of Emotion via Evidence Probing Tools)は,感情認識をマルチターン探索プロセスとして再構成するフレームワークである。 ADEPTはSLLMを進化する候補感情を維持するエージェントに変換し、専用のセマンティックおよび音響探査ツールを適応的に呼び出す。 ADEPTは、ほとんどの設定において主感情の精度を向上し、微妙な感情の特徴を著しく改善することを示した。
  論文  参考訳（メタデータ） (2026-02-13T08:33:37Z)
• ES4R: Speech Encoding Based on Prepositive Affective Modeling for Empathetic Response Generation [30.006550552714938]
  共感的音声対話は、言語内容だけでなく、豊富なパラ言語情報も理解する必要がある。 既存の音声から音声への大きな言語モデルは、ASRの転写に依存するか、エンコーダを使用して潜在表現を抽出する。 音声に基づく共感応答生成のためのフレームワークである textbfES4R を提案する。
  論文  参考訳（メタデータ） (2026-01-16T10:26:50Z)
• A Unified Spoken Language Model with Injected Emotional-Attribution Thinking for Human-like Interaction [50.05919688888947]
  本稿では,感情的インテリジェンスのための統一言語モデルを提案する。 IEATは、ユーザーの感情状態とその根本原因をモデルの内部推論プロセスに組み込んでおり、明示的な監督として扱われるのではなく、感情を意識した推論を内部化することができる。 HumDial(Human-like Spoken Dialogue Systems Challenge)Emotional Intelligenceベンチマークの実験は、提案手法が感情軌道モデリング、感情的推論、共感的応答生成にまたがるトップランクのパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2026-01-08T14:07:30Z)
• The Impact of Prosodic Segmentation on Speech Synthesis of Spontaneous Speech [2.9762955286006965]
  韻律的セグメンテーションによる訓練は、より分かりやすく、音響的に自然な音声を生み出した。 将来の研究をサポートするため、すべてのデータセット、ソースコード、訓練されたモデルはCC BY-NC-ND 4.0ライセンスの下で公開されている。
  論文  参考訳（メタデータ） (2025-11-06T14:49:06Z)
• RLAIF-SPA: Optimizing LLM-based Emotional Speech Synthesis via RLAIF [23.474332076771308]
  テキスト音声合成は中性音声においてほぼ人間に近い品質を達成しているが、感情的な表現性は依然として課題である。 本稿では,AIフィードバック機構からの強化学習を取り入れたRLAIF-SPAフレームワークを提案する。 Libri 音声データセットの実験によると、RLAIF-SPA は Chat-TTS より優れており、WER は26.1%、SIM-O は9.1%、人的評価は10%以上向上している。
  論文  参考訳（メタデータ） (2025-10-16T12:40:37Z)
• VAEmo: Efficient Representation Learning for Visual-Audio Emotion with Knowledge Injection [50.57849622045192]
  本稿では,外部知識注入を用いた感情中心型VA表現学習のための効率的なフレームワークであるVAEmoを提案する。 VAEmoは、コンパクトな設計で最先端のパフォーマンスを実現し、統合されたクロスモーダルエンコーディングと感情認識のセマンティックガイダンスの利点を強調している。
  論文  参考訳（メタデータ） (2025-05-05T03:00:51Z)
• PROEMO: Prompt-Driven Text-to-Speech Synthesis Based on Emotion and Intensity Control [20.873353104077857]
  本稿では,素早い感情制御を中心にしたアプローチを提案する。 提案アーキテクチャは,複数話者間での感情と強度制御を取り入れたアーキテクチャである。 我々は,大言語モデル(LLM)を用いて,言語コンテンツを保存しながら音声韻律を操作する。
  論文  参考訳（メタデータ） (2025-01-10T12:10:30Z)
• Spontaneous Style Text-to-Speech Synthesis with Controllable Spontaneous Behaviors Based on Language Models [55.898594710420326]
  本稿では,言語モデルに基づく新たな自然音声合成システムを提案する。 自発音声における微妙な韻律変化を捉えるモデルの能力を高めるために, きめ細かい韻律モデリングを導入する。
  論文  参考訳（メタデータ） (2024-07-18T13:42:38Z)
• Do self-supervised speech and language models extract similar representations as human brain? [2.390915090736061]
  自己教師付き学習(SSL)によって訓練された音声と言語モデルは、音声と言語知覚の間の脳活動と強い整合性を示す。 我々は2つの代表的なSSLモデルであるWav2Vec2.0とGPT-2の脳波予測性能を評価した。
  論文  参考訳（メタデータ） (2023-10-07T01:39:56Z)
• Towards Spontaneous Style Modeling with Semi-supervised Pre-training for Conversational Text-to-Speech Synthesis [53.511443791260206]
  自発型音声と自発型行動ラベルの量を増やすための半教師付き事前学習法を提案する。 半教師付き学習の過程では、音声中の自発的な行動ラベルを検出するために、テキスト情報と音声情報の両方が考慮される。
  論文  参考訳（メタデータ） (2023-08-31T09:50:33Z)
• Diff-TTSG: Denoising probabilistic integrated speech and gesture synthesis [19.35266496960533]
  本稿では,Diff-TTSGと呼ばれる拡散型確率モデルについて述べる。 本稿では,統合音声とジェスチャー合成システムを評価するための,一様・多様主観的一様・多様主観的テストのセットについて述べる。
  論文  参考訳（メタデータ） (2023-06-15T18:02:49Z)
• Semi-supervised learning for continuous emotional intensity controllable speech synthesis with disentangled representations [16.524515747017787]
  半教師付き学習を用いて感情の連続的な強度を制御する新しい手法を提案する。 実験の結果,提案手法は制御性と自然性に優れていた。
  論文  参考訳（メタデータ） (2022-11-11T12:28:07Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)
• Reinforcement Learning for Emotional Text-to-Speech Synthesis with Improved Emotion Discriminability [82.39099867188547]
  感情的テキスト音声合成(ETTS)は近年大きく進歩している。 i-ETTSと呼ばれるETTSの新しい対話型トレーニングパラダイムを提案する。 i-ETTSの最適化品質を確保するため、強化学習による反復トレーニング戦略を策定します。
  論文  参考訳（メタデータ） (2021-04-03T13:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。