論文の概要: Synthesizing the Lombard Effect: Multi-Level Control of Speech Clarity and Vocal Effort in TTS
- arxiv url: http://arxiv.org/abs/2606.23176v1
- Date: Mon, 22 Jun 2026 11:14:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 23:38:08.929092
- Title: Synthesizing the Lombard Effect: Multi-Level Control of Speech Clarity and Vocal Effort in TTS
- Title（参考訳）: ロンバルド効果の合成:TTSにおける音声明瞭度と音声のマルチレベル制御
- Authors: Seymanur Akti, Alexander Waibel,
- Abstract要約: 声道運動と調音疑似ラベルで訓練されたフローマッチングに基づく音声合成モデルを提案する。
提案モデルでは,声の努力や調音の連続的・不整合的な制御を実現するとともに,発話の特定のセグメントを明確にするための単語レベルの強調を可能にする。
- 参考スコア（独自算出の注目度）: 61.29502937013759
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans tend to speak louder and clearer in challenging environments, such as noisy conditions or when addressing hearingimpaired listeners, which is called Lombard effect. To simulate this behavior in speech synthesis systems, we introduce a flow-matching based text-to-speech (TTS) model trained with vocal effort and articulation pseudo-labels. The proposed model achieves continuous and disentangled control of vocal effort and articulation, while also enabling word-level emphasis for clarifying specific segments of an utterance. Experimental results show that these control mechanisms effectively improve clarityrelated acoustic features. Furthermore, speech-in-noise experiments demonstrate that our model successfully simulates the intelligibility gains of human clear speech in noisy conditions.
- Abstract（参考訳）: 人間は、うるさい状況や聴覚障害のあるリスナーに対処する場合など、難易度の高い環境において、より大声で明瞭に話す傾向があり、これはロンバルド効果と呼ばれる。
音声合成システムにおいて,この動作をシミュレートするために,声道運動と調音疑似ラベルを訓練したフローマッチングに基づくTTSモデルを提案する。
提案モデルでは,声の努力や調音の連続的・不整合的な制御を実現するとともに,発話の特定のセグメントを明確にするための単語レベルの強調を可能にする。
実験により,これらの制御機構は明瞭度関連音響特性を効果的に改善することが示された。
さらに, 音声合成実験により, 雑音条件下での人間の明瞭な発話の可聴性向上を, モデルがうまくシミュレートできることが実証された。
関連論文リスト
- Improved Intelligibility of Dysarthric Speech using Conditional Flow Matching [0.0]
失語症(Dysarthria)は、言語機能障害の1つ。
これにより、頑健な顎関節-正則音声変換技術の開発が必要とされる。
論文 参考訳（メタデータ） (2025-06-19T08:24:17Z) - PROEMO: Prompt-Driven Text-to-Speech Synthesis Based on Emotion and Intensity Control [20.873353104077857]
本稿では,素早い感情制御を中心にしたアプローチを提案する。
提案アーキテクチャは,複数話者間での感情と強度制御を取り入れたアーキテクチャである。
我々は,大言語モデル(LLM)を用いて,言語コンテンツを保存しながら音声韻律を操作する。
論文 参考訳（メタデータ） (2025-01-10T12:10:30Z) - Incorporating Talker Identity Aids With Improving Speech Recognition in Adversarial Environments [0.2916558661202724]
音声認識と話者識別を共同で行うトランスフォーマーモデルを開発した。
クリーンな条件下では,ジョイントモデルがWhisperと相容れない性能を示す。
以上の結果から,音声認識と音声表現の統合により,対向条件下ではより堅牢なモデルが得られる可能性が示唆された。
論文 参考訳（メタデータ） (2024-10-07T18:39:59Z) - Spontaneous Style Text-to-Speech Synthesis with Controllable Spontaneous Behaviors Based on Language Models [55.898594710420326]
本稿では,言語モデルに基づく新たな自然音声合成システムを提案する。
自発音声における微妙な韻律変化を捉えるモデルの能力を高めるために, きめ細かい韻律モデリングを導入する。
論文 参考訳（メタデータ） (2024-07-18T13:42:38Z) - High-Fidelity Speech Synthesis with Minimal Supervision: All Using
Diffusion Models [56.00939852727501]
最小教師付き音声合成は、2種類の離散音声表現を組み合わせることでTSを分離する。
非自己回帰フレームワークは、制御可能性を高め、持続拡散モデルは、多様化された韻律表現を可能にする。
論文 参考訳（メタデータ） (2023-09-27T09:27:03Z) - Continuous Modeling of the Denoising Process for Speech Enhancement
Based on Deep Learning [61.787485727134424]
状態変数をデノナイジングプロセスを示すために使用します。
UNetのようなニューラルネットワークは、連続的復調プロセスからサンプリングされたすべての状態変数を推定することを学ぶ。
実験結果から, クリーンターゲットに少量の雑音を保存することは, 音声強調に有効であることが示唆された。
論文 参考訳（メタデータ） (2023-09-17T13:27:11Z) - Prosody-controllable spontaneous TTS with neural HMMs [11.472325158964646]
小型で不規則なデータセットから素早く学習できるTSアーキテクチャを提案する。
我々は既存のニューラルHMMベースのTSシステムに発話レベルの韻律制御を加える。
本研究では,2種類の難聴音声を合成するシステムの性能を評価する。
論文 参考訳（メタデータ） (2022-11-24T11:06:11Z) - Fine-grained Noise Control for Multispeaker Speech Synthesis [3.449700218265025]
テキスト音声モデル(TTS)は、典型的には、内容、話者、韻律などの音声属性を非絡み合い表現に分解する。
近年の課題は, 音響条件を的確にモデル化することであり, 主要な音声要因を解消することである。
論文 参考訳（メタデータ） (2022-04-11T13:13:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。