論文の概要: Vocal Intensity Conversion with Continuous SPL Control via Adversarial Training
- arxiv url: http://arxiv.org/abs/2610.13608v1
- Date: Fri, 09 Oct 2026 13:55:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.609536
- Title: Vocal Intensity Conversion with Continuous SPL Control via Adversarial Training
- Title(参考訳): 逆学習による連続SPL制御による音声インテンシティ変換
- Abstract要約: 我々は、記録された発話を異なる声強度でレンダリングする軽量コンバータを開発した。
目標音圧レベル(SPL)を連続dBスケールで制御する。
知覚的評価は、振幅正規化刺激における声の強度が目標レベルとともに増加することを確認する。
- 参考スコア(独自算出の注目度): 5.175586116424581
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vocal intensity conversion renders a recorded utterance at a different vocal intensity, rather than simply scaling its amplitude, while preserving its content and speaker identity. Existing systems control intensity through a reference utterance or a few discrete categories. Instead, we control the conversion with any target sound pressure level (SPL) on a continuous dB scale. A lightweight converter, trained as a conditional cycle-consistent GAN without parallel data, transforms the features of a frozen speech encoder, from which a pretrained vocoder resynthesizes the speech. We compare three representations, log-mel spectrograms, WavLM, and SpeechTokenizer, and introduce an objective protocol that measures the achieved intensity change against the target one on a calibrated corpus. With WavLM, the converter achieves a measured 83% of the target change in intensity and also shifts the fundamental frequency. A perceptual evaluation confirms that perceived vocal intensity increases with the target level on amplitude-normalized stimuli.
- Abstract(参考訳): 声の強度変換は、その内容と話者のアイデンティティを保ちながら、単に振幅を拡大するのではなく、記録された発声を異なる声の強さでレンダリングする。
既存のシステムは、参照発話またはいくつかの離散カテゴリを通して強度を制御する。
代わりに、目標音圧レベル(SPL)を連続的なdBスケールで制御する。
並列データのない条件付きサイクル一貫性GANとして訓練された軽量コンバータは、予め訓練されたボコーダが音声を再合成する冷凍音声エンコーダの特徴を変換する。
本稿では,ログメルスペクトル,WavLM,SpeechTokenizerの3つの表現を比較し,キャリブレーションしたコーパス上で目標に対して達成された強度変化を測定する客観的プロトコルを提案する。
WavLMでは、コンバータは目標の強度変化の83%を達成し、基本周波数もシフトする。
知覚的評価は、振幅正規化刺激における声の強度が目標レベルとともに増加することを確認する。
関連論文リスト
- Asymmetric Classifier-Free Guidance for Target-Speaker ASR [2.7023796303812193]
Whisper を用いた TS-ASR のための非対称分類器フリーガイダンス (CFG) を導入する。
CFGは1つのガイダンス尺度を通じてデコード中の話者条件付けの寄与を調整する。
ドメインシフトでは,条件のみのベースライン上での単語誤り率(WER)を最大21.8%削減する。
論文 参考訳(メタデータ) (2026-09-24T19:16:16Z) - Attention-Guided Reliability Scaling for Contrastive Decoding in Robust Audio-Visual Speech Recognition [50.15288513086986]
コントラストデコーディング (CD) は、元々は大型言語モデル (LLM) ベースの音声視覚音声認識 (AVSR) システムを安定化するために導入された。
AVSR用CDの信頼性を考慮したスケーリングを提案する。
論文 参考訳(メタデータ) (2026-08-26T08:25:15Z) - TRADE: Transducer-Augmented Decoder for Speech LLM [52.69726809996728]
音声大言語モデル(Speech LLM)は、ストリーミング推論の原理的なメカニズムを欠いている。
音声エンコーダを共有するトランスデューサブランチでマルチモーダルLLMを増強するTRADE TRansducer-Augmented DEcoderを提案する。
3つの設計上の選択により、システムは正確で、ストリーミング可能で、長い形にすることができる。
論文 参考訳(メタデータ) (2026-06-07T07:15:34Z) - Fast-VGAN: Lightweight Voice Conversion with Explicit Control of F0 and Duration Parameters [7.865191493201841]
ピッチ、持続時間、発話速度などの音声特性の制御は、音声変換の分野において重要な課題である。
本稿では、基本周波数(F0)、音素配列、強度、話者識別を改良する手段を提供することを目的とした畳み込みニューラルネットワークに基づくアプローチを提案する。
提案手法は,高い可知性と話者類似性を維持しつつ,高い柔軟性を提供することを示す。
論文 参考訳(メタデータ) (2025-07-07T09:36:00Z) - Large Language Models are Strong Audio-Visual Speech Recognition Learners [53.142635674428874]
マルチモーダル・大規模言語モデル(MLLM)は,近年,多モーダル理解能力の強化により,研究の焦点となっている。
本稿では,Llama-AVSRを提案する。
我々は,最大公的なAVSRベンチマークであるLSS3に対する提案手法を評価し,WERが0.79%,AVSRが0.77%であるASRとAVSRのタスクに対して,新しい最先端の結果が得られることを示した。
論文 参考訳(メタデータ) (2024-09-18T21:17:27Z) - CMGAN: Conformer-Based Metric-GAN for Monaural Speech Enhancement [5.766499647507758]
さらに、時間周波数(TF)領域における音声強調(SE)のためのコンバータベース計量生成逆ネットワーク(CMGAN)モデルを開発した。
以上の結果から,CMGANは3つの主要な音声強調課題において,既存の最先端手法よりも優れていた。
論文 参考訳(メタデータ) (2022-09-22T15:50:21Z) - Robust Disentangled Variational Speech Representation Learning for
Zero-shot Voice Conversion [34.139871476234205]
自己教師付き不協和音声表現学習の新たな視点からゼロショット音声変換について検討する。
任意の話者埋め込みとコンテンツ埋め込みとを逐次変分オートエンコーダ(VAE)デコーダに供給してゼロショット音声変換を行う。
TIMIT と VCTK のデータセットでは,話者の埋め込みとコンテンツ埋め込みに関する話者検証 (SV) と主観的評価,すなわち音声の自然性や類似性を両立させ,ノイズのある音源/ターゲット発話においても頑健である。
論文 参考訳(メタデータ) (2022-03-30T23:03:19Z) - VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised
Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。
コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。
実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
論文 参考訳(メタデータ) (2021-06-18T13:50:38Z) - Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence
Modeling [61.351967629600594]
本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。
本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。
主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
論文 参考訳(メタデータ) (2020-09-06T13:01:06Z) - SpEx: Multi-Scale Time Domain Speaker Extraction Network [89.00319878262005]
話者抽出は、ターゲット話者の声を複数話者環境から抽出することで、人間の選択的な聴覚的注意を模倣することを目的としている。
周波数領域の抽出を行い、抽出した大きさと推定位相スペクトルから時間領域信号を再構成することが一般的である。
本研究では,混合音声を音声信号を大域・位相スペクトルに分解する代わりに,マルチスケールの埋め込み係数に変換する時間領域話者抽出ネットワーク(SpEx)を提案する。
論文 参考訳(メタデータ) (2020-04-17T16:13:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。