論文の概要: Modeling, Scaling, and Decoding: Optimizing Controllable Speech Generation with Nonverbal Vocalizations

• arxiv url: http://arxiv.org/abs/2609.14231v1
• Date: Sun, 13 Sep 2026 01:48:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.766797
• Title: Modeling, Scaling, and Decoding: Optimizing Controllable Speech Generation with Nonverbal Vocalizations
• Title（参考訳）: モデリング、スケーリング、デコード:非言語ボカライゼーションによる制御可能な音声生成の最適化
• Abstract要約: 我々は、連続音声の潜時をモデル化し、16のターゲットNVVカテゴリを専用のTo-kenとしてエンコードし、音声の中間発声を発話境界から区別するために停止予測を適用する、NVV対応のDiTARシステムを開発した。 公式の重み付きバイリンガルスコアは62.786で、マンダリンでは第1位、英語では第2位、ISCSLP 2026 NVVSpeech Challengeでは第2位となっている。
• 参考スコア（独自算出の注目度）: 13.518435276876973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Controllable synthesis of nonverbal vocalizations (NVVs) is es- sential for natural and expressive speech, but remains challeng- ing due to their acoustic diversity and imbalanced distribution in existing corpora. To address these challenges, we develop an NVV-aware DiTAR system that models continuous speech latents, encodes the 16 target NVV categories as dedicated to- kens, and adapts stop prediction to distinguish mid-utterance vocalizations from utterance boundaries. Training begins with large-scale bilingual pre-training on diverse NVV speech, fol- lowed by continued supervised fine-tuning on a corpus en- hanced through targeted synthetic augmentation and frequency- aware rebalancing. At inference time, we select the acoustic prompt, tune the LM-guidance and noise-injection scales, and apply Best-of-N sampling with multi-metric selection to re- duce generation failures. The final system achieves an official weighted bilingual score of 62.786, ranking first in Mandarin, second in English, and first overall among participating systems in Track 2 of the ISCSLP 2026 NVVSpeech Challenge. Ab- lation studies show that targeted augmentation benefits under- represented NVV categories the most, while robust candidate selection requires balancing NVV correctness, lexical fidelity, and perceptual quality.
• Abstract（参考訳）: 非言語発声(NVVs)の制御可能な合成は、自然および表現的発話には必須であるが、既存のコーパスの音響的多様性と不均衡分布のため、チャレン・シンのままである。 これらの課題に対処するため、我々は、連続音声潜時をモデル化し、16のターゲットNVVカテゴリを専用のTo-kenとして符号化し、停止予測を適用して、発話境界から中音発声を区別する、NVV対応のDiTARシステムを開発した。 訓練は、多種多様なNVV音声に対する大規模なバイリンガル事前訓練から始まり、標的となる合成増強と周波数対応リバランシングを通じて、コーパスの教師付き微調整を継続することで、folを低くする。 Inference time, we select the acoustic prompt, tune the LM-guidance and noise-injection scales, and apply Best-of-N sample with multi-metric selection to re-duce generation failures。 最終システムは公式の重み付きバイリンガルスコア62.786を達成し、マンダリンでは第1位、英語では第2位、ISCSLP 2026 NVVSpeech Challengeでは第2位となった。 Ab-lationによる研究によると、ターゲット増強効果は最も多く、頑健な候補選択にはNVVの正当性、語彙的忠実性、知覚的品質のバランスが必要である。

関連論文リスト

• Speaker Identity in Non-Verbal Vocalizations: Conditional Distillation and Mixture of Experts Approach [70.31217233606066]
  10種類の非言語発声(NVV)を対象とした最初の系統的研究について述べる。 本研究では,Data2Vec の自己教師機能と ECAPA-TDNN を組み合わせたフレームワークを提案し,Mixture of Experts (MoE) モジュールと学習ドメイン認識ルーティングを併用した。 事前訓練された教師による音声入力に対する条件付き蒸留損失は音声合成精度を保ち、対照的な損失は音声-NVV領域ギャップを橋渡しする。
  論文  参考訳（メタデータ） (2026-06-19T08:32:07Z)
• Optimizing Conversational Quality in Spoken Dialogue Systems with Reinforcement Learning from AI Feedback [82.70507055599093]
  本稿では,マルチターン・チェーン・オブ・ソートモデルとブロックワイド・デュプレックスモデルの両方において,SDSの品質向上のための選好学習に関する最初の体系的研究を行う。 実験により, 単一回帰RLAIFは目標距離を選択的に改善し, 連立多重回帰学習は意味的品質と音声の自然性において一貫した利得が得られることが示された。
  論文  参考訳（メタデータ） (2026-01-27T00:55:14Z)
• Seewo's Submission to MLC-SLM: Lessons learned from Speech Reasoning Language Models [4.917936997225074]
  MLC-SLM(Multilingual Conversational Speech Language Model Challenge)の両トラック用システム ASRのための音声モデルにおいて、推論と自己補正を明確に強化する多段階学習パイプラインを導入する。
  論文  参考訳（メタデータ） (2025-06-16T09:42:05Z)
• Speechworthy Instruction-tuned Language Models [71.8586707840169]
  提案手法は,学習の促進と嗜好の両面において,一般的な命令調整型LLMの音声適合性の向上を図っている。 我々は,各手法が生成した応答の音声適合性向上にどのように貢献するかを示すために,語彙的,構文的,定性的な分析を共有する。
  論文  参考訳（メタデータ） (2024-09-23T02:34:42Z)
• Homogeneous Speaker Features for On-the-Fly Dysarthric and Elderly Speaker Adaptation [71.31331402404662]
  本稿では, 変形性関節症と高齢者の話者レベルの特徴を学習するための2つの新しいデータ効率手法を提案する。 話者規則化スペクトルベース埋め込み-SBE特徴は、特別な正規化項を利用して適応における話者特徴の均一性を強制する。 テスト時間適応において、話者レベルのデータ量に敏感であることが示されるVR-LH機能に規定されている特徴ベースの学習隠れユニットコントリビューション(f-LHUC)。
  論文  参考訳（メタデータ） (2024-07-08T18:20:24Z)
• Supervised Acoustic Embeddings And Their Transferability Across Languages [2.28438857884398]
  音声認識においては、話者変動や雑音など無関係な要因を排除しつつ、入力信号の音声内容のモデル化が不可欠である。 自己教師付き事前学習は、教師付き音声認識と教師なし音声認識の両方を改善する方法として提案されている。
  論文  参考訳（メタデータ） (2023-01-03T09:37:24Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。