論文の概要: Speaker Identity in Non-Verbal Vocalizations: Conditional Distillation and Mixture of Experts Approach

• arxiv url: http://arxiv.org/abs/2606.21215v1
• Date: Fri, 19 Jun 2026 08:32:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 07:20:11.503854
• Title: Speaker Identity in Non-Verbal Vocalizations: Conditional Distillation and Mixture of Experts Approach
• Title（参考訳）: 非言語ボカライゼーションにおける話者識別:条件付き蒸留とエキスパートアプローチの混合
• Authors: Tzu-Chieh Wei, Yi-Cheng Lin, Huang-Cheng Chou, Kuan-Yu Chen, Hsin-Yen Sung, Shrikanth Narayanan, Hung-yi Lee,
• Abstract要約: 10種類の非言語発声(NVV)を対象とした最初の系統的研究について述べる。 本研究では,Data2Vec の自己教師機能と ECAPA-TDNN を組み合わせたフレームワークを提案し,Mixture of Experts (MoE) モジュールと学習ドメイン認識ルーティングを併用した。 事前訓練された教師による音声入力に対する条件付き蒸留損失は音声合成精度を保ち、対照的な損失は音声-NVV領域ギャップを橋渡しする。
• 参考スコア（独自算出の注目度）: 70.31217233606066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As expressive text-to-speech (TTS) and voice conversion (VC) systems increasingly generate non-verbal vocalizations (NVVs) to enhance naturalness, reliable speaker verification (SV) becomes essential to objectively assess identity consistency across both verbal and non-verbal segments. Yet current SV systems generalize poorly to NVVs, and fine-tuning on NVV data causes catastrophic forgetting of speech performance. We present the first systematic study across 10 NVV types and propose a framework combining frozen Data2Vec self-supervised features with ECAPA-TDNN, enhanced by a Mixture of Experts (MoE) module with learned domain-aware routing. A conditional distillation loss on speech inputs via a pretrained teacher retains speech-to-speech accuracy, while a contrastive loss bridges the speech-NVV domain gap. Our method reduces speech-NVV EER from 38.93% to 22.66% over a pretrained baseline, and improves speech EER from 13.17% to 9.24% via distillation.
• Abstract（参考訳）: 表現的テキスト音声変換 (TTS) と音声変換 (VC) が自然性を高めるために非言語音声化 (NVV) をますます生み出すため, 話者の信頼度検証 (SV) は, 言語セグメントと非言語セグメントの双方におけるアイデンティティの整合性を客観的に評価するために欠かせないものとなる。 しかし、現在のSVシステムは、NVVに悪影響を及ぼし、NVVデータの微調整は、音声性能を壊滅的に忘れてしまう。 10個のNVVタイプにまたがる最初の系統的研究を行い、学習ドメイン認識ルーティングを備えたMixture of Experts (MoE)モジュールによって強化された、凍結したData2Vecの自己教師機能とETPA-TDNNを組み合わせたフレームワークを提案する。 事前訓練された教師による音声入力に対する条件付き蒸留損失は音声合成精度を保ち、対照的な損失は音声-NVV領域ギャップを橋渡しする。 本手法は, プレトレーニングベースライン上での音声NVV EERの38.93%から22.66%に削減し, 蒸留による音声EERの13.17%から9.24%に改善する。

関連論文リスト

• From Silent Signals to Natural Language: A Dual-Stage Transformer-LLM Approach [0.0]
  本稿では,変圧器をベースとした音響モデルと,後処理のための大規模言語モデル(LLM)を組み合わせた音声認識フレームワークを提案する。 実験の結果,単語誤り率 (WER) は36%の基準で16%, 単語誤り率 (WER) は6%低下した。
  論文  参考訳（メタデータ） (2025-09-02T16:13:29Z)
• Investigation of Data Augmentation Techniques for Disordered Speech Recognition [69.50670302435174]
  本稿では,不規則音声認識のための一連のデータ拡張手法について検討する。 正常な音声と無秩序な音声の両方が増強過程に利用された。 UASpeechコーパスを用いた最終話者適応システムと、最大2.92%の絶対単語誤り率(WER)の速度摂動に基づく最良の拡張アプローチ
  論文  参考訳（メタデータ） (2022-01-14T17:09:22Z)
• Private Language Model Adaptation for Speech Recognition [15.726921748859393]
  音声モデルの適応は、サーバ側のプロキシトレーニングデータとユーザのローカルデバイスで受信した実際のデータとの相違を扱うために不可欠である。 本稿では,ニューラルネットワーク言語モデル(NNLM)を,音声認識に応用したプライベートデバイスに継続的に適用するための効率的なアプローチを提案する。
  論文  参考訳（メタデータ） (2021-09-28T00:15:43Z)
• Injecting Text in Self-Supervised Speech Pretraining [33.676479965610774]
  我々は,2つの異なるモーダル(音声とテキスト)から事前学習中の表現を共同学習することを提案する。 tts4pretrainは自己スーパービジョンにおけるコントラスト学習のパワーを補完する。 We demonstrate Word Error Rate (WER) reductions of 10% relative on the well-benchmarked, Librispeech task。
  論文  参考訳（メタデータ） (2021-08-27T11:36:40Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)
• End-to-End Spoken Language Understanding for Generalized Voice Assistants [15.241812584273886]
  商用音声アシスタント(VA)における一般化音声認識のためのE2Eモデル構築のためのアプローチを提案する。 本研究では,ASRレベルとNLUレベルの両方で事前学習が可能な,完全に微分可能なトランスフォーマーベースの階層システムを提案する。 これは転写と意味分類の両方の損失に基づいて微調整され、多種多様な意図と引数の組み合わせを扱う。
  論文  参考訳（メタデータ） (2021-06-16T17:56:47Z)
• Dynamic Acoustic Unit Augmentation With BPE-Dropout for Low-Resource End-to-End Speech Recognition [62.94773371761236]
  我々は、OOVレートの高い低リソースセットアップで効果的なエンドツーエンドASRシステムを構築することを検討します。 本稿では,BPE-dropout法に基づく動的音響ユニット拡張法を提案する。 我々の単言語トルココンフォーマーは22.2%の文字誤り率(CER)と38.9%の単語誤り率(WER)の競争結果を確立した。
  論文  参考訳（メタデータ） (2021-03-12T10:10:13Z)
• UniSpeech: Unified Speech Representation Learning with Labeled and Unlabeled Data [54.733889961024445]
  ラベル付きデータとラベル付きデータの両方を用いて音声表現を学習するためのUniSpeechという統合事前学習手法を提案する。 公立CommonVoiceコーパス上での言語間表現学習におけるUniSpeechの有効性を評価する。
  論文  参考訳（メタデータ） (2021-01-19T12:53:43Z)
• Data augmentation using prosody and false starts to recognize non-native children's speech [12.911954427107977]
  本稿では,AaltoASRによるInterSPEECH 2020共有音声認識タスクのための音声認識システムについて述べる。 本研究の課題は, 年齢の異なる子どもから, 限られた発話量で非母国語を識別することである。
  論文  参考訳（メタデータ） (2020-08-29T05:32:32Z)
• Continuous Speech Separation with Conformer [60.938212082732775]
  分離システムでは、リカレントニューラルネットワークの代わりにトランスとコンバータを用いる。 我々は,自己注意に基づく方法でグローバルな情報を取得することが,音声分離に不可欠であると信じている。
  論文  参考訳（メタデータ） (2020-08-13T09:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。