論文の概要: Improving Code-Switching Speech Recognition with TTS Data Augmentation

• arxiv url: http://arxiv.org/abs/2601.00935v1
• Date: Fri, 02 Jan 2026 10:11:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:21.868877
• Title: Improving Code-Switching Speech Recognition with TTS Data Augmentation
• Title（参考訳）: TTSデータ拡張によるコードスイッチング音声認識の改善
• Authors: Yue Heng Yeo, Yuchen Hu, Shreyas Gopal, Yizhou Peng, Hexin Liu, Eng Siong Chng,
• Abstract要約: 本稿では,この不足に対処する効果的なデータ拡張手法として,多言語テキスト音声(TTS)モデルについて検討する。 我々は、SEAMEデータセット上の多言語CosyVoice2 TTSモデルを微調整し、中国語と英語の合成音声を生成する。
• 参考スコア（独自算出の注目度）: 58.34842693152991
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic speech recognition (ASR) for conversational code-switching speech remains challenging due to the scarcity of realistic, high-quality labeled speech data. This paper explores multilingual text-to-speech (TTS) models as an effective data augmentation technique to address this shortage. Specifically, we fine-tune the multilingual CosyVoice2 TTS model on the SEAME dataset to generate synthetic conversational Chinese-English code-switching speech, significantly increasing the quantity and speaker diversity of available training data. Our experiments demonstrate that augmenting real speech with synthetic speech reduces the mixed error rate (MER) from 12.1 percent to 10.1 percent on DevMan and from 17.8 percent to 16.0 percent on DevSGE, indicating consistent performance gains. These results confirm that multilingual TTS is an effective and practical tool for enhancing ASR robustness in low-resource conversational code-switching scenarios.
• Abstract（参考訳）: 会話音声の自動音声認識 (ASR) は, 現実的, 高品質なラベル付き音声データの不足により, 依然として困難である。 本稿では,この不足に対処する効果的なデータ拡張手法として,多言語テキスト音声(TTS)モデルについて検討する。 具体的には、SEAMEデータセット上の多言語CosyVoice2 TTSモデルを微調整し、中国語と英語の合成音声を生成することで、利用可能なトレーニングデータの量と話者の多様性を著しく向上させる。 我々の実験は、合成音声による実音声の増強により、混合誤り率(MER)がDevManで12.1%から10.1%、DevSGEで17.8%から16.0%に低下し、一貫したパフォーマンス向上を示すことを示した。 これらの結果から,マルチリンガルTSは低リソースの対話型コードスイッチングシナリオにおいて,ASRの堅牢性を高めるための効果的かつ実用的なツールであることが確認された。

関連論文リスト

• From Tens of Hours to Tens of Thousands: Scaling Back-Translation for Speech Recognition [14.155874873165853]
  Speech Back-Translationは、大規模テキストコーパスを合成音声に変換することで、多言語ASRモデルを改善するスケーラブルなパイプラインである。 10言語で50,000時間以上の合成音声を生成し、Whisper-large-v3の事前学習を継続し、平均転写誤りを30%以上削減する。
  論文  参考訳（メタデータ） (2025-05-22T17:51:05Z)
• An Exhaustive Evaluation of TTS- and VC-based Data Augmentation for ASR [12.197936305117407]
  近年,テキスト音声変換 (TTS) や音声変換 (VC) による合成データによる自動音声認識システムの訓練データの増加が注目されている。 我々は,最近提案されたフローベースTS/VCモデルを活用し,複数のASRモデルにより達成された単語誤り率(WER)に対する様々な音声属性の増大の影響を評価する。
  論文  参考訳（メタデータ） (2025-03-11T23:09:06Z)
• Improving Accented Speech Recognition using Data Augmentation based on Unsupervised Text-to-Speech Synthesis [30.97784092953007]
  本稿では、アクセント付き音声認識を改善するためのデータ拡張手法として、教師なし音声合成(TTS)の使用について検討する。 TTSシステムは、手書き文字起こしではなく、少量のアクセント付き音声訓練データとそれらの擬似ラベルで訓練される。 この手法により,アクセント付き音声認識のためのデータ拡張を行うために,手書きの書き起こしを伴わないアクセント付き音声データを使用することが可能である。
  論文  参考訳（メタデータ） (2024-07-04T16:42:24Z)
• Improving Code-Switching and Named Entity Recognition in ASR with Speech Editing based Data Augmentation [22.38340990398735]
  テキストベースの音声編集モデルを適用して,新たなデータ拡張手法を提案する。 コードスイッチングとNERタスクの実験結果から,提案手法は音声スプライシングとニューラルTSに基づくデータ拡張システムよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-14T15:50:13Z)
• Code-Switching Text Generation and Injection in Mandarin-English ASR [57.57570417273262]
  業界で広く使われているストリーミングモデルTransformer-Transducer(T-T)の性能向上のためのテキスト生成とインジェクションについて検討する。 まず、コードスイッチングテキストデータを生成し、テキスト-to-Speech(TTS)変換または暗黙的に音声とテキストの潜在空間を結び付けることによって、T-Tモデルに生成されたテキストを明示的に注入する戦略を提案する。 実際のマンダリン・イングリッシュ音声の1,800時間を含むデータセットを用いて訓練したT-Tモデルの実験結果から,生成したコードスイッチングテキストを注入する手法により,T-Tモデルの性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2023-03-20T09:13:27Z)
• Language-agnostic Code-Switching in Sequence-To-Sequence Speech Recognition [62.997667081978825]
  コードスイッチング(Code-Switching, CS)とは、異なる言語の単語やフレーズを交互に使用する現象である。 本稿では,異なるソース言語の音声および対応するラベルを転写する,シンプルで効果的なデータ拡張手法を提案する。 さらに,5,03%のWERによるトレーニング中に見つからない文間言語スイッチにおいて,モデルの性能を向上できることを示す。
  論文  参考訳（メタデータ） (2022-10-17T12:15:57Z)
• MixSpeech: Data Augmentation for Low-resource Automatic Speech Recognition [54.84624870942339]
  MixSpeechは、自動音声認識(ASR)のためのミックスアップに基づくシンプルで効果的なデータ拡張方法です。 mixspeechをlas(listen, attend, spell)とtransformerを含む2つのポピュラーなエンドツーエンド音声認識モデルに適用した。 実験の結果,MixSpeechはデータ拡張のないベースラインモデルよりも精度が高いことがわかった。
  論文  参考訳（メタデータ） (2021-02-25T03:40:43Z)
• LRSpeech: Extremely Low-Resource Speech Synthesis and Recognition [148.43282526983637]
  データコストの低い言語のためのTLSおよびASRシステムであるLSpeechを開発した。 実験言語(英語)と真の低リソース言語(リトアニア語)で実験を行い,LRSpeechの有効性を検証する。 現在、より稀な言語でTSをサポートするために、商用のクラウド音声サービスにLSpeechをデプロイしています。
  論文  参考訳（メタデータ） (2020-08-09T08:16:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。