論文の概要: Nepali-English Code-Mixed Speech Recognition: Data Preparation and Adaptation of a Speech Foundation Model
- arxiv url: http://arxiv.org/abs/2611.13512v1
- Date: Tue, 10 Nov 2026 03:39:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:24:43.681206
- Title: Nepali-English Code-Mixed Speech Recognition: Data Preparation and Adaptation of a Speech Foundation Model
- Title(参考訳): ネパール英語のコードミキシング音声認識:音声基礎モデルのデータ作成と適応
- Abstract要約: ネパールの6つの音声領域をカバーする172.8時間コーパスを用いて、449MパラメータハイブリッドTDT-CTCモデルであるSraVaaniの適応方法を検討する。
数に対するネパール語と英語の読み出しを生成し、ゼロショットのASR出力を用いて可算形式を選択する。
完全な微調整により、テストワードエラー率(WER)は48.6%から17.1%に低下し、12エポックランは16.3%に達した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Nepali speakers regularly mix English words into conversation, but multilingual speech recognisers often struggle with language switches and the writing script used for English words. We study how to adapt SraVaani, a 449M-parameter hybrid TDT-CTC model, using a 172.8-hour corpus covering six Nepali speech domains. Its pretrained tokenizer does not support digits and several common symbols. Rather than replace it or discard these recordings, we generate Nepali and English readings for numbers and use zero-shot ASR output to select a plausible form. Full fine-tuning reduces test word error rate (WER) from 48.6% to 17.1%; a 12-epoch run reaches 16.3%, compared with 16.4% for fine-tuned Whisper large-v3-turbo. Freezing the encoder increases WER to 25.5%, while excluding numeric clips raises WER on numeric test speech from 14.3% to 21.3%. We also evaluate on FLEURS using both its original references and mixed-script alternatives. The comparison shows that transcription conventions explain part, but not all, of the out-of-domain performance loss.
- Abstract(参考訳): ネパール語話者は英語の単語を会話に混ぜることが多いが、多言語話者は言語スイッチや英語の単語に使用される文字に悩まされることが多い。
ネパールの6つの音声領域をカバーする172.8時間コーパスを用いて, 449MパラメータハイブリッドTDT-CTCモデルであるSraVaaniの適応方法を検討した。
その事前訓練されたトークン化子は、桁といくつかの共通シンボルをサポートしない。
これらのレコードを置き換えたり破棄する代わりに、数に対するネパール語と英語の読み出しを生成し、ゼロショットのASR出力を使用して、可算形式を選択する。
完全な微調整により、テストワードエラー率(WER)は48.6%から17.1%に低下し、12エポックランは16.3%に達した。
エンコーダの凍結は WER を 25.5% に増加させ、数値クリップを除くと WER は 14.3% から 21.3% に増加する。
また、FLEURSのオリジナルの参照と混合スクリプトの代替を併用して、FLEURSの評価を行った。
比較の結果、書き起こし規則はドメイン外のパフォーマンス損失の一部を説明できるが、全てではない。
関連論文リスト
- Alania-2: Turkish text-to-speech with instant and fine-tuned voice cloning [0.0]
アラニア-2 (Alania-2) はトルコの音声合成システムである。
我々は、トルコ語18,195時間のスピーチをゼロからトレーニングし、その90%は、より大きな教師モデルによって生成され、自動的にフィルタリングされる合成音声である。
Freya-TR-Evalでは、自動音声認識による495のトルコ語文の公開ベンチマークを行い、Alania-2は従来の5.99%に比べて1.44%の単語誤り率に達した。
論文 参考訳(メタデータ) (2026-11-10T10:04:47Z) - Synthetic-to-Real Code-Switched ASR: A Spontaneous Nepali-English Podcast Benchmark [0.0]
ネパール英語のコードスイッチによる会話音声は、音声認識において深刻な課題を呈している。
我々は、13,044の自発ポッドキャスト発話のベンチマークをキュレートする。
我々は、合成SFTが、自然発声音声への一次クロスドメイン転送を提供することを発見した。
論文 参考訳(メタデータ) (2026-10-22T07:41:21Z) - Orukeet: Multilingual ASR with Frozen Gabor Kernels [1.4085555227308877]
Orukeetは、適応されたParakeetエンコーダの時間フィルタの半分を12,288個のGaborカーネルに置き換えた。
20,146人のFLEURSが25言語で録音し、プールドワードエラーレート(WER)はパラキートの11.01%からオルーキートの9.85%に落ちている。
論文 参考訳(メタデータ) (2026-09-09T11:30:03Z) - Vowel Signs Are Not Letters: A Pre-tokenization Ceiling on Multilingual Tokenizer Fertility [0.0]
バグダスクリプトでは、母音は結合マークとして書かれており、このパターンは各母音記号でそれぞれの単語を分割する。
BPEはプレトーケン内でのみマージするため、これらの分割は語彙サイズやコーパス構成に関係なくトレーニングを通じて持続する。
平行コーパスから26の言語にまたがって、17のバグダのうち1つが影響を受けており、それらは1.47倍(チベット語)から9.02倍(タイ語)まで様々である。
5つの言語では、この文字クラスでのみ異なる一致するトークン化器ペアが予測フロアの2.2%以内に落ち、ネパール語では1語当たりのトークンが4.78、ネパール語では1.58である。
論文 参考訳(メタデータ) (2026-08-26T22:56:24Z) - Voice Memory for Agentic Speech Recognition [66.69623133635868]
エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。
同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。
10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
論文 参考訳(メタデータ) (2026-07-29T02:42:56Z) - Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
言語間の文エンコーダは通常、数百の言語をカバーしている。
我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
論文 参考訳(メタデータ) (2026-03-17T14:47:35Z) - The Script Tax: Measuring Tokenization-Driven Efficiency and Latency Disparities in Multilingual Language Models [0.0]
2つの正書法変種を同一言語内容と比較することにより,スクリプト税の定量化を行う。
mBERT と XLM-R にまたがって、高いフラッゲーションの正書法は、受精率を3.4倍に向上させる。
サブワードの断片化から「NLLパラドックス」を避けるために、文字単位のビット(BPC)を用いることで、情報コストが大幅に増加することが分かる。
論文 参考訳(メタデータ) (2026-01-19T14:45:40Z) - Improving Code-Switching Speech Recognition with TTS Data Augmentation [58.34842693152991]
本稿では,この不足に対処する効果的なデータ拡張手法として,多言語テキスト音声(TTS)モデルについて検討する。
我々は、SEAMEデータセット上の多言語CosyVoice2 TTSモデルを微調整し、中国語と英語の合成音声を生成する。
論文 参考訳(メタデータ) (2026-01-02T10:11:51Z) - DialectGen: Benchmarking and Improving Dialect Robustness in Multimodal Generation [111.94720088481614]
多モーダル生成モデルは方言テキスト入力を効果的に生成できるのか?
6つの共通英語方言にまたがる大規模ベンチマークを構築した。
マルチモーダル生成モデルのための一般的なエンコーダに基づく緩和戦略を設計する。
論文 参考訳(メタデータ) (2025-10-16T17:56:55Z) - CS-FLEURS: A Massively Multilingual and Code-Switched Speech Dataset [99.0507412649934]
CS-FLEURSは4つのテストセットから構成されており、52言語にまたがる113の独特な言語ペアをカバーしている。
CS-FLEURSはまた、16のX字対にわたる128時間の生成テキスト音声データのトレーニングセットも提供している。
論文 参考訳(メタデータ) (2025-09-17T16:45:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。