論文の概要: Latent Softmax for Data-Efficient Phoneme-Based Multilingual ASR Across Tonal and Non-Tonal Languages

• arxiv url: http://arxiv.org/abs/2608.01281v1
• Date: Sun, 02 Aug 2026 14:45:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.147135
• Title: Latent Softmax for Data-Efficient Phoneme-Based Multilingual ASR Across Tonal and Non-Tonal Languages
• Title（参考訳）: データ効率の良い音素ベース多言語ASRにおける音素言語と非音素言語間の潜在ソフトマックス
• Authors: Saierdaer Yusuyin, Nanling Jiang, Hao Huang, Zhijian Ou,
• Abstract要約: 音素に基づく多言語自動音声認識は、言語固有のサブワードモデリングよりも直接言語間で音響的証拠を共有することができる。 本稿では,音符付き母音をサブクラスとして,ベース母音を主要クラスとしてモデル化した接続性時間分類(CTC)互換の出力層であるLatent Softmaxを提案する。 AISHELL-1 Mandarin と LibriSpeech English の実験では、Latent Softmax はAISHELL-1 で8.4%、LibriSpeech テストクリーンで17.5%、テストオーバーで12.6%、標準ソフトマックス多言語ベースラインでの音声と音声の誤り率を8.4%削減している。
• 参考スコア（独自算出の注目度）: 7.459050312397195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Phoneme-based multilingual automatic speech recognition (ASR) can share acoustic evidence across languages more directly than language-specific subword modeling. When tonal and non-tonal languages are jointly trained, however, their supervision granularity does not match: tonal languages annotate tone-marked vowels, whereas non-tonal languages typically provide only base-vowel labels. A standard softmax either treats the two as unrelated classes, weakening cross-lingual sharing, or collapses tones, losing distinctions required by tonal languages. We propose Latent Softmax, a connectionist temporal classification (CTC)-compatible output layer that models tone-marked vowels as subclasses and base vowels as major classes, while consonants and the CTC blank remain singleton labels. When only a base-vowel major-class label is observed, the tone-marked vowel subclass is treated as latent and marginalized out. Multilingual experiments on AISHELL-1 Mandarin and LibriSpeech English show that Latent Softmax reduces speech-to-phoneme (S2P) phoneme error rates over a standard softmax multilingual baseline by 8.4% on AISHELL-1, 17.5% on LibriSpeech test-clean, and 12.6% on test-other. The improved speech-to-phoneme encoders also yield consistent word error rate gains for both large-language-model phoneme-to-grapheme conversion and projector-based interfaces. After code-switching adaptation, Latent Softmax further reduces projector-based mixed error rate by 2.6% on ASRU2019 and 9.5% on CS-Dialogue datasets.
• Abstract（参考訳）: 音素に基づく多言語自動音声認識(ASR)は、言語固有のサブワードモデリングよりも直接言語間で音響的証拠を共有することができる。 しかし、音節言語と非音節言語が共同で訓練される場合、その監督的粒度は一致しない:音節言語は音調マーク付き母音を注釈付けするが、非音節言語は通常、基本母音ラベルのみを提供する。 標準的なソフトマックスは、この2つを無関係なクラスとして扱い、言語間の共有を弱めるか、あるいは音調を崩壊させ、声調言語によって要求される区別を失う。 我々は,音符付き母音をサブクラス,ベース母音を主要クラスとしてモデル化する接続性時間分類(CTC)互換の出力層であるLatent Softmaxを提案し,子音とCTCブランクはシングルトンラベルのままである。 基本母音のみのメジャークラスラベルが観測されると、トーンマーク付き母音サブクラスが潜在格として扱われる。 AISHELL-1 の Mandarin と LibriSpeech の多言語実験では、Latent Softmax は標準ソフトマックスの多言語ベースライン上での音声音素誤り率を8.4%、LibriSpeech のテストクリーンでは17.5%、他のテストクリーンでは12.6%削減している。 改良された音声-音素エンコーダは、大言語-モデル音素-音素変換とプロジェクタベースインタフェースの両方に対して、一貫した単語誤り率を得る。 コードスイッチの適応の後、Latent SoftmaxはASRU2019では2.6%、CS-Dialogueデータセットでは9.5%削減した。

関連論文リスト

• Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
  言語間の文エンコーダは通常、数百の言語をカバーしている。 我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
  論文  参考訳（メタデータ） (2026-03-17T14:47:35Z)
• PRiSM: Benchmarking Phone Realization in Speech Models [70.82595415252682]
  音声認識(PR)は言語に依存しない言語間音声処理と音声解析のためのアトミックインタフェースとして機能する。 PRiSMは、音声知覚における盲点を明らかにするために設計された、最初のオープンソースベンチマークである。
  論文  参考訳（メタデータ） (2026-01-20T15:00:36Z)
• Whisper Speaker Identification: Leveraging Pre-Trained Multilingual Transformers for Robust Speaker Embeddings [0.0]
  我々は,Whisper自動音声認識モデルを多言語データに基づいて事前訓練したフレームワークであるWSI(Whisper Speaker Identification)を提案する。 本稿では,Whisper言語に依存しない音響表現の活用により,多様な言語にまたがる話者を効果的に区別する。
  論文  参考訳（メタデータ） (2025-03-13T15:11:28Z)
• Fleurs-SLU: A Massively Multilingual Benchmark for Spoken Language Understanding [7.973470389066757]
  形式的な書記体系を欠いているすべての生きた言語の半数には、音声言語理解が不可欠である。 Fleurs-SLUベンチマークは102言語における話題発声分類のための692時間の音声にまたがる。 我々は、Fleurs-SLU上でのエンドツーエンド音声分類モデル、音声からテキストへの書き起こしとその後のLLMに基づく分類とを組み合わせたケースドシステム、マルチモーダル音声-LLMを評価する。
  論文  参考訳（メタデータ） (2025-01-10T17:15:38Z)
• Multilingual self-supervised speech representations improve the speech recognition of low-resource African languages with codeswitching [65.74653592668743]
  微細な自己教師型多言語表現は絶対単語誤り率を最大20%削減する。 訓練データに制限のある状況では、自己教師付き表現を微調整することが、より良いパフォーマンスと実行可能なソリューションである。
  論文  参考訳（メタデータ） (2023-11-25T17:05:21Z)
• The taste of IPA: Towards open-vocabulary keyword spotting and forced alignment in any language [7.0944623704102625]
  音声処理のための音素モデルにより、未知の言語に対して強い言語横断的一般化が達成できることを示す。 任意の音声信号と音素シーケンスの開語彙マッチングが可能な多言語音声合成コントラスト埋め込みモデルであるCLAP-IPAを提案する。
  論文  参考訳（メタデータ） (2023-11-14T17:09:07Z)
• Generative Spoken Language Model based on continuous word-sized audio tokens [52.081868603603844]
  本稿では,単語サイズ連続評価音声埋め込みに基づく生成音声言語モデルを提案する。 結果として得られるモデルは、単語サイズの連続埋め込みに基づく最初の生成言語モデルである。
  論文  参考訳（メタデータ） (2023-10-08T16:46:14Z)
• Universal Phone Recognition with a Multilingual Allophone System [135.2254086165086]
  言語に依存しない音素分布と言語に依存しない音素分布の連成モデルを提案する。 11言語での多言語ASR実験では、このモデルにより2%の音素誤り率でテスト性能が向上することがわかった。 我々の認識器は17%以上の精度向上を実現し、世界中のすべての言語で音声認識に一歩近づいた。
  論文  参考訳（メタデータ） (2020-02-26T21:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。