論文の概要: One Mean Log-Mel Vector per Phoneme: Simple and Fast Text Injection for Speech Recognition

• arxiv url: http://arxiv.org/abs/2610.34623v1
• Date: Sun, 25 Oct 2026 22:43:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.649621
• Title: One Mean Log-Mel Vector per Phoneme: Simple and Fast Text Injection for Speech Recognition
• Title（参考訳）: 1音素あたりの平均対数ベクトル:音声認識のための単純かつ高速なテキスト注入
• Abstract要約: テキストインジェクションは、ペアの音声とペアのテキストで音声認識モデルを訓練する。 我々は,テキストから合成した音声エンコーダをフィードし,モデル全体がそこから学習する。 トレーニングはニューラルTSよりも1.8倍高速で、単語エラー率に匹敵する。
• 参考スコア（独自算出の注目度）: 31.32847750271014
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Text injection trains speech recognition models on unpaired text alongside paired audio. We feed the speech encoder synthetic input derived from text so the whole model learns from it. Previously, we synthesized this input with a frozen text-to-speech (TTS) model. Here, a simple lookup table replaces the TTS model: a mean log-mel vector (or one-hot encoding) per phoneme, repeated for a random duration drawn from alignment statistics, with silence between words. Training is 1.8 times faster than with the neural TTS, achieving comparable word error rates. With an external language model, our system reaches 1.36 / 2.90 / 1.52 / 3.24 % WER on LibriSpeech {dev,test}-{clean,other}, to our knowledge state-of-the-art using only LibriSpeech paired data, text, and lexicon. We analyze components of synthetic input (durations, acoustic features), compare different HMM aligners, evaluate scaling on the 25 000 h Loquacious dataset, and show that full-encoder injection yields strong relative improvements compared to partial-encoder and decoder methods. The code of the whole pipeline behind every number in this paper is public: github.com/rwth-i6/returnn-experiments/tree/master/2026-text-injection
• Abstract（参考訳）: テキストインジェクションは、ペアの音声とペアのテキストで音声認識モデルを訓練する。 我々は,テキストから合成した音声エンコーダをフィードし,モデル全体がそこから学習する。 以前は、この入力を凍ったテキスト音声(TTS)モデルで合成していた。 ここでは、単純なルックアップテーブルがTSモデルを置き換える: 平均対数メルベクトル(または1ホット符号化)を音素ごとに繰り返し、アライメント統計から引き出されたランダムな期間を単語間の沈黙で繰り返す。 トレーニングはニューラルTSよりも1.8倍高速で、単語エラー率に匹敵する。 外部言語モデルでは、LibriSpeechのペアデータ、テキスト、辞書のみを用いて、我々の知識の最先端に到達し、Lizispeech {dev,test}-{clean,other} 上の WER の 1.36 / 2.90 / 1.52 / 3.24 % に達する。 合成入力の成分(デュレーション,音響特性)を分析し,異なるHMM整合器を比較し,25,000hLoquaciousデータセットのスケーリングを評価し,部分エンコーダ法やデコーダ法と比較して,フルエンコーダ注入が強い相対的改善をもたらすことを示す。 github.com/rwth-i6/returnn-experiments/tree/master/2026-text-injection

関連論文リスト

• Abjad AI at NADI 2025: CATT-Whisper: Multimodal Diacritic Restoration Using Text and Speech Representations [1.1391158217994781]
  アラビア語の方言文に対する多モーダルアプローチを用いたダイアクリティカル・リカバリ(DR)課題に取り組む。 本稿では,CATT という名前の事前学習モデルから抽出したエンコーダを用いて,テキストのモダリティを表すモデルを提案する。 実験の結果,提案手法は, 単語誤り率0.25, 文字誤り率0.9を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-10-28T09:58:18Z)
• Spark-TTS: An Efficient LLM-Based Text-to-Speech Model with Single-Stream Decoupled Speech Tokens [31.575335190916995]
  本稿では,音声を2つの補完トークンタイプに分解する単一ストリーム音声であるBiCodecを利用した新しいシステムであるSpark-TTSを紹介する。 制御可能なTSの研究を容易にするために,包括的な属性アノテーションを備えた10000時間データセットであるVoxBoxを紹介した。
  論文  参考訳（メタデータ） (2025-03-03T16:23:10Z)
• NaturalSpeech 2: Latent Diffusion Models are Natural and Zero-Shot Speech and Singing Synthesizers [90.83782600932567]
  残差ベクトル化器を備えたニューラルオーディオ予測器を応用して量子化潜在ベクトルを得るTSシステムであるNaturalSpeech 2を開発した。 本研究では,NaturalSpeech 2を44K時間の音声・歌唱データを持つ大規模データセットに拡張し,未知話者の音声品質を評価する。 NaturalSpeech 2は、0ショット設定で、韻律/音節の類似性、合成、音声品質の点で、従来のTSシステムよりはるかに優れている。
  論文  参考訳（メタデータ） (2023-04-18T16:31:59Z)
• SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training [106.34112664893622]
  本稿では,音声エンコーダとテキストデコーダの表現を共有単位エンコーダに接続する,統一モーダル音声単位テキスト事前学習モデルであるSpeechUTを提案する。 提案するSpeechUTは,自動音声認識(ASR)と音声翻訳(ST)タスクに基づいて微調整および評価を行う。
  論文  参考訳（メタデータ） (2022-10-07T17:57:45Z)
• Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired Speech Data [145.95460945321253]
  本稿では,音響単位,すなわち擬似符号を用いたエンコーダ・デコーダネットワークのための2つの事前学習タスクを提案する。 提案したSpeech2Cは,デコーダを事前学習することなく,単語誤り率(WER)を19.2%削減できる。
  論文  参考訳（メタデータ） (2022-03-31T15:33:56Z)
• JETS: Jointly Training FastSpeech2 and HiFi-GAN for End to End Text to Speech [7.476901945542385]
  本稿では、簡易な訓練パイプラインを持ち、個別に学習したモデルのカスケードを上回り、エンドツーエンドのテキスト音声合成(E2E-TTS)モデルを提案する。 提案モデルでは,アライメントモジュールを用いたFastSpeech2とHiFi-GANを併用する。 LJSpeechコーパスの実験では、提案されたモデルはESPNet2-TTSの最先端実装よりも優れていた。
  論文  参考訳（メタデータ） (2022-03-31T07:25:11Z)
• Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
  話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。 変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。 これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-09-12T04:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。