論文の概要: Factorized Delayed Streams Modeling for LLM-based Streaming ASR
- arxiv url: http://arxiv.org/abs/2610.04333v1
- Date: Sat, 03 Oct 2026 06:57:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-12 11:28:08.925465
- Title: Factorized Delayed Streams Modeling for LLM-based Streaming ASR
- Title（参考訳）: LLMに基づくストリーミングASRのための要因付き遅延ストリームモデリング
- Abstract要約: 遅延ストリームモデリング(DSM)により、共通のタイムライン上にアコースティックストリームとテキストストリームをアライメントすることで、ストリーミング自動音声認識(ASR)が可能になる。
本稿では,元のLLM語彙上の分布から,p>の待ち確率を分離するFacterized DSM(F-DSM)を提案する。
Spontaneous Japanese and LibriSpeech のコーパス実験により,F-DSM は DSM よりも優れた認識性能が得られることが示された。
- 参考スコア（独自算出の注目度）: 7.126572326563127
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Delayed Streams Modeling (DSM) enables LLM-based streaming automatic speech recognition (ASR) by aligning acoustic and text streams on a common timeline. DSM adds the padding token <p> and the word-start token <w> to the LLM vocabulary and predicts them together with normal text tokens using the same softmax. We first show that <w> can be removed while maintaining competitive recognition performance. Based on this result, we propose Factorized DSM (F-DSM), which separates the waiting probability for <p> from the distribution over the original LLM vocabulary. This factorization removes ASR-specific tokens from the text prediction space and allows the large-vocabulary softmax to be skipped on waiting steps. Experiments on the Corpus of Spontaneous Japanese and LibriSpeech show that F-DSM achieves better recognition performance than DSM. It also greatly reduces GPU memory use while maintaining similar training throughput, provides a small inference speed improvement through softmax skipping, and reduces the degradation in text-only perplexity observed with DSM.
- Abstract（参考訳）: Delayed Streams Modeling (DSM)は、LLMベースのストリーミング自動音声認識(ASR)を可能にする。
DSMはLLM語彙にパディングトークン<p>とワードスタートトークン<w>を加え、同じソフトマックスを用いて通常のテキストトークンとともに予測する。
まず, 競合認識性能を維持しながら<w>を除去できることを示す。
そこで本研究では,<p> の待ち確率を元の LLM 語彙上の分布から分離するFacterized DSM (F-DSM) を提案する。
この因子化により、テキスト予測空間からASR固有のトークンを取り除き、大きな語彙のソフトマックスを待機ステップでスキップすることができる。
Spontaneous Japanese and LibriSpeech のコーパス実験により,F-DSM は DSM よりも優れた認識性能が得られることが示された。
また、同様のトレーニングスループットを維持しながらGPUメモリの使用を大幅に削減し、ソフトマックススキップによる推論速度の向上を実現し、DSMで観察されるテキストのみのパープレクシリティの低下を低減する。
関連論文リスト
- Repurposing Pre-trained LLMs as High Fidelity Continuous Text Autoencoders [50.57199085611665]
次トーケン予測は、高度に流動的な自己回帰言語モデルを実現するが、逐次分解によるグローバル構造のみを間接的に表現する。
対照的に、高忠実度オートエンコーダは画像生成において標準的なプリミティブとなり、生成モデルが連続的な潜在空間上で動作できるようにする。
LLMAEは,事前訓練されたデコーダのみの言語モデルを,連続的なテキストオートエンコーダとして再利用する手法である。
論文 参考訳（メタデータ） (2026-09-23T02:32:12Z) - StreamAlign: Streaming Text-Aligned Speech Tokenization [41.21911684527682]
StreamAlignは、リアルタイム音声-テキスト共同モデリングのためのストリーミングトークン化を可能にするテキスト整列型音声トークン化フレームワークである。
StreamAlignは評価トークンのうち、最も低いWERと最も高いUTMOSを達成する。
論文 参考訳（メタデータ） (2026-09-09T05:03:12Z) - Diffusion Large Language Models for Visual Speech Recognition [56.81307584718608]
本稿では,最初の拡散大言語モデル(DLLM)に基づく視覚音声認識(VSR)フレームワークを提案する。
DLLM-VSRは早期に高信頼位置をコミットし、コミットトークンを双方向コンテキストとして、曖昧なトークンを洗練させる。
我々は、ビデオ長を用いて、可塑性転写長仮説を構築する長さ誘導型候補復号法を開発した。
提案手法はラベル付きトレーニングデータのみを用いて, LRS3 上で19.5%の最先端 WER を実現する。
論文 参考訳（メタデータ） (2026-05-27T13:22:08Z) - Stage-adaptive Token Selection for Efficient Omni-modal LLMs [17.161087166882744]
om-LLMの層単位でのトークン依存性を解析する。
効率的なom-LLM推論のための訓練不要な段階適応トークン選択法を提案する。
論文 参考訳（メタデータ） (2026-05-19T15:55:16Z) - Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling [52.02344262645619]
本稿では,新しいトランス層を凍結テキストLLMに挿入し,付加層のみを音声データに基づいて訓練するマルチモーダル深さアップスケーリングを提案する。
SmolLM2-360MとSmolLM2-1.7Bによる48k時間の英語自動音声認識(ASR)データによる実験により、深度アップスケーリングは完全な微調整に匹敵するASRを実現することが示された。
さらに,テキストの劣化を75%以上低減し,トレーニング可能なパラメータを60%少なく抑えながら,大規模モデルの完全微調整に適合あるいは超越したASRを実現するために,音声認識用に設計されたアーキテクチャであるE-Branchformerを組み込むことが示される。
論文 参考訳（メタデータ） (2026-04-01T05:16:06Z) - TASTE-Streaming: Towards Streamable Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling [52.519745466772825]
テキスト音声による音声合成は、自然とインテリジェントな音声に基づく対話を指向する。
TASTEは音声トークンを生成し、テキストのトークンと長さを一致させる。
本稿ではリアルタイム利用に適したTASTEの拡張であるTASTE-Sを提案する。
論文 参考訳（メタデータ） (2026-03-12T18:13:48Z) - LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization [8.365515332927444]
近年の音声トークン化手法は,低レベル音響から意味情報を分離し,言語モデルとの整合性を向上することを目的としている。
新規なセマンティック蒸留を導入する音声トークン化手法であるLM-SPTを提案する。
LM-SPTは,ベースラインに比べて高い再現性が得られることを示す。
論文 参考訳（メタデータ） (2025-06-20T04:15:14Z) - Zero-Shot Streaming Text to Speech Synthesis with Transducer and Auto-Regressive Modeling [76.23539797803681]
既存の手法は主に、自然なストリーミング音声合成を実現するために、将来のテキストに依存するルックメカニズムを使用している。
本稿では,高品質な音声フレームをフレーム単位で生成するためのストリーミングフレームワークLEを提案する。
実験結果から,LEは現行のストリーミングTTS法より優れ,文レベルのTSシステムよりも高い性能を実現していることがわかった。
論文 参考訳（メタデータ） (2025-05-26T08:25:01Z) - Delayed Fusion: Integrating Large Language Models into First-Pass Decoding in End-to-end Speech Recognition [17.376550014426623]
本稿では,大規模言語モデル(LLM)を用いたエンドツーエンド自動音声認識(E2E-ASR)の効率的な復号化手法を提案する。
復号時に遅延を伴うASR仮説にLLMスコアを適用する「遅延融合」を提案する。
遅延核融合により、浅い核融合やN-best再コーディングに比べてデコード速度と精度が向上することを示した。
論文 参考訳（メタデータ） (2025-01-16T03:01:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。