論文の概要: StreamAlign: Streaming Text-Aligned Speech Tokenization
- arxiv url: http://arxiv.org/abs/2609.09719v1
- Date: Wed, 09 Sep 2026 05:03:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.904855
- Title: StreamAlign: Streaming Text-Aligned Speech Tokenization
- Title（参考訳）: StreamAlign: テキスト対応音声トークンのストリーム化
- Abstract要約: StreamAlignは、リアルタイム音声-テキスト共同モデリングのためのストリーミングトークン化を可能にするテキスト整列型音声トークン化フレームワークである。
StreamAlignは評価トークンのうち、最も低いWERと最も高いUTMOSを達成する。
- 参考スコア（独自算出の注目度）: 41.21911684527682
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-aligned speech tokenization methods have emerged to better align speech tokens with LLM token spaces, enabling more effective utilization of pretrained LLMs. However, they rely on offline automatic speech recognition (ASR), leading to two key limitations: (i) the need for complete utterances before tokenization, precluding real-time streaming, and (ii) vocabulary mismatch between ASR and LLMs, which reduces acoustic granularity from the subword to the word level. We introduce StreamAlign, a text-aligned speech tokenization framework that enables streaming tokenization for real-time speech-text joint modeling. StreamAlign performs online speech-text alignment by combining character-level RNN-Transducer alignment with word-level ASR guidance, mitigating ASR-LLM vocabulary mismatch while preserving recognition accuracy. A proactive word boundary classifier anticipates word completion at chunk boundaries, reducing tokenization latency from 560 ms to 270 ms. On LibriSpeech, StreamAlign achieves the lowest WER and highest UTMOS among evaluated tokenizers. Furthermore, StreamAlign-SLM, a spoken language model trained on StreamAlign units, outperforms other end-to-end spoken language models in speech continuation while achieving the strongest overall consistency on SALMon and spoken StoryCloze.
- Abstract（参考訳）: テキスト整列型音声トークン化手法が登場し,LLMトークン空間との整合性が向上し,事前学習したLLMの有効利用が可能となった。
しかし、それらはオフライン自動音声認識(ASR)に依存しており、2つの重要な制限を生んでいる。
(i)トークン化前、リアルタイムストリーミング前、全発話の必要性
(II) ASR と LLM の語彙ミスマッチにより,サブワードから単語レベルへの音響的粒度が低下する。
本稿では,リアルタイム音声-テキスト共同モデリングのためのストリーミングトークン化を実現する,テキスト整列型音声トークン化フレームワークStreamAlignを紹介する。
StreamAlignは、文字レベルRNN-Transducerアライメントと単語レベルASRガイダンスを組み合わせることで、音声認識精度を維持しながら、ASR-LLM語彙ミスマッチを緩和することで、オンライン音声テキストアライメントを行う。
単語境界分類器はチャンク境界における単語補完を予測し,トークン化遅延を560msから270msに低減する。
さらに、StreamAlignユニットでトレーニングされた音声言語モデルであるStreamAlign-SLMは、SALMonとStoryClozeの全体的な一貫性を最強に達成しつつ、他のエンドツーエンドの音声言語モデルよりも優れています。
関連論文リスト
- Do Spoken Language Models Hear Speech as They Read Text? Bridging Structural Gaps Between Speech and Text [3.1208668217678355]
音声言語モデルは、音声から直接テキスト応答を生成する。
既存のSLMは、より弱い命令追従挙動と限定的な一般化を示す。
意味的アライメントから長さミスマッチを分離する単純なフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-24T07:41:28Z) - Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving [54.66679099886108]
音声-LLM統合は、広範囲なテキスト事前学習を活用することで有望な結果を示しているが、自動音声認識(ASR)の具体的な利点はいまだ不明である。
本稿では,単語レベルとセグメントレベルのインターリーブ付き音声テキストシーケンスを構成するASR指向の事前学習戦略であるJSTIPを提案する。
ASRデータの38k時間の実験では、ASRのみのトレーニングベースラインと共同音声テキストトレーニングベースラインと比較して、一貫したエンティティ精度が向上した。
論文 参考訳（メタデータ） (2026-07-02T05:42:01Z) - MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance [66.74042564585942]
MOSS-Speechは、テキストガイダンスに頼ることなく直接理解し、音声を生成する、真の音声音声合成大言語モデルである。
我々の研究は、表現的かつ効率的なエンドツーエンドの音声対話のための新しいパラダイムを確立する。
論文 参考訳（メタデータ） (2025-10-01T04:32:37Z) - ProsodyLM: Uncovering the Emerging Prosody Processing Capabilities in Speech Language Models [70.56468982313834]
本稿では,韻律学習に適した単純なトークン化方式であるProsodyLMを提案する。
ProsodyLMは事前学習だけで驚くほど多様なプロソディ処理能力を学習できることがわかった。
論文 参考訳（メタデータ） (2025-07-27T00:59:01Z) - LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization [8.365515332927444]
近年の音声トークン化手法は,低レベル音響から意味情報を分離し,言語モデルとの整合性を向上することを目的としている。
新規なセマンティック蒸留を導入する音声トークン化手法であるLM-SPTを提案する。
LM-SPTは,ベースラインに比べて高い再現性が得られることを示す。
論文 参考訳（メタデータ） (2025-06-20T04:15:14Z) - What Makes a Good Speech Tokenizer for LLM-Centric Speech Generation? A Systematic Study [58.55905182336196]
音声言語モデル(SLM)は、音声とテキストの理解と生成を統一するための有望な経路を提供する。
LLM中心のSLMにおける音声トークン化設計の役割について検討し,音声ヘッドと話者モデルを用いて検討した。
SLMにマルチトークン予測(MTP)を導入し、各隠れ状態が複数の音声トークンを復号化できるようにする。
論文 参考訳（メタデータ） (2025-06-14T15:26:31Z) - Towards Efficient Speech-Text Jointly Decoding within One Speech Language Model [76.06585781346601]
音声言語モデル(Speech LMs)は、単一のモデル内でエンドツーエンドの音声テキストモデリングを可能にする。
音声テキストの共同復号パラダイムの選択は、性能、効率、アライメント品質において重要な役割を担っている。
論文 参考訳（メタデータ） (2025-06-04T23:53:49Z) - TASTE: Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling [46.60911294356232]
本稿では,テキスト適応型音声トークン化と埋め込み(TASTE)を導入し,トークン化段階における音声トークンと対応するテキストの書き起こしを一致させる。
我々は広範囲な実験を行い、TASTEはトークン列の長さを劇的に減らしながら重要なパラ言語情報を保持することができることを示す。
実験の結果,TASTEを用いたSLMはSALMONやStoryClozeに匹敵する性能を示した。
論文 参考訳（メタデータ） (2025-04-09T17:14:33Z) - DC-Spin: A Speaker-invariant Speech Tokenizer for Spoken Language Models [45.791472119671916]
音声言語モデル(SLM)はテキストと音声を処理し、同時に音声の理解と生成を可能にする。
DC-Spinは音声信号とSLMトークンをブリッジすることで音声のトークン化を改善することを目的としている。
本稿では,再学習や劣化を伴わずに,ストリーム可能なDC-Spinを実現するためのチャンクワイズ手法を提案する。
論文 参考訳（メタデータ） (2024-10-31T17:43:13Z) - BLSP-KD: Bootstrapping Language-Speech Pre-training via Knowledge Distillation [18.329192763760034]
BLSP-KD(Bootstrapping Language-Speech Pretraining)を知識蒸留により導入する。
音声入力とテキスト入力に対するLLMの次点予測分布のばらつきを最小化することで、音声テキストアライメントを最適化する。
また、音声を1対1でテキストトークンに対応するトークンに分割し、きめ細かいアライメントを可能にする。
論文 参考訳（メタデータ） (2024-05-29T12:32:08Z) - BLSP: Bootstrapping Language-Speech Pre-training via Behavior Alignment of Continuation Writing [35.31866559807704]
音声とテキスト間のモダリティアライメントは 未解決の問題です
本稿では,継続文の動作アライメントによるLanguage-Speech事前学習をブートストラップするBLSP手法を提案する。
この簡単な処理により、ゼロショットの言語間シナリオであっても、音声認識、音声翻訳、音声言語理解、音声会話が可能なLLMの能力を音声に拡張できることを実証する。
論文 参考訳（メタデータ） (2023-09-02T11:46:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。