論文の概要: Uni-Stream: A Unified Streaming Speech Language Model for Speech Synthesis and Recognition

• arxiv url: http://arxiv.org/abs/2610.32187v1
• Date: Fri, 23 Oct 2026 05:32:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.396864
• Title: Uni-Stream: A Unified Streaming Speech Language Model for Speech Synthesis and Recognition
• Title（参考訳）: Uni-Stream: 音声合成と認識のための統一ストリーム音声モデル
• Abstract要約: Uni-Streamは、コンパクトな事前訓練された音声モデルに基づいて構築された、統一されたストリーミング音声モデルである。 Uni-Streamは、インターリーブされたテキストと音声をストリーミング形式で処理し、タスク固有のモデルに匹敵するパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 53.87052696051649
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unified streaming speech language models aim to support speech recognition and synthesis within a single model, enabling real-time human-computer interaction. However, jointly supporting these two directions of speech-text conversion while preserving task-specific performance remains challenging. We propose Uni-Stream, a unified streaming speech language model built on compact pretrained speech models. Uni-Stream processes interleaved text and speech in a streaming format and achieves performance comparable to task-specific models through two-stage training. We also develop a data annotation pipeline for streaming training and will publicly release the generated transcriptions and word-level timestamps. We further examine Uni-Stream's representations across tasks and modalities and find that speech and text residence in distinct latent feature space even when trained in a unified model architecture, while representations within each modality become more task-dependent in later layers.
• Abstract（参考訳）: 統一されたストリーミング音声言語モデルは、音声認識と合成を1つのモデル内でサポートし、リアルタイムな人間とコンピュータのインタラクションを可能にすることを目的としている。 しかし、タスク固有の性能を維持しながら、これら2つの方向の音声テキスト変換を共同で支援することは依然として困難である。 コンパクトな事前学習音声モデルに基づく統合ストリーミング音声モデルUni-Streamを提案する。 Uni-Streamは、インターリーブされたテキストと音声をストリーミング形式で処理し、2段階のトレーニングによってタスク固有のモデルに匹敵するパフォーマンスを達成する。 また、ストリーミングトレーニング用のデータアノテーションパイプラインを開発し、生成された書き起こしと単語レベルのタイムスタンプを公開します。 さらに,タスクやモダリティ間のUni-Streamの表現について検討し,統一モデルアーキテクチャで訓練した場合でも,音声やテキストが特定の潜在特徴空間に居住するのに対して,各モダリティ内の表現は後層でタスク依存になることを示す。

関連論文リスト

• MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance [66.74042564585942]
  MOSS-Speechは、テキストガイダンスに頼ることなく直接理解し、音声を生成する、真の音声音声合成大言語モデルである。 我々の研究は、表現的かつ効率的なエンドツーエンドの音声対話のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-10-01T04:32:37Z)
• StreamUni: Achieving Streaming Speech Translation with a Unified Large Speech-Language Model [20.978001644716063]
  ストリーム音声翻訳(StreamST)は、ポリシーとして知られる適切なタイミングで翻訳を生成する必要がある。 既存のStreamSTメソッドは通常、同時音声翻訳(SimulST)と呼ばれる文レベルの音声セグメントで動作する。 本稿では,Large Speech-Language Model (LSLM) を用いてStreamSTを実現するStreamUniを提案する。
  論文  参考訳（メタデータ） (2025-07-10T14:28:39Z)
• Towards Efficient Speech-Text Jointly Decoding within One Speech Language Model [76.06585781346601]
  音声言語モデル(Speech LMs)は、単一のモデル内でエンドツーエンドの音声テキストモデリングを可能にする。 音声テキストの共同復号パラダイムの選択は、性能、効率、アライメント品質において重要な役割を担っている。
  論文  参考訳（メタデータ） (2025-06-04T23:53:49Z)
• StreamSpeech: Simultaneous Speech-to-Speech Translation with Multi-task Learning [48.84039953531356]
  StreamSpeechは、翻訳と同時ポリシーを共同で学習するSimul-S2STモデルである。 CVSSベンチマークの実験では、StreamSpeechはオフラインS2STタスクとSimul-S2STタスクの両方で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-05T08:24:22Z)
• Direct speech-to-speech translation with discrete units [64.19830539866072]
  本稿では、中間テキスト生成に頼ることなく、ある言語から別の言語に音声を変換する直接音声音声翻訳(S2ST)モデルを提案する。 そこで本稿では,ラベルなし音声コーパスから学習した自己教師付き離散表現の予測を提案する。 対象のテキスト書き起こしが利用可能となると、同一の推論パスで2つのモード出力(音声とテキスト)を同時に生成できる、共同音声認識とテキストトレーニングを備えたマルチタスク学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2021-07-12T17:40:43Z)
• Bridging the Modality Gap for Speech-to-Text Translation [57.47099674461832]
  エンド・ツー・エンドの音声翻訳は、ある言語における音声を、エンド・ツー・エンドの方法で他の言語におけるテキストに変換することを目的としている。 既存のほとんどの手法では、音響表現と意味情報を同時に学習するために、単一のエンコーダを持つエンコーダ・デコーダ構造を用いる。 本稿では,音声とテキスト間のモダリティギャップを埋めることで,エンドツーエンドのモデル性能を向上させることを目的とした音声翻訳モデルのための音声テキスト適応手法を提案する。
  論文  参考訳（メタデータ） (2020-10-28T12:33:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。