論文の概要: Enabling Streaming User Transcription in Full-Duplex Speech-to-Speech Models

• arxiv url: http://arxiv.org/abs/2609.15759v1
• Date: Mon, 14 Sep 2026 15:44:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.476632
• Title: Enabling Streaming User Transcription in Full-Duplex Speech-to-Speech Models
• Title（参考訳）: フルダブルプレクサ音声音声合成モデルにおけるストリーミングユーザ転写のモデル化
• Abstract要約: 本稿では,既存のS2Sモデルにストリーミング機能を追加する手法を提案する。 我々のアプローチでは、最小限の追加パラメータが必要であり、ベースS2Sモデルに大きな変更はない。
• 参考スコア（独自算出の注目度）: 54.83270723528963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Full-duplex speech-to-speech (S2S) models enable natural conversational AI by allowing simultaneous listening and speaking. However, these models typically lack inherent user speech transcription, which is essential for applications such as conversation logging, accessibility features, and quality monitoring. In this work, we propose an efficient method to add streaming ASR capabilities to an existing duplex S2S model by introducing a lightweight ASR head in parallel to the agent text head. Our approach requires minimal additional parameters and no significant architectural changes to the base S2S model, enabling real-time user transcription while preserving full-duplex conversational capabilities including turn-taking and barge-in handling. Experimental results demonstrate that our method achieves streaming average WER of 10.21% on the HuggingFace Open ASR Leaderboard within the duplex S2S framework. Additionally, we show that the same architecture trained as a standalone streaming ASR model achieves competitive results (7.73% WER) compared to current SOTA models. We will open-source our training and inference code to facilitate further research in joint streaming ASR and S2S modeling.
• Abstract（参考訳）: フル二重音声合成(S2S)モデルは、同時聴取と発話を可能にすることで、自然な会話AIを可能にする。 しかしながら、これらのモデルには、会話ログ、アクセシビリティ機能、品質監視といったアプリケーションに不可欠な、固有のユーザ音声の書き起こしがないのが一般的である。 本研究では,エージェントテキストヘッドに並列に軽量なASRヘッドを導入することにより,既存のS2SモデルにストリーミングASR機能を付加する効率的な手法を提案する。 我々のアプローチでは、最小限の追加パラメータと、ベースS2Sモデルに対する重要なアーキテクチャ変更は必要とせず、ターンテイクやバージインハンドリングを含む完全な二重会話機能を維持しながら、リアルタイムなユーザ書き起こしを可能にします。 実験の結果,HuggingFace Open ASR Leaderboard上でのストリーミング平均WERは10.21%であることがわかった。 さらに、スタンドアロンストリーミングASRモデルとしてトレーニングされた同じアーキテクチャが、現在のSOTAモデルと比較して競争結果(7.73% WER)を達成することを示す。 我々は,共同ストリーミングASRとS2Sモデリングのさらなる研究を支援するために,トレーニングコードと推論コードをオープンソース化する。

関連論文リスト

• Covo-Audio Technical Report [61.09708870154148]
  7BバックエンドのLALMであるCovo-Audioは、連続的なオーディオ入力を直接処理し、単一の統一アーキテクチャ内でオーディオ出力を生成する。 対話指向の変種であるCovo-Audio-Chatは、意味的に強い会話能力を示す。
  論文  参考訳（メタデータ） (2026-02-10T14:31:11Z)
• SALM-Duplex: Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model [28.42203609938444]
  本稿では,連続的なユーザ入力とチャネル融合を伴うエージェント出力を特徴とする,新しい2重音声合成(S2S)アーキテクチャを提案する。 ユーザ入力に事前トレーニングされたストリーミングを使用することで、音声事前トレーニングを必要とせずに、第1の二重S2Sモデルを実現できる。 実験結果から,提案モデルが従来の2次モデルよりも,推論,ターンテイク,バージイン能力に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-05-21T15:48:30Z)
• CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models [74.80386066714229]
  改良されたストリーミング音声合成モデルCosyVoice 2を提案する。 具体的には,音声トークンのコードブック利用を改善するために,有限スカラー量子化を導入する。 我々は,様々な合成シナリオをサポートするために,チャンク対応因果フローマッチングモデルを開発した。
  論文  参考訳（メタデータ） (2024-12-13T12:59:39Z)
• Joint Optimization of Streaming and Non-Streaming Automatic Speech Recognition with Multi-Decoder and Knowledge Distillation [44.94458898538114]
  マルチデコーダと知識蒸留に基づくストリーミングと非ストリーミングASRの連成最適化を提案する。 評価の結果,ストリーミングASRのCSJでは2.6%-5.3%,ストリーミングASRでは8.3%-9.7%,非ストリーミングASRでは8.3%-9.7%であった。
  論文  参考訳（メタデータ） (2024-05-22T10:17:30Z)
• Streaming Speech-to-Confusion Network Speech Recognition [19.720334657478475]
  本稿では、待ち時間を維持しながら混乱ネットワークを出力する新しいストリーミングASRアーキテクチャを提案する。 モデルのうち1-bestの結果は、同等のRNN-Tシステムと同等であることを示す。 また、遠距離音声アシスタントタスクにおいて、我々のモデルは強力なRNN-Tベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-02T20:28:14Z)
• Deliberation Model for On-Device Spoken Language Understanding [69.5587671262691]
  我々は、エンドツーエンド(E2E)音声言語理解(SLU)に対する新しい議論に基づくアプローチを提案する。 提案手法は,自然言語から合成音声訓練に移行する際の劣化を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2022-04-04T23:48:01Z)
• Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings [53.11450530896623]
  本稿では,「誰が何を話したか」を認識可能な,ストリーミング話者対応自動音声認識(SA-ASR)モデルを提案する。 本モデルは,最近提案されたマルチトーカー音声をストリーミング形式で書き起こすためのトークンレベルシリアライズアウトプットトレーニング(t-SOT)に基づいている。 提案モデルでは,従来のストリーミングモデルよりも精度が大幅に向上し,最先端のオフラインSA-ASRモデルに匹敵する,あるいは時として優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-03-30T21:42:00Z)
• Dual-mode ASR: Unify and Improve Streaming ASR with Full-context Modeling [76.43479696760996]
  本稿では,ストリーミングとフルコンテキスト音声認識の両方に共通重みを持つ単一エンドツーエンドのASRモデルをトレーニングするための統合フレームワークであるDual-mode ASRを提案する。 そこで本研究では,ストリーミングASRのレイテンシと精度が,重み共有とフルコンテキストASRの連成訓練のメリットを顕著に示す。
  論文  参考訳（メタデータ） (2020-10-12T21:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。