論文の概要: VoiceChat-TTS: A Low-Latency Continuous Speech Synthesis Model for Interactive Agents
- arxiv url: http://arxiv.org/abs/2608.13831v1
- Date: Thu, 13 Aug 2026 23:37:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.224888
- Title: VoiceChat-TTS: A Low-Latency Continuous Speech Synthesis Model for Interactive Agents
- Title（参考訳）: 対話型エージェントのための低レイテンシ連続音声合成モデルVoiceChat-TTS
- Abstract要約: VoiceChat-TTSは、対話型エージェントのための低レイテンシで連続的で、ストリーミング可能なテキスト音声モデルである。
このモデルは、モジュール性と高い音声品質を維持しながら、常時オンで応答性のある音声生成を可能にする。
- 参考スコア（独自算出の注目度）: 31.302856029488876
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Spoken dialogue is a natural form of human--computer interaction, yet most speech language models remain limited to turn-based operation and lack real-time adaptability, such as user barge-in. Recent duplex speech-to-speech and speech-to-text models reduce latency by replacing multi-stage pipelines, but often compromise speech quality because accurate ASR, interruption handling, and high-fidelity synthesis must be optimized jointly. We propose VoiceChat-TTS, a low-latency, continuous, and streamable text-to-speech model for interactive agents. VoiceChat-TTS is driven directly by LLM text-token streams, supports explicit interruption via control tokens, and produces silence when no textual input is available. The model enables always-on, responsive speech generation while preserving modularity and high speech quality, and it supports mid-utterance interruptions without resetting the KV cache.
- Abstract（参考訳）: 音声対話は人間とコンピュータの対話の自然な形態であるが、ほとんどの言語モデルはターンベース操作に限られており、ユーザバージインのようなリアルタイム適応性に欠ける。
最近の二重音声合成モデルと音声合成モデルでは、複数段パイプラインを置き換えることでレイテンシを低減しているが、正確なASR、割り込み処理、高忠実度合成を共同で最適化する必要があるため、しばしば音声品質を損なう。
対話型エージェントのための低レイテンシ,連続的,ストリーム可能なテキスト音声合成モデルであるVoiceChat-TTSを提案する。
VoiceChat-TTS は LLM テキストトークンストリームによって直接駆動され、制御トークンによる明示的な割り込みをサポートし、テキスト入力が利用できない場合にサイレントを生成する。
このモデルは、モジュール性と高い音声品質を維持しつつ、常時オンで応答的な音声生成を可能にし、KVキャッシュをリセットすることなく、中間発話の中断をサポートする。
関連論文リスト
- MOSS-TTSD: Text to Spoken Dialogue Generation [62.04179716555789]
複数の言語にまたがる多人数会話音声のための音声対話合成モデルであるMOSS-TTSDを提案する。
長文モデリングの強化により、MOSS-TTSDは明示的な話者タグを持つ対話スクリプトから長文音声対話を生成する。
このモデルは、英語や中国語を含む様々な主流言語をサポートし、いくつかの長文のシナリオに適応している。
論文 参考訳（メタデータ） (2026-03-20T08:23:31Z) - MOSS-Speech: Towards True Speech-to-Speech Models Without Text Guidance [66.74042564585942]
MOSS-Speechは、テキストガイダンスに頼ることなく直接理解し、音声を生成する、真の音声音声合成大言語モデルである。
我々の研究は、表現的かつ効率的なエンドツーエンドの音声対話のための新しいパラダイムを確立する。
論文 参考訳（メタデータ） (2025-10-01T04:32:37Z) - StreamMel: Real-Time Zero-shot Text-to-Speech via Interleaved Continuous Autoregressive Modeling [50.537794606598254]
StreamMelは、継続的メル-スペクトログラムをモデル化する、先駆的なシングルステージストリーミングTSフレームワークである。
高い話者類似性と自然性を保ちながら、低レイテンシで自己回帰的な合成を可能にする。
オフラインシステムに匹敵するパフォーマンスを実現し、効率的なリアルタイム生成もサポートしている。
論文 参考訳（メタデータ） (2025-06-14T16:53:39Z) - CoVoMix2: Advancing Zero-Shot Dialogue Generation with Fully Non-Autoregressive Flow Matching [78.01028753403575]
CoVoMix2はゼロショットマルチトーカー対話生成のためのフレームワークである。
フローマッチングに基づく生成モデルを用いて、マルチストリームの転写からメルスペクトルを予測する。
提案手法は,MoonCastやSesameといった強力なベースラインを,音声品質,話者の整合性,推論速度で上回り,最先端の性能を実現する。
論文 参考訳（メタデータ） (2025-06-01T07:51:45Z) - IntrinsicVoice: Empowering LLMs with Intrinsic Real-time Voice Interaction Abilities [55.11130688075417]
IntrinsicVoicは、本質的なリアルタイム音声対話機能を備えたLLMである。
我々の新規アーキテクチャであるGroupFormerは、テキストシーケンスに匹敵する長さまで音声シーケンスを削減できる。
我々は,500k近い音声対音声対話を含む,メソッド500kというマルチターン音声対音声対話データセットを構築した。
論文 参考訳（メタデータ） (2024-10-09T05:04:31Z) - Internalizing ASR with Implicit Chain of Thought for Efficient Speech-to-Speech Conversational LLM [3.6950912517562435]
本稿では,ASR の思考を音声 LLM に暗黙的に内部化する手法を提案する。
このアプローチはレイテンシを低減し、モデルの音声に対するネイティブ理解を改善し、より効率的で自然なリアルタイムオーディオインタラクションを実現する。
論文 参考訳（メタデータ） (2024-09-25T20:59:12Z) - Style-Talker: Finetuning Audio Language Model and Style-Based Text-to-Speech Model for Fast Spoken Dialogue Generation [16.724603503894166]
Style-Talkerは、高速音声ダイアログ生成のためのスタイルベースのTSモデルとともに、オーディオLLMを微調整する革新的なフレームワークである。
実験の結果,Style-Talkerは対話の自然さとコヒーレンスの両方の観点から,従来のカスケードと音声音声のベースラインを著しく上回ることがわかった。
論文 参考訳（メタデータ） (2024-08-13T04:35:11Z) - Language Model Can Listen While Speaking [17.584201137311286]
聴取時言語モデル (LSLM) は、聴取チャネルと発声チャネルの両方を備えたエンドツーエンドシステムである。
本研究は,既存のシステムに最小限の影響を伴って,重複通信を実現するLSLMの能力を強調した。
論文 参考訳（メタデータ） (2024-08-05T16:47:22Z) - A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation [48.84039953531355]
同時音声翻訳のための新しい非自己回帰生成フレームワーク(NAST-S2X)を提案する。
NAST-S2Xは、音声テキストと音声音声タスクを統合エンドツーエンドフレームワークに統合する。
3秒未満の遅延で高品質な同時解釈を実現し、オフライン生成において28倍のデコードスピードアップを提供する。
論文 参考訳（メタデータ） (2024-06-11T04:25:48Z) - Voice Filter: Few-shot text-to-speech speaker adaptation using voice
conversion as a post-processing module [16.369219400819134]
最先端の音声合成システム(TTS)は、高品質な合成音声を生成するために、数時間の音声データを記録する必要がある。
トレーニングデータの量を減らす場合、標準のTSモデルは音声品質と知性劣化に悩まされる。
本稿では,ターゲット話者からの音声を1分以内で処理するVoice Filterという,非常に低リソースなTTS手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T16:12:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。