論文の概要: NemotronLabs VoiceChat: An Open Full-duplex Speech-to-Speech Model with Tool Calling Capabilities

• arxiv url: http://arxiv.org/abs/2609.21967v1
• Date: Fri, 18 Sep 2026 16:27:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.184203
• Title: NemotronLabs VoiceChat: An Open Full-duplex Speech-to-Speech Model with Tool Calling Capabilities
• Title（参考訳）: NemotronLabs VoiceChat: ツールコール機能を備えた全二重音声合成モデル
• Abstract要約: NemoLabs VoiceChatは、音声合成ツールのネイティブ機能を備えた、オープンなフル音声モデルである。 ストリーミング音声エンコーダのみの言語モデルと、テキストと構造化関数呼び出しのための並列化された出力ストリームを組み合わせる。 NemoLabs VoiceChatはVoiceBenchの正規化平均55.1、Full-Duplex-Bench 3.0(FDB 3.0)では82.5%のツール選択F1を達成している。 これらの結果から, 音声対話, 音声認識・生成, 汎用言語能力, 外部ツール利用が, 単一のオープン音声に一体化できることが示唆された。
• 参考スコア（独自算出の注目度）: 51.20614728073928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce NemotronLabs VoiceChat, an open full-duplex speech-to-speech model with native tool-calling capabilities. NemotronLabs VoiceChat combines a streaming speech encoder and decoder-only language model with parallel specialized output streams for agent text and structured function calls, an auxiliary RNN-T branch for incremental user transcription, and a streaming TTS decoder. This design enables the model to listen, transcribe, reason, invoke tools, and speak within a unified streaming architecture while preserving the temporal behavior required for natural conversation. On Full-Duplex-Bench 1.0, NemotronLabs VoiceChat achieves the lowest pause-handling takeover rates among evaluated open-weight systems, 100\% takeover following user interruptions, and a 4.33/5 post-interruption response-quality score. On Full-Duplex-Bench 1.5, it resumes its response after user backchannels in 93\% of cases. NemotronLabs VoiceChat obtains a 55.1 normalized average on VoiceBench and, on Full-Duplex-Bench 3.0 (FDB 3.0), achieves 82.5\% tool-selection F1, while argument accuracy and end-to-end tool execution remain areas for improvement. These results demonstrate that full-duplex interaction, speech recognition and generation, general language capabilities, and external tool use can be integrated in a single open speech-to-speech model without sacrificing real-time conversational behavior.
• Abstract（参考訳）: 我々はNemotronLabs VoiceChatを紹介した。 NemotronLabs VoiceChatは、ストリーミング音声エンコーダとデコーダのみの言語モデルと、エージェントテキストと構造化関数呼び出しのための並列特殊出力ストリーム、インクリメンタルユーザ書き起こしのための補助RNN-Tブランチ、ストリーミングTTSデコーダを組み合わせたものだ。 この設計により、モデルは自然な会話に必要な時間的振舞いを保ちながら、統一されたストリーミングアーキテクチャ内で、聞き取り、書き起こし、推論、ツール呼び出し、そして話すことができる。 Full-Duplex-Bench 1.0では、NemotronLabs VoiceChatは、評価されたオープンウェイトシステムの中で最低停止処理の乗っ取り率、ユーザ中断後の100\%の乗っ取り率、破壊後の応答品質スコア4.33/5を達成する。 Full-Duplex-Bench 1.5では、93%のケースでユーザバックチャネルの後に応答を再開する。 NemotronLabs VoiceChatはVoiceBenchとFull-Duplex-Bench 3.0 (FDB 3.0)で55.1の正規化平均値を取得し、82.5\%のツール選択F1を達成した。 これらの結果から,実時間会話行動を犠牲にすることなく,全二重対話,音声認識・生成,汎用言語機能,外部ツールの使用を単一音声合成モデルに統合できることが示唆された。

関連論文リスト

• A frontend-backend architecture for tool calls in full-duplex speech models [29.940627571433392]
  フル音声テキスト(S2S)は、強力なエージェントツールコール機能と自然な二重音声インタラクションを実現する。 バックエンドデリゲーションは、自然な二重言語相互作用と強力なエージェントツールコール機能を組み合わせるための効果的でモジュラーなアプローチである。 バックエンドデリゲートはGPT-realtime-miniとQwenwen3-Omni-30B-A3B-Instruct on EVA-Benchを大きく上回る。
  論文  参考訳（メタデータ） (2026-09-16T19:01:15Z)
• Liberating LLM Capabilities in Full-Duplex Speech Models [7.252793405548695]
  音声に基づく大きなモダリティ言語モデルは、通常、音声応答によって制約される。 本稿では,単一オートレがユーザの音声を聴き,可視自由形テキストを主出力として書き,リアルタイムの口頭反応を共通因果的注意の下で並列に話すという,テキストライトファースト三チャンネルパラダイムを提案する。 これらの結果から,可視文字はリアルタイムな口頭反応を犠牲にすることなく,音声対話のための第1級出力チャネルとして機能することが示唆された。
  論文  参考訳（メタデータ） (2026-05-04T17:54:41Z)
• Fun-Audio-Chat Technical Report [71.07966678560291]
  音声トークン(25Hz)とテキストトークン(3Hz)の間の時間分解能は意味情報のミスマッチを緩和し、高い計算コストを発生させる。 本稿では,大規模な音声合成タスクであるFun-Audio-Chatを紹介する。 Fun-Audio-Chat 8BとMoE 30BA3Bは、SpeechTextとSpeech-to-scaleタスクの競合性能を達成する。
  論文  参考訳（メタデータ） (2025-12-23T08:35:27Z)
• DrVoice: Parallel Speech-Text Voice Conversation Model via Dual-Resolution Speech Representations [62.00227663434538]
  DRVOICE-7BはOpenAudioBenchとBig Bench Audioベンチマーク上で新しい最先端(SOTA)を確立する。 本稿では,共同自己回帰モデルに基づくパラレル音声音声対話モデルであるDrVoiceを提案する。
  論文  参考訳（メタデータ） (2025-06-11T02:57:22Z)
• VITA-Audio: Fast Interleaved Cross-Modal Token Generation for Efficient Large Speech-Language Model [84.25283710008785]
  VITA-Audioは、高速な音声テキストトークン生成を備えたエンドツーエンドの大規模音声モデルである。 MCTPモジュールは、単一のモデルフォワードパス内で複数のオーディオトークンを効率よく生成する。 4段階のプログレッシブ・トレーニング・ストラテジーは,音声品質の低下を最小限に抑えたモデルアクセラレーションを実現するために検討された。
  論文  参考訳（メタデータ） (2025-05-06T17:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。