論文の概要: Stream RAG: Instant and Accurate Spoken Dialogue Systems with Streaming Tool Usage

• arxiv url: http://arxiv.org/abs/2510.02044v1
• Date: Thu, 02 Oct 2025 14:18:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 14:32:17.280235
• Title: Stream RAG: Instant and Accurate Spoken Dialogue Systems with Streaming Tool Usage
• Title（参考訳）: Stream RAG: ストリーミングツールを用いたインスタントで正確な音声対話システム
• Authors: Siddhant Arora, Haidar Khan, Kai Sun, Xin Luna Dong, Sajal Choudhary, Seungwhan Moon, Xinyuan Zhang, Adithya Sagar, Surya Teja Appini, Kaushik Patnaik, Sanat Sharma, Shinji Watanabe, Anuj Kumar, Ahmed Aly, Yue Liu, Florian Metze, Zhaojiang Lin,
• Abstract要約: 従来のASR-LLM-TTSパイプラインに代わる強力な対話システムとして、エンドツーエンドの音声対話システムが登場している。 本稿では,音声入力システムに直接ツールの使用を拡張するための最初のアプローチを紹介する。 提案するStreaming Retrieval-Augmented Generation (Streaming RAG) は,ユーザ音声と並行してツールクエリを予測することにより,ユーザ知覚のレイテンシを低減する新しいフレームワークである。
• 参考スコア（独自算出の注目度）: 66.67531241554546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: End-to-end speech-in speech-out dialogue systems are emerging as a powerful alternative to traditional ASR-LLM-TTS pipelines, generating more natural, expressive responses with significantly lower latency. However, these systems remain prone to hallucinations due to limited factual grounding. While text-based dialogue systems address this challenge by integrating tools such as web search and knowledge graph APIs, we introduce the first approach to extend tool use directly into speech-in speech-out systems. A key challenge is that tool integration substantially increases response latency, disrupting conversational flow. To mitigate this, we propose Streaming Retrieval-Augmented Generation (Streaming RAG), a novel framework that reduces user-perceived latency by predicting tool queries in parallel with user speech, even before the user finishes speaking. Specifically, we develop a post-training pipeline that teaches the model when to issue tool calls during ongoing speech and how to generate spoken summaries that fuse audio queries with retrieved text results, thereby improving both accuracy and responsiveness. To evaluate our approach, we construct AudioCRAG, a benchmark created by converting queries from the publicly available CRAG dataset into speech form. Experimental results demonstrate that our streaming RAG approach increases QA accuracy by up to 200% relative (from 11.1% to 34.2% absolute) and further enhances user experience by reducing tool use latency by 20%. Importantly, our streaming RAG approach is modality-agnostic and can be applied equally to typed input, paving the way for more agentic, real-time AI assistants.
• Abstract（参考訳）: エンドツーエンドの音声対話システムは、従来のASR-LLM-TTSパイプラインに代わる強力な代替手段として登場しており、より自然な表現的な応答を生成し、レイテンシを大幅に低減している。 しかし、これらの制度は、事実上の根拠が限られているため、幻覚に苦しむ傾向にある。 テキストベースの対話システムは,Web検索や知識グラフAPIなどのツールを統合することでこの問題に対処する一方で,音声入力型音声出力システムに直接ツールを拡張するための最初のアプローチを導入する。 重要な課題は、ツールの統合によってレスポンスのレイテンシが大幅に増加し、会話の流れが破壊されることです。 これを軽減するために、ユーザが話す前にも、ツールクエリとユーザ音声を並行して予測することで、ユーザ知覚のレイテンシを低減する新しいフレームワーク、Streaming Retrieval-Augmented Generation (Streaming RAG)を提案する。 具体的には、現在進行中の音声中にツールコールを発行するタイミングと、検索したテキスト結果と音声クエリを融合させる音声要約を生成する方法をモデルに教えるポストトレーニングパイプラインを開発し、精度と応答性の両方を改善した。 提案手法を評価するために,公開されているCRAGデータセットからのクエリを音声形式に変換するベンチマークであるAudioCRAGを構築した。 実験の結果、当社のストリーミングRAGアプローチは、QAの精度を最大200%向上し(11.1%から34.2%絶対)、ツール使用遅延を20%低減することで、ユーザエクスペリエンスをさらに向上することが示された。 重要なことは、当社のストリーミングRAGアプローチはモダリティ非依存であり、入力入力に等しく適用することができ、よりエージェント的でリアルタイムなAIアシスタントへの道を開いたことです。

関連論文リスト

• Towards Efficient Speech-Text Jointly Decoding within One Speech Language Model [76.06585781346601]
  音声言語モデル(Speech LMs)は、単一のモデル内でエンドツーエンドの音声テキストモデリングを可能にする。 音声テキストの共同復号パラダイムの選択は、性能、効率、アライメント品質において重要な役割を担っている。
  論文  参考訳（メタデータ） (2025-06-04T23:53:49Z)
• Device-Directed Speech Detection for Follow-up Conversations Using Large Language Models [16.920823078873095]
  仮想アシスタント(VA)とのフォローアップ会話により、ユーザはキーワードを使って繰り返し呼び出すことなく、VAとシームレスに対話できる。 本稿では,従来の音声文脈とASRの不確実性との連成モデルにより,この手法が大きな利益をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-28T19:43:43Z)
• Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems [55.99999020778169]
  本稿では,次の単語を予測し,発話終了まで残される時間を推定する機能について検討する。 我々は,音響情報と言語情報の両方を組み込んだクロスアテンションに基づくアルゴリズムを開発した。 その結果,提案モデルでは,提案する単語を予測し,将来のEOUイベントを実際のEOUより300ミリ秒前まで推定する能力を示した。
  論文  参考訳（メタデータ） (2024-09-30T06:29:58Z)
• Streaming Speech-to-Confusion Network Speech Recognition [19.720334657478475]
  本稿では、待ち時間を維持しながら混乱ネットワークを出力する新しいストリーミングASRアーキテクチャを提案する。 モデルのうち1-bestの結果は、同等のRNN-Tシステムと同等であることを示す。 また、遠距離音声アシスタントタスクにおいて、我々のモデルは強力なRNN-Tベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-02T20:28:14Z)
• Using External Off-Policy Speech-To-Text Mappings in Contextual End-To-End Automated Speech Recognition [19.489794740679024]
  本稿では,外部知識の活用の可能性について検討する。 提案手法では,音声の音声埋め込みと意味的テキスト埋め込みを併用して,ASRに偏りを生じさせる。 LibiriSpeechと社内音声アシスタント/検索データセットの実験により、提案手法により、最大1KのGPU時間でドメイン適応時間を短縮できることが示された。
  論文  参考訳（メタデータ） (2023-01-06T22:32:50Z)
• Unified End-to-End Speech Recognition and Endpointing for Fast and Efficient Speech Systems [17.160006765475988]
  本稿では,単一エンドツーエンド (E2E) モデルを用いて, ASR と EP タスクを協調訓練する手法を提案する。 我々は、EPにオーディオフレームを直接消費するか、ASRモデルから低レベルの潜在表現を消費するよう訓練する「スウィッチ」接続を導入する。 これにより、推論中にフレームフィルタリングを低コストで行うことができる単一のE2Eモデルが得られる。
  論文  参考訳（メタデータ） (2022-11-01T23:43:15Z)
• End-to-End Active Speaker Detection [58.7097258722291]
  本稿では,特徴学習と文脈予測を共同で学習するエンド・ツー・エンドのトレーニングネットワークを提案する。 また、時間間グラフニューラルネットワーク(iGNN)ブロックを導入し、ASD問題における主要なコンテキストのソースに応じてメッセージパッシングを分割する。 実験により、iGNNブロックからの集約された特徴はASDにより適しており、その結果、最先端のアートパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2022-03-27T08:55:28Z)
• Advanced Long-context End-to-end Speech Recognition Using Context-expanded Transformers [56.56220390953412]
  コンフォーメータアーキテクチャを導入することで、精度をさらに向上させ、以前の作業を拡張します。 拡張トランスフォーマーは、最先端のエンドツーエンドのASR性能を提供する。
  論文  参考訳（メタデータ） (2021-04-19T16:18:00Z)
• Dynamic Acoustic Unit Augmentation With BPE-Dropout for Low-Resource End-to-End Speech Recognition [62.94773371761236]
  我々は、OOVレートの高い低リソースセットアップで効果的なエンドツーエンドASRシステムを構築することを検討します。 本稿では,BPE-dropout法に基づく動的音響ユニット拡張法を提案する。 我々の単言語トルココンフォーマーは22.2%の文字誤り率(CER)と38.9%の単語誤り率(WER)の競争結果を確立した。
  論文  参考訳（メタデータ） (2021-03-12T10:10:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。