論文の概要: LibriSpeech-Real-QA: A Benchmark for Streaming Question Answering
- arxiv url: http://arxiv.org/abs/2611.06496v1
- Date: Wed, 04 Nov 2026 13:30:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.119984
- Title: LibriSpeech-Real-QA: A Benchmark for Streaming Question Answering
- Title(参考訳): LibriSpeech-Real-QA: 質問回答のストリーミングベンチマーク
- Abstract要約: 多くの実世界のアプリケーションはストリーミング音声対話を必要とする。
本稿では,リアルタイム音声対話のためのデータセットとベンチマークであるLibriSpeech-Real-QAを提案する。
我々は、いくつかの人気のあるリアルタイムコマーシャルモデルを評価し、音声のターンが終わった後も応答する傾向にあることを示した。
- 参考スコア(独自算出の注目度): 36.734156759558594
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most speech large language models (SLMs) still process speech in an offline manner. They only start responding after they receive the complete speech segment. However, many real-world applications require streaming speech interaction, for which the audio continuously flows in and the machine is required to answer questions based on the so far received audio chunks. For example, a user may ask the system to continuously count how many times a person's name has been mentioned while they are speaking. We observe a lack of benchmarks and evaluation protocols for real-time speech interaction. Motivated by this, we propose LibriSpeech-Real-QA, a dataset and a benchmark for real-time speech interaction. We construct different types of real-time question-answer pairs from LibriSpeech to evaluate whether speech LLMs can identify target words in streaming audio. We evaluate several popular real-time commercial models and find that they still tend to respond only after the speech turn has finished. We demonstrate that we can enable a pretrained SLM to perform this task, where we explore several modeling designs and establish a solid baseline for future research.
- Abstract(参考訳): ほとんどの音声大言語モデル(SLM)は、まだオフラインで音声を処理する。
完全な音声セグメントを受信した後のみ、応答を開始する。
しかし、多くの実世界のアプリケーションはストリーミング音声対話を必要としており、そこでは音声が連続的に流れ込み、マシンはこれまでに受信した音声チャンクに基づいて質問に答える必要がある。
例えば、ユーザーは、話している間、ある人の名前が言及された回数を連続的に数えるようにシステムに依頼することができる。
リアルタイム音声対話のためのベンチマークと評価プロトコルの欠如を観察する。
そこで本研究では,リアルタイム音声対話のためのデータセットとベンチマークであるLibriSpeech-Real-QAを提案する。
我々は、LLMがストリーミングオーディオにおいてターゲット語を識別できるかどうかを評価するために、LibriSpeechから異なるタイプのリアルタイム質問応答ペアを構築した。
我々は、いくつかの人気のあるリアルタイムコマーシャルモデルを評価し、音声のターンが終わった後も応答する傾向にあることを示した。
我々は、事前訓練されたSLMがこのタスクを実行できることを実証し、いくつかのモデリング設計を探求し、将来の研究のための確かなベースラインを確立する。
関連論文リスト
- Long-Form Speech Generation with Spoken Language Models [64.29591880693468]
テキストなしの音声言語モデルは、数十秒を超える可読な音声を生成するのに苦労する。
我々は、長音の音声から学習し、サンプルする最初の音声言語モデルであるSpeechSSMを導出する。
SpeechSSMは線形時間列モデリングの最近の進歩を活用し、コヒーレンスと効率性において現在のトランスフォーマー音声LMを大幅に上回っている。
論文 参考訳(メタデータ) (2024-12-24T18:56:46Z) - IntrinsicVoice: Empowering LLMs with Intrinsic Real-time Voice Interaction Abilities [55.11130688075417]
IntrinsicVoicは、本質的なリアルタイム音声対話機能を備えたLLMである。
我々の新規アーキテクチャであるGroupFormerは、テキストシーケンスに匹敵する長さまで音声シーケンスを削減できる。
我々は,500k近い音声対音声対話を含む,メソッド500kというマルチターン音声対音声対話データセットを構築した。
論文 参考訳(メタデータ) (2024-10-09T05:04:31Z) - Recent Advances in Speech Language Models: A Survey [45.968078636811356]
音声言語モデル(SpeechLMs)は、テキストから変換することなく音声を生成するエンドツーエンドモデルである。
本稿では,近年のSpeechLM構築手法について概観する。
論文 参考訳(メタデータ) (2024-10-01T21:48:12Z) - Moshi: a speech-text foundation model for real-time dialogue [78.88479749811376]
現在の音声対話システムは、パイプラインの独立した音声活動検出と音声合成に依存している。
そこで本研究では,Moshi Moshiが音声認識と音声合成を実現する方法を紹介する。
得られたモデルは、初めてリアルタイムな全音声大言語モデルモダリティである。
論文 参考訳(メタデータ) (2024-09-17T17:55:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。