論文の概要: SCB: SpeechConversationBench for Evaluating Multi-Turn Reasoning in Speech-to-Speech Models

• arxiv url: http://arxiv.org/abs/2609.40198v1
• Date: Wed, 30 Sep 2026 17:13:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:28.132658
• Title: SCB: SpeechConversationBench for Evaluating Multi-Turn Reasoning in Speech-to-Speech Models
• Title（参考訳）: SCB:音声対音声モデルにおけるマルチTurn推論の評価のための会話ベンチ
• Abstract要約: 音声合成システムは、会話の交互に要求が現れるタスクを解決しなければならない。 本稿では、音声推論の焦点を絞った評価であるSpeechConversationBenchを紹介する。 4つの商業音声システムとLEGOについて最終回答精度を報告する。
• 参考スコア（独自算出の注目度）: 0.14323566945483496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech-to-speech systems must solve tasks whose requirements emerge across conversational turns. We introduce SpeechConversationBench (SCB), a focused evaluation of spoken mathematical reasoning using 103 sharded GSM8K problems. The framework compares the original problem delivered in one turn (full), its concatenated information shards delivered together (concat), and incremental spoken disclosure across turns (sharded). We report final-answer accuracy for four commercial speech systems and LEGO, a proprietary speech pipeline developed internally by the SCBX Innovation Lab team with explicit conversational context management. Relative to concat, sharded accuracy decreases by 5.0-25.3 percentage points across the four commercial systems. LEGO achieves 77.5 percent accuracy in all three conditions, compared with 76.6 percent sharded accuracy for GPT-4o Realtime. The two single-turn baselines distinguish sensitivity to problem reformulation from the additional challenges introduced by incremental spoken interaction.
• Abstract（参考訳）: 音声合成システムは、会話の交互に要求が現れるタスクを解決しなければならない。 本稿では,103のシャード付きGSM8K問題を用いた音声数学的推論の焦点評価であるSpeechConversationBench(SCB)を紹介する。 このフレームワークは、1ターン(フル)で提供された元の問題、まとめられた情報シャード(コンキャット)、ターン間でのインクリメンタルな音声開示(シャード)を比較している。 SCBX Innovation Lab チームによって内部開発され,会話コンテキストを明示的に管理する,プロプライエタリな音声パイプラインである LEGO と 4 つの商用音声システムの最終回答精度について報告する。 コンカターとは対照的に、シャーディング精度は4つの商用システムで5.0-25.3ポイント低下する。 LEGOは3つの条件で77.5パーセントの精度を達成し、GPT-4o Realtimeでは76.6%の精度を達成している。 2つのシングルターンベースラインは、インクリメンタル音声相互作用によってもたらされる追加の課題と、問題修正に対する感度を区別する。

関連論文リスト

• EgoAdapt: Enhancing Robustness in Egocentric Interactive Speaker Detection Under Missing Modalities [18.332508545927578]
  本研究では,モダリティの欠如した話者検出のための適応型フレームワークであるEgoAdaptを紹介する。 EgoAdaptには3つの重要なモジュールが組み込まれている。(1)視覚話者目標認識(VSTR)モジュールは、音声特徴抽出のためのパラレル共有オーディオ(PSA)エンコーダである。 EgoAdaptは平均平均精度(mAP)67.39%、精度(Acc)62.01%を達成する。
  論文  参考訳（メタデータ） (2026-03-18T07:55:24Z)
• DiffuSpeech: Silent Thought, Spoken Answer via Unified Speech-Text Diffusion [23.01044837428522]
  我々は、音声LLMが音声応答とともに内部テキスト推論を生成するパラダイムであるtextbfSilent Thought, Spoken Answer'を紹介する。 本稿では,理解と生成の両方をサポートする最初の拡散型音声テキスト言語モデルを提案する。 実験の結果,最先端の音声合成QAの精度を最大9ポイント向上させることができた。
  論文  参考訳（メタデータ） (2026-01-30T12:08:33Z)
• CS3-Bench: Evaluating and Enhancing Speech-to-Speech LLMs for Mandarin-English Code-Switching [31.584937435966253]
  我々はCS3-Bench(Code-Switching Speech-to-Speech Benchmark)を提案する。 7つの主流モデルに関する実験は、知識集約的な質問応答の相対的なパフォーマンス低下を66%まで示している。 提案手法は, 知識の精度を25.14%から46.13%に改善し, オープンエンド理解率を64.5%から86.5%に改善し, 第二言語における発音誤りを大幅に低減する。
  論文  参考訳（メタデータ） (2025-10-09T07:34:23Z)
• An Unsupervised Dialogue Topic Segmentation Model Based on Utterance Rewriting [3.5399864027190366]
  本研究では,Utterance Rewriting(UR)技術と教師なし学習アルゴリズムを組み合わせた,教師なし対話トピックセグメンテーション手法を提案する。 The proposed Discourse Rewriting Topic Model (UR-DTS) is significantly improves the accuracy of topic segmentation。
  論文  参考訳（メタデータ） (2024-09-12T00:27:31Z)
• Retrieval Augmented End-to-End Spoken Dialog Models [20.896330994089283]
  音声信号から直接ダイアログ状態が推測される音声対話アプリケーションにSLMを適用する。 RAG(retrieval-augmented generation)パラダイムにヒントを得て,この弱点を克服する検索拡張SLM(ReSLM)を提案する。 音声MultipleWozタスク(DSTC-11チャレンジ)を用いてReSLMを評価し,この検索によりモデル性能が向上することを確認した。
  論文  参考訳（メタデータ） (2024-02-02T18:23:09Z)
• SpokenWOZ: A Large-Scale Speech-Text Benchmark for Spoken Task-Oriented Dialogue Agents [70.08842857515141]
  SpokenWOZは音声TODのための大規模音声テキストデータセットである。 SpokenWOZでは、クロスターンスロットと推論スロット検出が新たな課題である。
  論文  参考訳（メタデータ） (2023-05-22T13:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。