論文の概要: $S^3$-Bench: Evaluating Speech Interaction Models as Scientific Voice Assistants

• arxiv url: http://arxiv.org/abs/2609.09852v1
• Date: Wed, 09 Sep 2026 08:06:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.945187
• Title: $S^3$-Bench: Evaluating Speech Interaction Models as Scientific Voice Assistants
• Title（参考訳）: S^3$-Bench:科学音声アシスタントとしての音声対話モデルの評価
• Abstract要約: マルチモーダル大規模言語モデル(MLLM)は、人間とコンピュータの相互作用のパラダイムを根本的に変えた。 一般音声アシスタントとしての卓越したパフォーマンスにもかかわらず、専門分野における彼らのパフォーマンスはいまだに未熟である。 S$3$-Benchは、10つの主要な分野をカバーする体系的な評価フレームワークである。
• 参考スコア（独自算出の注目度）: 30.60229140544314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The advance of multimodal large language models (MLLMs) has fundamentally reshaped the paradigm of human-computer interaction, especially speech interaction models capable of seamless conversations. Despite remarkable performance as general voice assistants, their performance in specialized domains remains underexplored, particularly in scientific areas. Scientific interactions introduce formidable challenges, involving rare technical terminology, spoken norms of abbreviations, and the natural verbalization of symbolic special expressions. In this paper, we introduce S$^3$-Bench, a systematic evaluation framework covering 10 major disciplines, consisting of a Knowledge set for speech question-answering and a Dialogue set for multi-turn progressive interactions with simulated user agents. By decomposing a complete atomic turn into stages of speech recognition, perception, knowledge utilization with reasoning, and response pronunciation, we systematically characterize the common challenges and performance tradeoffs of existing approaches. Furthermore, experiments on multi-turn interactions reveal persistent limitations in user adaptation and the generation of accurate, comprehensive, and efficient responses.
• Abstract（参考訳）: マルチモーダルな大言語モデル(MLLM)の進歩は、人間とコンピュータの相互作用のパラダイム、特にシームレスな会話が可能な音声相互作用モデルを根本的に変えてきた。 一般的な音声アシスタントとしての卓越した性能にもかかわらず、専門分野における彼らのパフォーマンスは、特に科学分野において未熟である。 科学的相互作用は、稀な技術的用語、口語的省略の規範、象徴的な特殊表現の自然な動詞化を含む、恐ろしい挑戦をもたらす。 本稿では,S$^3$-Benchについて紹介する。S$^3$-Benchは,音声質問応答のための知識セットと,シミュレートされたユーザエージェントとのマルチターンプログレッシブインタラクションのための対話セットからなる,10大分野を対象とした体系的評価フレームワークである。 完全な原子ターンを音声認識、知覚、推論による知識利用、応答発音の段階に分解することにより、既存のアプローチの共通課題と性能トレードオフを体系的に特徴づける。 さらに、マルチターンインタラクションの実験では、ユーザ適応と、正確で包括的で効率的な応答の生成において、永続的な制限が示される。

関連論文リスト

• Covo-Audio Technical Report [61.09708870154148]
  7BバックエンドのLALMであるCovo-Audioは、連続的なオーディオ入力を直接処理し、単一の統一アーキテクチャ内でオーディオ出力を生成する。 対話指向の変種であるCovo-Audio-Chatは、意味的に強い会話能力を示す。
  論文  参考訳（メタデータ） (2026-02-10T14:31:11Z)
• MultiVox: A Benchmark for Evaluating Voice Assistants for Multimodal Interactions [70.93364531054273]
  音声と視覚を融合させる音声アシスタントの能力を評価する最初のベンチマークであるMultiVoxを紹介する。 具体的には、MultiVoxには、多種多様なパラ言語的特徴を包含する1000の人間の注釈付き音声対話が含まれている。 10の最先端モデルに対する我々の評価は、人間はこれらのタスクに長けているが、現在のモデルは、常に文脈的に接地された応答を生成するのに苦労していることを示している。
  論文  参考訳（メタデータ） (2025-07-14T23:20:42Z)
• Aligning Spoken Dialogue Models from User Interactions [55.192134724622235]
  本稿では,ユーザの対話からリアルタイム会話における音声対話モデルを改善するための新しい嗜好アライメントフレームワークを提案する。 AIフィードバックを付加した生のマルチターン音声会話から15万以上の好みペアのデータセットを作成する。 本研究は, 自然なリアルタイム音声対話システムにおいて重要な, 様々な力学におけるバランスの整合性の重要性を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-06-26T16:45:20Z)
• Enabling Chatbots with Eyes and Ears: An Immersive Multimodal Conversation System for Dynamic Interactions [13.341099059080936]
  本研究の目的は、人間とのより没入的な相互作用が可能な「目と耳」をチャットボットに装備することである。 本稿では,マルチモーダルな会話データセットであるマルチモーダルなマルチセッション・マルチパーティ・会話について紹介する。 我々のモデルはM3C$で訓練され、複数の話者との長期会話をシームレスに行う能力を示している。
  論文  参考訳（メタデータ） (2025-05-31T06:50:51Z)
• Multimodal Conversation Structure Understanding [12.29827265137757]
  大きな言語モデルでは、きめ細かい会話構造を理解する能力は未解明のままである。 我々は,話者と回答関係のための4,398の注釈付きデータセット,5,755人のアドレナリ,3,142人のサイド参加者を提示する。 音声-視覚的LLMと視覚言語モデルの評価をデータセット上で行い, 実験結果から, マルチモーダル対話構造理解は依然として困難であることが示唆された。
  論文  参考訳（メタデータ） (2025-05-23T06:41:54Z)
• REALTALK: A 21-Day Real-World Dataset for Long-Term Conversation [51.97224538045096]
  本稿では、21日間のメッセージアプリ対話のコーパスであるREALTALKを紹介する。 EI属性とペルソナの整合性を比較し,現実世界の対話による課題を理解する。 その結果,モデルでは対話履歴のみからユーザをシミュレートすることが困難であり,特定のユーザチャットの微調整はペルソナのエミュレーションを改善することがわかった。
  論文  参考訳（メタデータ） (2025-02-18T20:29:01Z)
• Advancing Multi-Party Dialogue Framework with Speaker-ware Contrastive Learning [10.678477576849579]
  コントラスト学習に基づく多人数対話応答生成フレームワークを提案する。 CMRは2段階の自己教師型コントラスト学習フレームワークを採用している。 実験の結果、CMRは最先端のモデルよりも優れているだけでなく、大きな事前訓練された言語モデルにも優れていることが示された。
  論文  参考訳（メタデータ） (2025-01-20T06:28:22Z)
• WavChat: A Survey of Spoken Dialogue Models [66.82775211793547]
  GPT-4oのようなシステムで実証された音声対話モデルの最近の進歩は、音声領域において大きな注目を集めている。 これらの高度な音声対話モデルは、音声、音楽、その他の音声関連の特徴を理解するだけでなく、音声のスタイリスティックな特徴や音節的な特徴も捉える。 音声対話システムの進歩にもかかわらず、これらのシステムを体系的に組織化し分析する包括的調査が欠如している。
  論文  参考訳（メタデータ） (2024-11-15T04:16:45Z)
• OmniFlatten: An End-to-end GPT Model for Seamless Voice Conversation [53.7173034249361]
  エンド・ツー・エンドのGPTベースモデルであるOmniFlattenは、低レイテンシで自然な会話に固有の複雑な振る舞いを効果的にモデル化することができる。 提案手法は, 簡便なモデリング手法と, より効率的かつ自然な対話システムを構築するための研究の方向性を提供する。
  論文  参考訳（メタデータ） (2024-10-23T11:58:58Z)
• The timing bottleneck: Why timing and overlap are mission-critical for conversational user interfaces, speech recognition and dialogue systems [0.11470070927586018]
  対話型および多言語対応のための5つの主要な商用ASRシステムの評価を行った。 6言語での自然な会話データに対する単語誤り率の差は小さく、重複は依然として重要な課題である。 本研究は,対話型音声技術の構築に最も注意を要する現象を同定し,会話型ASRの現状の評価,多次元誤り解析と評価に寄与することを支援する。
  論文  参考訳（メタデータ） (2023-07-28T11:38:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。