論文の概要: InteractionBench: Measuring Timing, Task Accuracy, Whisper and Volume, and Grounding in Real-Time Voice Systems
- arxiv url: http://arxiv.org/abs/2611.02430v1
- Date: Mon, 02 Nov 2026 02:53:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.556813
- Title: InteractionBench: Measuring Timing, Task Accuracy, Whisper and Volume, and Grounding in Real-Time Voice Systems
- Title（参考訳）: InteractionBench:リアルタイム音声システムにおけるタイミング,タスク精度,WhisperとVolume,グラウンドの測定
- Abstract要約: GPTLive, GPT-Realtime, Gemini Live, Moshi PersonaPlex, Freeze Omni, and turn-based cascade。
GPT-Live, GPT-Realtime, Gemini Live, Moshi PersonaPlex, Freeze Omni, and a turn-based cascade across 1,519 graded run。
- 参考スコア（独自算出の注目度）: 5.90805749495021
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most benchmarks for real-time voice systems focus on one aspect, such as turn-taking, instruction following, paralinguistic control, or conversational memory, each with its own data and set of systems. We present InteractionBench, a benchmark and evaluation harness that measures four dimensions on the same systems from the same recorded user audio: conversational timing, spoken-task accuracy, whisper and volume, and groundedness in conversations of more than twenty turns. The benchmark contains 221 items per system in thirteen scenarios. Before any system runs, we fix the expected floor-control actions for spoken tasks by rule and take the expected answers from scripted dialogues. We score whispering from the audio signal. We evaluate GPT-Live, GPT-Realtime, Gemini Live, Moshi, PersonaPlex, Freeze-Omni, and a turn-based cascade in 1,519 graded runs. Among the six full-duplex systems, timing and spoken-task accuracy are rank-correlated ($ρ= 0.83$), while the cascade has the highest spoken-task score (38/50) and the second-lowest timing score. No system corrects a user's grammar within the required window. Only Gemini Live whispers on most requests (8/10). Hosted systems pass 67-88% of groundedness probes, compared with 14-35% for open full-duplex models. Timing is measured where the client hears each system, so the timing of hosted systems includes network delay: for GPT-Live, whose server reports its own clock, removing a delay of about 1.5 s lowers its timing score from 86% to 56%. We also document where the protocol differs across systems, including the text instructions.
- Abstract（参考訳）: リアルタイム音声システムのほとんどのベンチマークは、ターンテイク、命令追従、パラ言語制御、会話記憶などの1つの側面に焦点を合わせており、それぞれが独自のデータとシステムのセットを持っている。
我々は,会話のタイミング,音声タスクの精度,ささやき声と音量,20回以上の会話における接地感の4次元を同じユーザ音声から測定するベンチマークと評価ハーネスであるInteractionBenchを提案する。
ベンチマークには13のシナリオで1システム当たり221項目が含まれている。
システムが実行される前に、音声タスクに対する期待フロアコントロールアクションをルールで修正し、スクリプト化された対話から期待される回答を取り出す。
私たちは音声信号からささやく。
GPT-Live, GPT-Realtime, Gemini Live, Moshi, PersonaPlex, Freeze-Omni, and a turn-based cascade in 1,519 graded run。
6つの全二重システムの中で、タイミングと音声タスクの精度はランク関連(ρ=0.83$)であり、カスケードは最高発声タスクスコア(38/50)と2番目に低いタイミングスコアである。
必要なウィンドウ内でユーザの文法を修正するシステムは存在しない。
Gemini Liveのみ、ほとんどのリクエスト(8/10)でささやきます。
ホストシステムは67～88%の接地性プローブをパスし、全二重モデルでは14～35%である。
GPT-Liveでは、サーバが自身のクロックを報告し、約1.5秒の遅延を取り除き、タイミングスコアを86%から56%に下げる。
また、テキスト命令を含むシステム間でプロトコルがどこが異なるかも文書化します。
関連論文リスト
- VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation [54.06324099927377]
VibeVideoBenchは、コード駆動のビデオ生成のエージェントを評価するためのベンチマークである。
英語と中国語の239の自己完結タスクは12のカテゴリにまたがっている。
各タスクは、イメージやビデオ生成モデルのないサンドボックス内のネイティブハーネス内で実行されているエージェントに、1時間以内に完了したMP4を配信するように要求する。
論文 参考訳（メタデータ） (2026-10-26T17:59:32Z) - MultiPartyTurnBench: Benchmarking Floor Control in Multi-Party Spoken Dialogue [67.07361089429757]
本研究では, 主観的ターンテイクや終末行動について検討するが, 真のフロア・トランジションの統一的評価を, 難易度の高い非パーティ・セッティングに対して検討する。
我々は、240個の合成されたチャネル分離会話のベンチマークであるMultiPartyTurnBench (MPTB) について紹介する。
学習システムは82.2.6%のEOTリコールを4.3-11.8%の偽陽性率で達成し、Interruption (INT) 検出は失敗したテイクオーバーや過剰な偽のアクティベーションに悩まされる。
論文 参考訳（メタデータ） (2026-10-14T13:20:14Z) - People Making Conversation: Evaluating How Naturally Speech Models Converse [0.0]
リアルタイム音声システムは、427停止時と482ターンで、Seamless Interactionにおける176の未記述会話から終了する。
これまでに各会話を行い、その人がしたことに対して何を生み出したかを記録します。
6つのシステムにまたがって、ホストされたAPIは、使用するエンドポイントのほぼすべての一時停止で応答する。
論文 参考訳（メタデータ） (2026-10-08T23:18:20Z) - InteractionBench: A Real-Time Interaction Benchmark for Streaming Video Systems [39.63667724851282]
InteractionBenchは、クエリ応答、イベントトリガ、および812ビデオ上の1,060のインタラクションの継続的な更新をカバーしている。
ビデオクロック上でコンテンツ精度、タイミング精度、サイレントコンプライアンスをスコアする。
ネイティブリアルタイムインタラクションシステムは、66.8タイミング精度で29.2のサイレントコンプライアンスに達するが、負のストリームの89.9%を出力する。
論文 参考訳（メタデータ） (2026-10-05T04:18:52Z) - Qwen-Audio-3.1-Realtime: Towards Reliable Agentic Voice Interaction [36.155594348195784]
我々は、Think、Act、Speak Coordinateという、ツールの使用、フィードバックの解釈、タスクの完了をモデルに教えるツールを紹介します。
また、Qwen-Audio-3.0-Realtimeを前景として使用し、コーディネーションメモリによる音声対話を永続的なタスクに拡張する、別のVoice Harnessプロトタイプも提示する。
論文 参考訳（メタデータ） (2026-09-21T14:20:47Z) - Realtime-Venus: A full-duplex interaction system with asynchronous delegation [0.0]
音声対話のためのリアルタイム・リアルタイム・オムニ・オーディオ・インタラクションとリアルタイム・オーディオ・スポーケンを提示する。
それぞれのモデルは完全な会話として機能し、連続認識、会話制御、およびネイティブ音声生成を統合する。
論文 参考訳（メタデータ） (2026-09-12T08:56:50Z) - TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue [79.83228182492354]
自然な会話の話し手は、話と聞き取りを交互に行い、いつ床をつかむか、保持するか、または譲るかをリアルタイムで決める。
そこで本研究では,30時間の人的会話を手作業でラベル付けしたコーパスを,エンド・オブ・ターンと割り込み検出のための標準評価プロトコルと組み合わせたベンチマークTurnBenchを提案する。
一方、割り込み偽陽性は強く型依存的であり、バックチャネル・デンス相互作用スタイルに集中している。
論文 参考訳（メタデータ） (2026-08-25T23:14:36Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - Real-Time Voicemail Detection in Telephony Audio Using Temporal Speech Activity Features [1.066048003460524]
本稿では,事前学習したニューラル音声活動検出器の音声活動パターンから15の時間的特徴を抽出する軽量なアプローチを提案する。
2つの評価セットで合計764の電話録音を行い、96.1%の精度で合成する。
論文 参考訳（メタデータ） (2026-04-02T17:43:24Z) - A Cocktail-Party Benchmark: Multi-Modal dataset and Comparative Evaluation Results [62.01871490859886]
第9回CHiMEチャレンジにおいて,マルチモーダルコンテキスト認識(MCoRec)の課題を紹介した。
MCoRecは、録音が説明のない、カジュアルなグループチャットに集中する、自然なマルチパーティの会話をキャプチャする。
このタスクでは、各話者のスピーチを共同で翻訳し、音声・視覚録音から各話者の会話にまとめることにより、「誰がいつ、何、誰と話をするのか?」という質問に答えるシステムが必要である。
論文 参考訳（メタデータ） (2025-10-27T12:36:43Z) - SuperVoice: Text-Independent Speaker Verification Using Ultrasound
Energy in Human Speech [10.354590276508283]
ボイスアクティベートシステムは、さまざまなデスクトップ、モバイル、IoT(Internet-of-Things)デバイスに統合されている。
既存の話者検証技術は、音声コマンドの可聴周波数範囲から抽出した分光学的特徴により、個々の話者を識別する。
本稿では,特徴融合機構を備えた2ストリームアーキテクチャを用いた話者検証システム SUPERVOICE を提案する。
論文 参考訳（メタデータ） (2022-05-28T18:00:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。