論文の概要: People Making Conversation: Evaluating How Naturally Speech Models Converse
- arxiv url: http://arxiv.org/abs/2610.12802v1
- Date: Thu, 08 Oct 2026 23:18:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.317975
- Title: People Making Conversation: Evaluating How Naturally Speech Models Converse
- Title(参考訳): 会話をする人々:自然言語モデルがどのように会話するかを評価する
- Abstract要約: リアルタイム音声システムは、427停止時と482ターンで、Seamless Interactionにおける176の未記述会話から終了する。
これまでに各会話を行い、その人がしたことに対して何を生み出したかを記録します。
6つのシステムにまたがって、ホストされたAPIは、使用するエンドポイントのほぼすべての一時停止で応答する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A conversational speech model has to decide, at every pause, whether to speak. Existing evaluations test boundary detection, policy adherence, or aggregate statistics, not this decision. We place real-time speech systems at 427 pauses and 482 turn ends from 176 unscripted conversations in Seamless Interaction, give each the conversation so far, and score what it generates against what the person did: whether and how soon it speaks at a pause; its latency, length, and wording at a turn end; and whether it can answer a question about the preceding 30 to 120 seconds. Across six systems, the hosted APIs (GPT Realtime, Gemini 3.1 Flash Live, Grok Voice) respond at almost every pause whichever endpointer they use; only their latency, about 1 to 4 s with silence-based endpointers and about 8 s with semantic turn detection, decides whether the words land inside the pause. The full-duplex models (PersonaPlex, Moshi) are the only systems that regularly stay silent and the only ones that interrupt within a human reaction time. Hosted systems reply longer than the person. Given the history as text, hosted systems recall 41 to 60% of conversation facts under a Claude Opus 5.5 judge and 19 to 26% under a strict word matcher; hearing it as audio, full-duplex models recall 17 to 22% and 12 to 15%. We release the labels, points, harness, and every output.
- Abstract(参考訳): 会話型音声モデルは、どのポーズでも、話すかどうかを判断しなければならない。
既存の評価は、テスト境界の検出、ポリシーの遵守、あるいは集計統計であり、この決定ではない。
リアルタイム音声システムは、427のポーズと482のターンで終わり、Seamless Interactionの176の未記述の会話から終わり、これまでの会話をそれぞれ与え、その人の行動に対して生成したものをスコア付けします。
6つのシステムにまたがって、ホストAPI(GPT Realtime、Gemini 3.1 Flash Live、Grok Voice)はほぼすべての一時停止で応答する。
フルダブルプレックスモデル(PersonaPlex、Moshi)は、人間の反応時間内に中断される唯一のシステムである。
ホストされたシステムは、人よりも長く応答します。
テキストとしての歴史を考えれば、Claude Opus 5.5の審査員による会話事実の41~60%、厳格な単語マッカーによる19~26%をリコールし、音声として聞くと、17~22%、12~15%をリコールした。
ラベル、ポイント、ハーネス、そしてすべてのアウトプットをリリースします。
関連論文リスト
- Coupled but Late: Turn-Taking Between Full-Duplex Speech Models in Unscripted Dialogue [11.150781169320375]
ループでは、人間はタイミングエラーを吸収しない:各モデルのターンテイクはその入力である。
会話を通してスピーカーを再ペアリングすることは、それを破壊します。
しかし、床は人間に対して平均で400~560msの速度で手を変え、最後の120msのケースでは人間の投射が1%を占める。
論文 参考訳(メタデータ) (2026-10-06T17:03:54Z) - A Harness for Synthesizing Diverse Naturalistic Full-Duplex Conversations [17.048567633179037]
本稿では,リレーショナルイベントリストから意図抽出2チャンネル会話音声を合成するためのパイプラインを提案する。
イベントは独立して合成され、ソーステキストと一致し、共有クロック上に置かれ、ターンテイキングランドマークが測定される。
パイプラインは英語とマンダリンの8つの家族の42をカバーしている。
論文 参考訳(メタデータ) (2026-09-23T21:38:54Z) - TurnBench: A Multi-Domain Benchmark for Turn-Taking Dynamics in Spoken Dialogue [79.83228182492354]
自然な会話の話し手は、話と聞き取りを交互に行い、いつ床をつかむか、保持するか、または譲るかをリアルタイムで決める。
そこで本研究では,30時間の人的会話を手作業でラベル付けしたコーパスを,エンド・オブ・ターンと割り込み検出のための標準評価プロトコルと組み合わせたベンチマークTurnBenchを提案する。
一方、割り込み偽陽性は強く型依存的であり、バックチャネル・デンス相互作用スタイルに集中している。
論文 参考訳(メタデータ) (2026-08-25T23:14:36Z) - Speak or Stay Silent: Context-Aware Turn-Taking in Multi-Party Dialogue [5.0464110997545415]
既存の音声AIアシスタントは、検出されたすべての一時停止を、話す招待状として扱う。
AIアシスタントが複数のスピーカーと一緒に参加するマルチパーティ設定では、一時停止は豊富であいまいである。
我々はコンテキスト対応のターンテイクを定式化し、検出されたすべての一時停止において、会話の全コンテキストを考慮し、我々のメソッドは、アシスタントが話すべきか、沈黙し続けるべきかを判断する。
論文 参考訳(メタデータ) (2026-03-12T00:44:20Z) - SHANKS: Simultaneous Hearing and Thinking for Spoken Language Models [158.18422855768756]
現在の大規模言語モデル (LLM) と音声言語モデル (SLM) は、ユーザがターンを終えた後にのみ、思考と行動を取る。
これにより、モデルがユーザのターン中に対話するのを防ぎ、考えるのを待つ間、レスポンスのレイテンシが高くなります。
SHANKSは,ユーザ入力を聴きながら,無意味な連鎖推論をSLMが生成できるフレームワークである。
論文 参考訳(メタデータ) (2025-10-08T11:48:59Z) - Moshi: a speech-text foundation model for real-time dialogue [78.88479749811376]
現在の音声対話システムは、パイプラインの独立した音声活動検出と音声合成に依存している。
そこで本研究では,Moshi Moshiが音声認識と音声合成を実現する方法を紹介する。
得られたモデルは、初めてリアルタイムな全音声大言語モデルモダリティである。
論文 参考訳(メタデータ) (2024-09-17T17:55:39Z) - X-TURING: Towards an Enhanced and Efficient Turing Test for Long-Term Dialogue Agents [56.64615470513102]
チューリングテストは、自然言語の会話においてAIが人間のような振る舞いを示すかどうかを調べる。
従来の設定では、各参加者は一度に1つのメッセージに制限される。
本稿では,textitburstダイアログパターンを用いて,元のテストを強化するtextbftextscX-Turingを提案する。
論文 参考訳(メタデータ) (2024-08-19T09:57:28Z) - Turn-Taking Prediction for Natural Conversational Speech [40.189938418201656]
一般的な会話的発話は、ターンテイクを伴う複数のクエリを含むことが多い。
障害としては、思考の一時停止、ためらうこと、単語の延長、ポーズの充満、繰り返し句などがある。
本稿では,エンド・ツー・エンド(E2E)音声認識器上に構築されたターンテイク予測器を提案する。
論文 参考訳(メタデータ) (2022-08-29T01:09:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。