論文の概要: Real-Time Voice AI Hears but Does Not Listen

• arxiv url: http://arxiv.org/abs/2606.26083v1
• Date: Wed, 24 Jun 2026 17:55:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.420858
• Title: Real-Time Voice AI Hears but Does Not Listen
• Title（参考訳）: リアルタイム音声AIは耳に聞こえない
• Abstract要約: 我々は,4つの主要な実運用音声システムを評価する。 4つのシステムはすべて、声ではなく言葉に作用する。 我々は、音声AIの知覚と行動の分離を、感情的な知能ギャップと表現する。
• 参考スコア（独自算出の注目度）: 28.50011328763975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech conveys information through both words and vocal delivery. We evaluate four leading production realtime voice systems-OpenAI's GPT Realtime 2, Google's Gemini 3.1 Flash Live, and Alibaba's Qwen3.5 Omni Plus and Omni Flash-on tasks where the words and the delivery patterns both convey meaningful information. Across three consequential scenarios, all four systems act on the words rather than the voice. They end calls with crying callers who insist nothing is wrong, approve wire transfers authorized in frightened voices, and enroll callers whose agreement is clearly sarcastic. Surprisingly, this is often not a failure of perception. When asked directly, three of the four systems reliably identify the distress, fear, or sarcasm they later ignore when making decisions. We observe a similar pattern when these realtime voice systems estimate accent and age, as their responses frequently follow the biases of the words rather than the acoustic properties of the speaker. We term this disconnect between perception and action the emotional intelligence gap of voice AI. Prompting systems to explicitly attend to vocal delivery improves performance only partially and inconsistently. Our findings show that current realtime voice AI systems often behave as if speech had been reduced to a transcript, suggesting that they should be used with caution in settings where the tone and emotion of delivery convey important information.
• Abstract（参考訳）: 音声は、単語と発声の両方を通して情報を伝達する。 我々は,OpenAI の GPT Realtime 2 と Google の Gemini 3.1 Flash Live と Alibaba の Qwen3.5 Omni Plus と Omni Flash-on の4つの主要な実運用音声システムを評価する。 3つの連続的なシナリオで、4つのシステム全てが声ではなく単語に作用する。 彼らは何も悪いことを主張しない泣き声の発信を中止し、恐ろしい声で認可された電信転送を承認し、明らかに皮肉な契約を締結する。 驚くべきことに、これはしばしば認識の失敗ではない。 直接尋ねると、4つのシステムのうち3つは、後に決定を下す際に無視される苦痛、恐怖、または皮肉を確実に識別する。 これらのリアルタイム音声システムがアクセントと年齢を推定する場合、その応答は話者の音響特性よりも単語のバイアスによく従うため、同様のパターンが観察される。 我々は、音声AIの知覚と行動の分離を、感情的な知能ギャップと表現する。 音声配信に明示的に参加するプロンプティングシステムは、部分的にと矛盾なくパフォーマンスを向上する。 以上の結果から,現在のリアルタイム音声AIシステムは,音声の書き起こしを減らしたかのように振る舞うことが多く,伝達のトーンや感情が重要な情報を伝達する環境において,注意を払って使用すべきであることが示唆された。

関連論文リスト

• Noise Adaptive Streaming Audio-Visual Speech Token Enhancement for Robust Full-Duplex Spoken Dialogue Models [49.372283081631366]
  AVSTEは、音声知覚に到達する前に、ノイズの多い音声とリップビデオから意味のある音声トークンを復元する。 モシと統合すると、AVSTEは平均GPT-4ojudged応答コヒーレンスを1.42.91から改善する。
  論文  参考訳（メタデータ） (2026-09-08T07:59:13Z)
• Hear2Act: Benchmarking When Prosody Should Change What an Assistant Does [27.909684871924004]
  本稿では,テキストと音声アシスタントの統一評価プロトコルであるHear2Actを紹介する。 我々は、転写、音声、および関心状態アクセスに基づく意思決定を評価する。 語彙的証拠が不十分な場合には韻律が重要であることを示す。
  論文  参考訳（メタデータ） (2026-08-20T00:16:36Z)
• From Speech to Interaction: Analyzing Multimodal Systems in Cocktail-Party Scenarios [68.14493981116665]
  人間は、近くの会話から競合するスピーチをフィルタリングしながら、個々の話者に選択的に出席する能力を持つ。 この「カクテルパーティー」のシナリオは、音声認識システムに深刻な課題を呈している。 CHiME-9 MCoRecタスクは、システムが話者のグループを認識し、各会話を音声視覚入力から書き起こさなければならないテストベッドを提供する。
  論文  参考訳（メタデータ） (2026-08-09T06:11:38Z)
• RW-Voice-EQ Bench: A Real World Benchmark for Evaluating Voice AI Systems [5.434878413067881]
  テキスト音声(TTS)、音声音声(STS)、音声理解(SU)、音声認識(ASR)による音声AI評価のための多次元ベンチマークであるReal World Voice EQ Benchを紹介する。 評価の結果, 性能は高次元比であることが示唆された。
  論文  参考訳（メタデータ） (2026-07-16T11:15:16Z)
• Do AI Voices Learn Social Nuances? A Case of Politeness and Speech Rate [0.0]
  本研究は,現在最先端の音声合成システムにおいて,丁寧さを伝達するための発話速度を低下させる傾向があるかどうかを考察する。 私たちは、2つの主要なAIプラットフォームから22の合成音声を誘導し、"政治とフォーマル"と"カジュアルと非公式"の両方の条件の下で固定されたスクリプトを読みました。 両方のAIプラットフォームで、丁寧なプロンプトは、非常に大きな効果を持つカジュアルなプロンプトよりも遅い音声を生み出した。
  論文  参考訳（メタデータ） (2025-11-12T07:44:42Z)
• Chronological Thinking in Full-Duplex Spoken Dialogue Language Models [66.84843878538207]
  時系列思考は、完全なSDLMの応答品質を改善することを目的としている。 追加のレイテンシがない: ユーザが話すのをやめると、エージェントは考えるのをやめ、それ以上の遅延なしに話し始める。 結果: 客観的指標と人的評価の両面から, 時系列思考の有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-10-02T10:28:11Z)
• Character-aware audio-visual subtitling in context [58.95580154761008]
  本稿では,テレビ番組における文字認識型音声視覚サブタイピングのための改良されたフレームワークを提案する。 提案手法は,音声認識,話者ダイアリゼーション,文字認識を統合し,音声と視覚の両方を活用する。 提案手法を12テレビ番組のデータセット上で検証し,既存手法と比較して話者ダイアリゼーションと文字認識精度に優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T20:27:34Z)
• Moshi: a speech-text foundation model for real-time dialogue [78.88479749811376]
  現在の音声対話システムは、パイプラインの独立した音声活動検出と音声合成に依存している。 そこで本研究では,Moshi Moshiが音声認識と音声合成を実現する方法を紹介する。 得られたモデルは、初めてリアルタイムな全音声大言語モデルモダリティである。
  論文  参考訳（メタデータ） (2024-09-17T17:55:39Z)
• Towards Unsupervised Speech Recognition Without Pronunciation Models [57.222729245842054]
  本稿では,ペア音声とテキストコーパスを使わずにASRシステムを開発するという課題に取り組む。 音声合成とテキスト・テキスト・マスクによるトークン埋込から教師なし音声認識が実現可能であることを実験的に実証した。 この革新的なモデルは、レキシコンフリー環境下での以前の教師なしASRモデルの性能を上回る。
  論文  参考訳（メタデータ） (2024-06-12T16:30:58Z)
• The timing bottleneck: Why timing and overlap are mission-critical for conversational user interfaces, speech recognition and dialogue systems [0.11470070927586018]
  対話型および多言語対応のための5つの主要な商用ASRシステムの評価を行った。 6言語での自然な会話データに対する単語誤り率の差は小さく、重複は依然として重要な課題である。 本研究は,対話型音声技術の構築に最も注意を要する現象を同定し,会話型ASRの現状の評価,多次元誤り解析と評価に寄与することを支援する。
  論文  参考訳（メタデータ） (2023-07-28T11:38:05Z)
• A unified one-shot prosody and speaker conversion system with self-supervised discrete speech units [94.64927912924087]
  既存のシステムは韻律と言語内容の相関を無視し、変換された音声の自然度を低下させる。 自己教師付き離散音声単位を言語表現として活用するカスケードモジュラーシステムを提案する。 実験により,本システムは,自然性,知性,話者伝達性,韻律伝達性において,従来の手法よりも優れていたことがわかった。
  論文  参考訳（メタデータ） (2022-11-12T00:54:09Z)
• DualVoice: Speech Interaction that Discriminates between Normal and Whispered Voice Input [16.82591185507251]
  発声コマンドと音声入力に必要なテキストを区別する簡単な方法はない。 記号やコマンドの入力も、それらがテキスト文字として誤解される可能性があるため、難しい。 本研究では,DualVoiceと呼ばれる音声対話手法を提案する。
  論文  参考訳（メタデータ） (2022-08-22T13:01:28Z)
• Self-Supervised Speech Representations Preserve Speech Characteristics while Anonymizing Voices [15.136348385992047]
  我々は、自己教師付き音声表現を用いて、複数の音声変換モデルを訓練する。 変換音声は、元の音声の1%以内に低い単語誤り率を保持する。 調音・韻律・発声・音韻に関連する音声特徴を匿名音声から抽出できることを示す。
  論文  参考訳（メタデータ） (2022-04-04T17:48:01Z)
• Analysis and Tuning of a Voice Assistant System for Dysfluent Speech [7.233685721929227]
  音声認識システムは、音や単語の繰り返し、音の伸長、可聴ブロックなどの非効率な音声によく当てはまらない。 既存のハイブリッド音声認識システムにおける復号化パラメータを調整することにより、流速障害のある個人に対して、isWERを24%改善できることを示す。
  論文  参考訳（メタデータ） (2021-06-18T20:58:34Z)
• Learning Explicit Prosody Models and Deep Speaker Embeddings for Atypical Voice Conversion [60.808838088376675]
  本稿では,明示的な韻律モデルと深層話者埋め込み学習を用いたVCシステムを提案する。 韻律補正器は音素埋め込みを取り入れ、典型的な音素持続時間とピッチ値を推定する。 変換モデルは、音素埋め込みと典型的な韻律特徴を入力として、変換された音声を生成する。
  論文  参考訳（メタデータ） (2020-11-03T13:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。