論文の概要: Voice-Native LLMs Hear Frustration but Do Not Listen to It

• arxiv url: http://arxiv.org/abs/2611.02893v1
• Date: Mon, 02 Nov 2026 10:26:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 14:31:17.986751
• Title: Voice-Native LLMs Hear Frustration but Do Not Listen to It
• Title（参考訳）: ボイスNative LLMはフラストレーションに耳を傾けるが、聞き取らない
• Abstract要約: ユーザは、自分の言っていることやその言い方に対する不満を伝え、音声ネイティブモデルは、ASRの書き起こしの代わりに音声を聴くことによって、両方を登録できる。 我々は353のタスクで2x2の内面設計でフラストレーションのある音声でフラストレーションを交わし、1,412のクリップをVoxAffectとしてリリースした。 中立的な言葉で、全ての8つの声は少なくとも3.1%のクリップでフラストレーションを受けたが、そのうち7つは73-100%のクリップで怒りを検知し、人間の聴取者は65.3%の判定で声を正しく分類した。
• 参考スコア（独自算出の注目度）: 1.657269689809441
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Users convey frustration in what they say and in how they say it, and voice-native models, which hear speech instead of an ASR transcript, can register both. Existing evaluations read unchanged performance as robustness without checking perception. Following Brunswik's lens model, we measure on identical audio whether frustration is expressed, perceived, and utilized. We cross frustrated wording with frustrated voice in a within-item 2x2 design over 353 tasks and release the 1,412 clips as VoxAffect. Across 8 models, outputs look robust, with no detectable vocal effect on accuracy for 7. With neutral wording, all 8 label the frustrated voice frustrated in at most 3.1% of clips, although 7 of them detect acted anger in 73-100% of clips and human listeners classify the voice correctly in 65.3% of judgments. Yet linear probes decode the frustrated voice from the audio encoders of the 2 open-weight models, with paired accuracy 0.67 and 0.69, and in proprietary models too the voice raises perceived frustration once the words agree. The models thus hear the frustrated voice but do not listen to it, whereas their invariance to frustrated wording, perceived in 40-75% of clips, is genuine robustness. Our work is openly accessible at https://github.com/Astarojth/hear-not-listen.
• Abstract（参考訳）: ユーザは、自分の言っていることやその言い方に対する不満を伝え、音声ネイティブモデルは、ASRの書き起こしの代わりに音声を聴くことによって、両方を登録できる。 既存の評価では、認識をチェックせずに、頑健さとしてパフォーマンスが変化しない。 Brunswikのレンズモデルに従い、フラストレーションが表現され、認識され、活用されるかどうかを同一の音声で測定する。 我々は353のタスクで2x2の内面設計でフラストレーションのある音声でフラストレーションを交わし、1,412のクリップをVoxAffectとしてリリースした。 8モデルにまたがって出力は頑丈に見え、7.7の精度で発声効果は検出できない。 中立的な言葉で、全ての8つの声は少なくとも3.1%のクリップでフラストレーションを受けたが、そのうち7つは73-100%のクリップで怒りを検知し、人間の聴取者は65.3%の判定で声を正しく分類した。 しかし、線形プローブは、2つのオープンウェイトモデルの音声エンコーダから、ペアの精度0.67と0.69でフラストレーションされた音声をデコードする。 その結果,40～75%のクリップで認識されるフラストレーション音声に対する不一致は,真に頑健であることがわかった。 私たちの作品はhttps://github.com/Astarojth/hear-not-listen.comで公開されています。

関連論文リスト

• Incongruence-Aware Evaluation of Multimodal Speech Emotion Recognition in Audio Large Language Models [0.8789461534728509]
  テキストと音声を共有空間にマップし、それらの間の距離を連続的に閾値のない不一致スコアに変換する。 行動的・会話的・自発的な3つの音声能力モデルについて検討した。
  論文  参考訳（メタデータ） (2026-10-29T19:04:50Z)
• How to Reduce Whisper Hallucination [0.0]
  ひとつは寛容にライセンスされたチェックポイント、99の言語、言語ごとのチューニングなしです。 42クリップの純ルームトーンでは、whisper-large-v3は61.9%で単語を出力し、100%で何かを出力する。 最高のチェックポイントは、61.9%から2.4%までの沈黙と、99.9%から47.8%までの実際の無声音声に関する言葉を幻覚させる。
  論文  参考訳（メタデータ） (2026-09-26T12:35:29Z)
• VocalAffectBench: Evaluating Vocal Emotion Recognition in AI Audio Models [3.031452739909654]
  我々は、AIオーディオモデルが生音声から表現された音声感情を識別できるかどうかを評価するテスト専用ベンチマークであるVocalAffectBenchを紹介する。 このベンチマークには、51人の話者による273本の英語のWAVクリップが含まれており、7つのラベルで合計1.95時間である。 すべてのベースラインは、書き起こしやコンテキストメタデータなしで、オーディオのみから評価される。
  論文  参考訳（メタデータ） (2026-08-28T23:03:43Z)
• All That Glitters Is Not Audio: Rethinking Text Priors and Audio Reliance in Audio-Language Evaluation [45.45465533352999]
  大規模オーディオ言語モデルは、音声と音声のベンチマークで一貫したパフォーマンス向上を示すが、高いスコアは真の聴覚知覚を反映していないかもしれない。 本稿では,テキストと一般知識のみから応答可能性を測定するテキスト先行法と,音響信号への実際の依存度を評価するオーディオ依存法という,2つの軸を用いた診断フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-27T12:25:18Z)
• Speech-Hands: A Self-Reflection Voice Agentic Approach to Speech Recognition and Audio Reasoning with Omni Perception [142.4692205981783]
  我々は,外部の音声知覚をいつ信頼するか,いつ外部の音声知覚を相談するかを知るという,一貫したスキルを学習する音声認識フレームワークを導入する。 音声認識と外部の音声理解タスクの両方でオムニモデルを鼻で微調整することは、しばしば性能を低下させる。 これを解決するために、我々のフレームワークであるSpeech-Handsは、問題を明示的な自己回帰決定として再考する。この学習可能なプリミティブは、モデルが欠陥のある外部候補によって脱線されるのを防ぐのに有効である。
  論文  参考訳（メタデータ） (2026-01-14T12:06:50Z)
• Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale [58.46845567087977]
  Voiceboxは、大規模音声のための最も多用途なテキスト誘導生成モデルである。 モノまたはクロスランガルのゼロショットテキスト音声合成、ノイズ除去、コンテンツ編集、スタイル変換、多様なサンプル生成に使用できる。 最先端のゼロショットTSモデルであるVALL-E(5.9%対1.9%のワードエラー率)とオーディオの類似性(0.580対0.681)は20倍高速である。
  論文  参考訳（メタデータ） (2023-06-23T16:23:24Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)
• Nonverbal Sound Detection for Disordered Speech [24.636175845214822]
  15個の非言語音を用いた音声事象検出に依拠する音声入力システムを提案する。 このシステムは、人の音声能力に関係なく動作し、既存の技術に完全にアクセスできるように設計されている。
  論文  参考訳（メタデータ） (2022-02-15T22:02:58Z)
• Learning Explicit Prosody Models and Deep Speaker Embeddings for Atypical Voice Conversion [60.808838088376675]
  本稿では,明示的な韻律モデルと深層話者埋め込み学習を用いたVCシステムを提案する。 韻律補正器は音素埋め込みを取り入れ、典型的な音素持続時間とピッチ値を推定する。 変換モデルは、音素埋め込みと典型的な韻律特徴を入力として、変換された音声を生成する。
  論文  参考訳（メタデータ） (2020-11-03T13:08:53Z)
• VoiceCoach: Interactive Evidence-based Training for Voice Modulation Skills in Public Speaking [55.366941476863644]
  ピッチ,ボリューム,速度などの音声特性の変調は,公的な発話を成功させる上で極めて重要である。 音声変調スキルの効果的な訓練を容易にする対話型エビデンスに基づくアプローチであるVoiceCoachを提案する。
  論文  参考訳（メタデータ） (2020-01-22T04:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。