論文の概要: Hear2Act: Benchmarking When Prosody Should Change What an Assistant Does
- arxiv url: http://arxiv.org/abs/2608.19515v1
- Date: Thu, 20 Aug 2026 00:16:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.419849
- Title: Hear2Act: Benchmarking When Prosody Should Change What an Assistant Does
- Title（参考訳）: Hear2Act:プロソディがアシスタントの動作を変えるべき時期のベンチマーク
- Abstract要約: 本稿では,テキストと音声アシスタントの統一評価プロトコルであるHear2Actを紹介する。
我々は、転写、音声、および関心状態アクセスに基づく意思決定を評価する。
語彙的証拠が不十分な場合には韻律が重要であることを示す。
- 参考スコア（独自算出の注目度）: 25.893172282040723
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prosodic cues can convey task-relevant information that alters the trajectory and outcome of a task-oriented dialogue, even when the words themselves remain unchanged. Yet existing benchmarks typically evaluate prosodic perception, response appropriateness, and task-oriented dialogue in isolation, making it difficult to test whether prosodic evidence changes downstream decisions. We introduce Hear2Act, a unified evaluation protocol for text and spoken assistants with 480 persona-grounded scenarios, hidden user concerns, and objectively verifiable outcomes. For each scenario, we keep the task and user needs fixed while varying whether the same concern is conveyed explicitly in words or primarily through prosody, and evaluate decisions under transcript, audio, and concern-state access. Using Hear2Act, we evaluate two audio-capable LLMs. Under Prosody-mediated feedback, adding audio to the transcript changes the average optimal-solution rate only from 14.6% to 15.3%. In contrast, when models infer the concern status from audio, represent it in text, and use it for next-action selection, the rate rises to 39.6%, close to 40.7% with the ground-truth state. This contrast, however, largely disappears under Explicit lexical feedback, where the concern is verbally mentioned in the utterance. Together, these results show that prosody matters when lexical evidence is insufficient, and that audio-capable LLMs can recover information from speech but do not reliably carry it into action without an explicit intermediate representation.
- Abstract（参考訳）: 韻律的手がかりは、単語自体が変化していない場合でも、タスク指向対話の軌跡や結果を変えるタスク関連情報を伝達することができる。
しかし、既存のベンチマークは通常、韻律的知覚、応答の適切性、タスク指向の対話を個別に評価し、韻律的証拠が下流の判断を変えるかどうかを検証することは困難である。
テキストと音声アシスタントの統一評価プロトコルであるHear2Actを紹介する。
各シナリオにおいて、同一の関心事を言葉で明示的に伝達するか、主に韻律で伝達するかを変更しながら、タスクとユーザのニーズを固定し、転写、オーディオ、および関心状態アクセスによる決定を評価する。
Hear2Actを用いて、2つのオーディオ対応LCMを評価する。
プロソディによるフィードバックの下では、音声をテキストに追加すると、平均最適解率は14.6%から15.3%にしか変化しない。
対照的に、モデルがオーディオから関心事を推測し、テキストで表現し、次のアクション選択に使用する場合、その割合は39.6%まで上昇し、基調状態の40.7%に近い。
しかし、この対比は大半が明示的な語彙的フィードバックの下で消え、そこでは、その懸念が発話の中で口頭で言及される。
これらの結果は,語彙的証拠が不十分な場合には韻律が重要であり,音声から情報を取り出すことができるが,明示的な中間表現なしでは確実に動作しないことを示す。
関連論文リスト
- DuplexSpeechBench-IFEval: Evaluating Implicit Instruction Following in Full-Duplex Voice Agents [67.07361089429757]
6つのリアルタイム音声システムを用いて, 実時間床の付着度を測定した。
アーキテクチャに依存したトレードオフを見つけます。
GPT-Realtime, Mini-o Duplex, Fun-Audio-Chatはペルソナ一貫性のあるコンテンツに強く固執する。
論文 参考訳（メタデータ） (2026-09-03T06:28:02Z) - When Text Misleads: Inconsistent-Aware Reasoning for Audio-Grounded Dialogue [18.262137202372454]
我々は障害モードをクロスモーダルな不一致として定式化する。
テキストバイアスによる表面解釈を識別し、不一致領域を競合QAの例に変換するスケーラブルなフレームワークを開発する。
さらに、音声を音声に変換するエージェントスタイルの推論フレームワークを開発し、局所的な音響的手がかりのテキスト可読表現であるAudio Twinを提案する。
論文 参考訳（メタデータ） (2026-08-27T14:26:46Z) - Do Audio Language Models Use Paralinguistic Evidence? Counterfactual Audits for Response Evaluation [21.291909657115607]
パラ言語的応答評価のための対実監査を導入する。
各監査項目は、感情、韻律、あるいは感情的なシフトのタイミングを変化させながら固定された転写文を保持する。
これにより、異なる判断失敗の原因を特定する有用な診断状態が得られる。
論文 参考訳（メタデータ） (2026-08-07T02:24:12Z) - Experience-Calibrated Contrastive Decoding for Mitigating Hallucinations in LM-Based Text-to-Speech [25.75512357205199]
言語モデルに基づくテキスト音声合成(LM-based TTS)は、ターゲットテキストから逸脱する音声幻覚に弱いままである。
本稿では,テキストからのアライメント情報を経験情報と区別する条件情報ビューを提案する。
本稿では,経験情報を保持しつつアライメント支援を強化するトレーニング不要なCD(Experience-Calibstive Contrastive Decoding)を提案する。
論文 参考訳（メタデータ） (2026-08-01T15:41:55Z) - Afrispeech Semantics: Evaluating Audio Semantic Reasoning in Spoken Language Models Across Domains and Accents [3.6734440150955368]
音声言語モデル(ALM)は、音声に基づく理解にますます使われる。
アクセント変化, ドメインシフト, セマンティックオーバー推論が音声推論に与える影響はよく分かっていない。
5つの意味的・パラ言語的推論タスクにおける音声言語モデルの評価を行った。
論文 参考訳（メタデータ） (2026-05-11T20:27:40Z) - From Fact to Judgment: Investigating the Impact of Task Framing on LLM Conviction in Dialogue Systems [8.8953040142657]
本研究では,タスクが直接の事実クエリから会話的判断タスクにリフレームされると,LCMの信念がどう変化するかを検討する。
両条件に単純な反論(前の答えは正しくない)の形で圧力を適用する。
以上の結果から, GPT-4o-miniのようなモデルでは, 社会的フレーミング作業下でのシコファン性傾向が明らかにされているが, Llama-8B-Instructのようなモデルでは過度に批判的になる。
論文 参考訳（メタデータ） (2025-11-14T00:55:28Z) - AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。
AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。
また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
論文 参考訳（メタデータ） (2025-08-29T07:40:39Z) - Audio Large Language Models Can Be Descriptive Speech Quality Evaluators [46.765203628127345]
本稿では,人間格付けから生成した最初の自然言語に基づく音声評価コーパスについて紹介する。
このコーパスは、複数の次元にわたる詳細な分析を提供し、品質劣化の原因を特定する。
生音声から関連情報を抽出するために,LLM蒸留(ALLD)を用いたアライメント手法を提案する。
論文 参考訳（メタデータ） (2025-01-27T22:47:51Z) - Benchmarking Open-ended Audio Dialogue Understanding for Large Audio-Language Models [58.43486430996411]
LALM(Large Audio-Language Models)は、最近、人間との直接の音声交換を可能にする音声対話機能をアンロックした。
オープンエンド音声対話理解におけるLALMの性能を評価するための音声対話理解ベンチマーク(ADU-Bench)を提案する。
ADU-Benchには、LALMの評価のための2万以上のオープンエンドオーディオダイアログが含まれている。
論文 参考訳（メタデータ） (2024-12-06T16:34:15Z) - Prosody in Cascade and Direct Speech-to-Text Translation: a case study
on Korean Wh-Phrases [79.07111754406841]
本研究は,韻律が重要な役割を果たす発話を明瞭にするための直接S2TTシステムの能力を評価するために,コントラスト評価を用いることを提案する。
本結果は,カスケード翻訳モデルよりも直接翻訳システムの価値を明確に示すものである。
論文 参考訳（メタデータ） (2024-02-01T14:46:35Z) - Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models [51.75805497456226]
本研究は,対話要約タスクの助けを借りて,事実整合性の問題に焦点を当てる。
評価の結果,LLMが生成する要約の26.8%が事実整合性を含んでいることがわかった。
LLMの対話理解能力を高めるために,自動構築マルチタスクデータを用いた微調整パラダイムを提案する。
論文 参考訳（メタデータ） (2023-11-13T09:32:12Z) - Continuous Speech Separation with Conformer [60.938212082732775]
分離システムでは、リカレントニューラルネットワークの代わりにトランスとコンバータを用いる。
我々は,自己注意に基づく方法でグローバルな情報を取得することが,音声分離に不可欠であると信じている。
論文 参考訳（メタデータ） (2020-08-13T09:36:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。