論文の概要: Represented but Ignored: A Causal Account of Prosodic Underuse in Audio-Language Models
- arxiv url: http://arxiv.org/abs/2608.19211v1
- Date: Fri, 12 Jun 2026 22:57:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.266008
- Title: Represented but Ignored: A Causal Account of Prosodic Underuse in Audio-Language Models
- Title（参考訳）: 表現されるが無視される:音声言語モデルにおける韻律的下着の因果的説明
- Abstract要約: 韻律的キューを聴き、正しく表現するモデルは、まだ答えの中でそれを表現できない可能性があることを示す。
この分析における最も高い属性のいくつかは、韻律情報を運ぶことで知られる音響的手がかりと一致している。
- 参考スコア（独自算出の注目度）: 0.3142999832608949
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human speech is richly expressive, with prosody carrying linguistic and emotional information beyond the lexical content. A capable large audio-language model (audio-LLM) should therefore support expressive speech understanding, not only transcribing what was said but also interpreting how it was said. Yet behavioral evaluations alone cannot reveal why a model fails on prosodic input. An error may reflect loss of acoustic information, incorrect internal interpretation, or failure to use a representation that is already available inside the model. We introduce a stage-specific probe ladder for localizing these failure modes in audio-LLMs. Across four understanding-only audio-LLMs, prosodic information is usually preserved in the audio path and decodable in late LLM states. Yet it is only partially expressed in the model's final response. We test the causal status of this latent representation with targeted hidden-state interventions. Every intervention shifts the answer distribution in the predicted direction, and in most model--task cells a single edit at the relevant layer is sufficient to drive the model toward the suppressed prosodic decision, though this recovery is directional rather than a selective restoration of the correct class. Feature-level analysis further suggests that this recoverable signal can be expressed through a small subspace. Some of the highest-attribution features in this analysis align with acoustic cues known to carry prosodic information. Within the matched-content contrasts we test, these results locate the recurring bottleneck not in perceiving prosody but in using it. Models that hear and correctly represent a prosodic cue can still fail to express it in their answers.
- Abstract（参考訳）: 人間のスピーチは豊かな表現力を持ち、韻律は語彙的内容を超えて言語的および感情的な情報を運ぶ。
したがって,有能な大規模音声言語モデル (audio-LLM) は,その発話内容の翻訳だけでなく,その発話内容の解釈もサポートすべきである。
しかし、行動評価だけでは、なぜモデルが韻律入力で失敗するのかを明らかにすることはできない。
誤りは、音響情報の喪失、誤った内部解釈、またはモデル内で既に利用可能な表現の使用の失敗を反映することがある。
オーディオ-LLMにおけるこれらの障害モードをローカライズするためのステージ固有のプローブラグを導入する。
4つの理解のみの音声-LLMで、韻律情報は通常オーディオパスに保存され、後期LLM状態では復調可能である。
しかし、それはモデルの最終応答で部分的にしか表現されない。
我々は,この潜伏表現の因果関係を,目的の隠れ状態介入を用いて検証する。
あらゆる介入が解答分布を予測方向にシフトさせ、ほとんどのモデル-タスクセルでは、正しいクラスを選択的に復元するのではなく、このリカバリは指向的であるが、関連する層での単一の編集は、抑制された韻律決定に向けてモデルを駆動するのに十分である。
特徴レベルの分析により、この回復可能な信号を小さな部分空間で表現できることが示唆される。
この分析における最も高い属性のいくつかは、韻律情報を運ぶことで知られる音響的手がかりと一致している。
一致した内容のコントラストの中で、これらの結果は、韻律の知覚ではなく、その使用において繰り返し発生するボトルネックを見つける。
韻律的キューを聴いて正しく表現するモデルは、答えの中でそれを表現できないことがある。
関連論文リスト
- A Formal Limitation on Learning Human Language From Textual Corpora [54.22186267212778]
我々は,デコーダが発話の表現から話者の意図した意味を回復する確率に基づいて,上位境界を導出する。
人工言語、マンダリンゼロ代名詞分解、色基準の実験は、この理論を支持する実証的な証拠を提供する。
論文 参考訳（メタデータ） (2026-08-28T17:38:24Z) - When Text Misleads: Inconsistent-Aware Reasoning for Audio-Grounded Dialogue [18.262137202372454]
我々は障害モードをクロスモーダルな不一致として定式化する。
テキストバイアスによる表面解釈を識別し、不一致領域を競合QAの例に変換するスケーラブルなフレームワークを開発する。
さらに、音声を音声に変換するエージェントスタイルの推論フレームワークを開発し、局所的な音響的手がかりのテキスト可読表現であるAudio Twinを提案する。
論文 参考訳（メタデータ） (2026-08-27T14:26:46Z) - Implicit Reasoning Steering via Concept Chaining [29.121206944212556]
自然言語のテキストを使って、明示的な指示やトリガー、直接回答の手がかりを使わずに、指定された回答に向けてモデルをバイアスする。
間接的な自然なテキストは、直接のパラフレーズよりも推論がかなり少ないまま、体系的にモデル予測を操ることができることを示す。
論文 参考訳（メタデータ） (2026-07-15T18:03:08Z) - The Sound of Absence: Audio-Language Embedding Models Struggle with Negation [58.04745279785462]
埋め込みモデルは、否定された音のコンセプトを符号化できないことを示す。
データセットを2つの否定対応タスクに変換するフレームワークであるNegEval-Audioを紹介した。
論文 参考訳（メタデータ） (2026-07-14T02:55:00Z) - Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition [58.25449304752214]
生音声が既に利用可能である場合に、明示的な音響的手がかりが根拠となるかどうかを考察する。
標準化されたeGeMAPSパラ言語特徴集合から6つの解釈可能な音響概念トークンを導出する。
調整されたトークンは平均リコール(UAR)を改善するが、シャッフル、競合、破損したトークンはパフォーマンスを低下させる。
トークンのみの介入は、ALMに基づく感情計算において、オーディオグラウンドドキューの使用、堅牢性、解釈可能性を調べるための実用的な方法である、と我々は主張する。
論文 参考訳（メタデータ） (2026-06-05T14:26:06Z) - Afrispeech Semantics: Evaluating Audio Semantic Reasoning in Spoken Language Models Across Domains and Accents [3.6734440150955368]
音声言語モデル(ALM)は、音声に基づく理解にますます使われる。
アクセント変化, ドメインシフト, セマンティックオーバー推論が音声推論に与える影響はよく分かっていない。
5つの意味的・パラ言語的推論タスクにおける音声言語モデルの評価を行った。
論文 参考訳（メタデータ） (2026-05-11T20:27:40Z) - The Role of Prosody in Spoken Question Answering [3.4910890481978076]
音声質問応答における韻律の役割について検討する。
語彙情報が手に入ると、モデルは主としてそれに依存する傾向にある。
論文 参考訳（メタデータ） (2025-02-08T00:11:55Z) - A unified one-shot prosody and speaker conversion system with
self-supervised discrete speech units [94.64927912924087]
既存のシステムは韻律と言語内容の相関を無視し、変換された音声の自然度を低下させる。
自己教師付き離散音声単位を言語表現として活用するカスケードモジュラーシステムを提案する。
実験により,本システムは,自然性,知性,話者伝達性,韻律伝達性において,従来の手法よりも優れていたことがわかった。
論文 参考訳（メタデータ） (2022-11-12T00:54:09Z) - Probing via Prompting [71.7904179689271]
本稿では,探索をプロンプトタスクとして定式化することで,新しいモデルフリーな探索手法を提案する。
我々は5つの探索課題について実験を行い、我々のアプローチが診断プローブよりも情報抽出に優れていることを示す。
次に,その特性に不可欠な頭部を除去し,言語モデリングにおけるモデルの性能を評価することにより,事前学習のための特定の言語特性の有用性を検討する。
論文 参考訳（メタデータ） (2022-07-04T22:14:40Z) - Automatic Dialect Density Estimation for African American English [74.44807604000967]
アフリカ・アメリカン・イングリッシュ(AAE)方言の方言密度の自動予測について検討する。
方言密度は、非標準方言の特徴を含む発話における単語の割合として定義される。
このデータベースでは,AAE音声に対する予測された真理弁証密度と地上の真理弁証密度との間に有意な相関関係を示す。
論文 参考訳（メタデータ） (2022-04-03T01:34:48Z) - Learning De-identified Representations of Prosody from Raw Audio [7.025418443146435]
コントラッシブな自己教師付き信号を用いて生音声から不特定韻律表現を学習する手法を提案する。
我々は韻律の自然な構造を利用して音節情報を最小化し、韻律を話者表現から切り離す。
論文 参考訳（メタデータ） (2021-07-17T14:37:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。