論文の概要: Do Audio LLMs HEAR Pain? Tracing Acoustic Evidence from Speech to Language Reasoning

• arxiv url: http://arxiv.org/abs/2610.38570v1
• Date: Wed, 28 Oct 2026 10:05:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.985691
• Title: Do Audio LLMs HEAR Pain? Tracing Acoustic Evidence from Speech to Language Reasoning
• Title（参考訳）: 音声LLMは痛みを伴うか? : 音声から言語推論への音響的証拠の追跡
• Abstract要約: 大規模音声言語モデル(LALM)は音声を直接処理できるが、音声が持つ非語彙的音響情報がどのように使われているかは定かではない。 TAME-Painは、痛み中和の文と、異なる自己報告の痛みレベルで記録された音声の痛み評価を含む。 HEARは、音声信号からモデル予測まで痛覚関連情報をトレースする4段階の診断フレームワークであり、それを7つのオープンソースかつオープンウェイトなLALMに適用する。
• 参考スコア（独自算出の注目度）: 8.579776563467155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large audio language models (LALMs) can process speech directly, but it remains unclear how well they use the non-lexical acoustic information that speech carries. We study this question through pain, using TAME-Pain, which contains pain-neutral Harvard sentences and spoken pain ratings recorded at different self-reported pain levels. We introduce HEAR, a four-stage diagnostic framework that traces pain-related information from the speech signal to the model's prediction, and apply it to seven closed-source and open-weight LALMs. On the Harvard sentences, where pain can only be inferred from the voice, all models perform at chance level, and same-speaker references or few-shot examples improve balanced accuracy by no more than six points. On the spoken ratings, the same models reach 87.5-99.7% balanced accuracy. Layer-wise probing of open-weight LALMs shows that pain can be decoded from early audio representations (74.1% balanced accuracy for binary prediction and 45.0% for three-class severity), but that this information, along with most pain-associated acoustic cues, decreases in deeper layers. In an acoustic perception test, weaker models cannot distinguish even large changes in these cues, whereas stronger models can but still fail to infer pain. Finally, we recover pain-related acoustic cues and directly reinject them as structured text into the prompt, which improves pairwise pain prediction by up to 32 points. These results indicate that current LALMs encode paralinguistic information in early layers that is largely unavailable when the model produces its answer.
• Abstract（参考訳）: 大規模音声言語モデル(LALM)は音声を直接処理できるが、音声が持つ非語彙的音響情報がどのように使われているかは定かではない。 TAME-Painは、痛み中和の文と、異なる自己報告の痛みレベルで記録された音声の痛み評価を含む。 HEARは、音声信号からモデル予測まで痛覚関連情報をトレースする4段階の診断フレームワークであり、それを7つのオープンソースかつオープンウェイトなLALMに適用する。 ハーバードの文では、痛みは声からしか推測できないが、全てのモデルが偶然のレベルで実行され、同じ話者の参照や少数ショットの例は、バランスの取れた正確さを6ポイント以下で改善する。 音声による評価では、同じモデルの精度は87.5-99.7%に達した。 オープンウェイトLALMのレイヤーワイド探索は、初期の音声表現から痛みを復号できることを示している(バイナリ予測の精度74.1%、三重重度45.0%)。 音響知覚テストでは、より弱いモデルはこれらの手がかりにおいて大きな変化を区別することはできないが、強いモデルは痛みを推し進めることができない。 最後に、痛みに関連する音響的手がかりを回復し、それらを構造化テキストとして直接インジェクションすることで、最大32ポイントの痛み予測を改善する。 これらの結果から、現在のLALMは、モデルが解答を生成する際にはほとんど利用できない初期層において、パラ言語情報を符号化していることがわかる。

関連論文リスト

• VocalGrad: Evaluating Acoustic Perception in Audio Language Models [16.394933051332657]
  我々は,低レベルの音響変化を知覚する大規模音声モデルの能力を評価するために設計されたベンチマークであるVocalGradを紹介する。 評価の結果,人間のアノテータと最先端のLALMの音響的知覚にはかなりの差があることが判明した。
  論文  参考訳（メタデータ） (2026-10-16T16:54:35Z)
• Refusal Is Not Robustness: Auditing Confident Fabrication in Large Language Models on a Provably Uninformative Clinical Pain Speech Transcript [0.0]
  幻覚と禁忌のベンチマークは、モデルが正しい答えを知らなかったことをほとんど証明しない。 TAME Pain 音声コーパスでは,7つの大きな言語モデルが評価された。
  論文  参考訳（メタデータ） (2026-07-16T17:03:42Z)
• Myovox: Reading Speech from the Muscles of the Face [0.0]
  ミオボックスは、発声時の顔の筋肉から記録された31チャンネル表面筋電図(sEMG)から英語のオープン語彙をデコードする。 51.17%のワードエラー率から18.53%までの1つのサブジェクト Emg2speech General Corpus を3つの分離可能な動作で分離して測定する。
  論文  参考訳（メタデータ） (2026-07-15T17:00:41Z)
• A Closer Look at Failure Modes in Temporal Understanding of Large Audio-Language Models [64.68800440221138]
  大規模音声言語モデル(LALM)は、様々な音声理解タスクにおいて高いパフォーマンスを達成するが、時間的推論に苦慮する。 メカニスティック解析のために設計された3つの基礎的タスクに対して,1,657問のベンチマークを導入する。 拡張性に対する注意の重み付けを比較すると、音声トークン間での注意の再分配は、音声の注意を増大させるよりも効果的であることがわかった。
  論文  参考訳（メタデータ） (2026-06-16T01:57:56Z)
• Do LLM Decoders Listen Fairly? Benchmarking How Language Model Priors Shape Bias in Speech Recognition [9.131439623985028]
  事前訓練された大規模言語モデルは、音声認識におけるタスク固有のデコーダを置き換える。 彼らのテキスト由来の先行性は、認識をより公平にするか、あるいは人口統計グループに偏っているか? 我々は,3世代にわたる9つのモデルを5つの人口動態軸にわたる約43,000発の発話で評価した。
  論文  参考訳（メタデータ） (2026-04-23T04:40:58Z)
• Reducing Object Hallucination in Large Audio-Language Models via Audio-Aware Decoding [54.82619273983179]
  LALM(Large Audio-Language Models)は、オーディオに提示されるものを幻覚させる。 LALMの幻覚を軽減するためにオーディオ・アウェア・デコーディング(AAD)を導入する。 AADはコントラストデコーディングを使用して、トークン予測ログとオーディオコンテキストの有無を比較します。
  論文  参考訳（メタデータ） (2025-06-08T17:36:50Z)
• Teaching Audio-Aware Large Language Models What Does Not Hear: Mitigating Hallucinations through Synthesized Negative Samples [55.2480439325792]
  近年の音声対応大型言語モデル(ALLM)により、音声入力の処理と理解が可能になった。 これらのモデルは、しばしば既存の音響イベントを幻覚させ、現実の応用における信頼性を低下させる。 LISTENは、現在と欠落した音を識別するallMsの能力を向上するコントラスト的な訓練法である。
  論文  参考訳（メタデータ） (2025-05-20T15:44:01Z)
• Detecting Speech Abnormalities with a Perceiver-based Sequence Classifier that Leverages a Universal Speech Model [4.503292461488901]
  いくつかの神経疾患の音声反射異常を検出するPerceiver-based sequenceを提案する。 このシーケンスとUniversal Speech Model (USM)を組み合わせ、1200万時間に及ぶ多様な音声録音をトレーニング(教師なし)する。 我々のモデルは標準変圧器 (80.9%) および知覚器 (81.8%) モデルより優れ、平均精度は83.1%である。
  論文  参考訳（メタデータ） (2023-10-16T21:07:12Z)
• Decoding speech perception from non-invasive brain recordings [48.46819575538446]
  非侵襲的な記録から知覚音声の自己教師付き表現をデコードするために、コントラスト学習で訓練されたモデルを導入する。 我々のモデルでは、3秒のMEG信号から、1,000以上の異なる可能性から最大41%の精度で対応する音声セグメントを識別できる。
  論文  参考訳（メタデータ） (2022-08-25T10:01:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。