論文の概要: From Speech to Editable Concepts: Probing Emotion Recognition with Concept Bottleneck Models

• arxiv url: http://arxiv.org/abs/2609.39453v1
• Date: Wed, 30 Sep 2026 10:26:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.581995
• Title: From Speech to Editable Concepts: Probing Emotion Recognition with Concept Bottleneck Models
• Title（参考訳）: 音声から編集可能な概念:概念ボトルネックモデルを用いた感情認識の提案
• Abstract要約: 音声感情認識(SER)は、感情ラベルを発話に割り当てるタスクである。 この研究は概念ボトルネックをSERに適用し、個々の予測が転写、音響的記述、話者属性に依存するかを調べる。
• 参考スコア（独自算出の注目度）: 21.876520210760237
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech emotion recognition (SER) is the task of assigning emotion labels to utterances. Early systems relied on acoustic features, whereas recent approaches combine multiple modalities, most commonly speech and text. Still, performance remains poor on many datasets. Large language models (LLMs) have therefore attracted interest for SER, as they can process diverse inputs jointly with instructions. However, direct audio input raises questions of explainability. To address similar questions in image classification, concept bottleneck models were introduced. This work adapts concept bottlenecks to SER to examine how individual predictions depend on transcripts, acoustic descriptions and speaker attributes. Experiments test three LLMs on CREMA-D, IEMOCAP and MELD, with concepts extracted by separate tools. On scripted corpora, LLMs are strongly biased towards the transcript in the zero-shot setting, which lowers Macro-F1 from 27.8 to 5.8 on CREMA-D. Fine-tuning removes this bias, and the transcript raises Macro-F1 from 41.8 to 45.1. Removing speech rate changes 48% of Neutral predictions to Disgust on CREMA-D; removing intensity level on MELD changes predictions despite little change in Macro-F1. These findings show that aggregate performance changes alone do not capture the effects of concept removal on individual predictions.
• Abstract（参考訳）: 音声感情認識(SER)は、感情ラベルを発話に割り当てるタスクである。 初期のシステムは音響的特徴に頼っていたが、近年のアプローチは複数のモーダル、特に音声とテキストを組み合わせている。 それでも、多くのデータセットではパフォーマンスは貧弱です。 したがって、大きな言語モデル(LLM)は、命令と共に様々な入力を処理できるため、SERへの関心を惹きつけている。 しかし、直接音声入力は説明可能性に関する疑問を提起する。 画像分類における同様の問題に対処するため、概念ボトルネックモデルを導入した。 この研究は概念ボトルネックをSERに適用し、個々の予測が転写、音響的記述、話者属性に依存するかを調べる。 実験では、CREMA-D、IEMOCAP、MELDの3つのLCMを別個のツールで抽出した。 スクリプトコーパスでは、LDMはゼロショット設定の転写に対して強く偏りがあり、CREMA-DではマクロF1を27.8から5.8に低下させる。 微調整によりこのバイアスが取り除かれ、転写産物はマクロF1を41.8から45.1に上昇させる。 また,中性予測の48%はCREMA-Dの嫌悪感に変化し,MELDの強度レベルはマクロF1にはほとんど変化しなかった。 これらの結果から,総合的な性能変化だけでは,概念的除去が個々の予測に与える影響を捉えていないことが示唆された。

関連論文リスト

• Reading Emotions in the Token Space: Discriminative Adaptation of SpeechLLMs for Emotion Recognition [13.575808615550839]
  本稿では,最終プロンプトトークンの隠蔽状態を読み取る識別適応法を提案する。 分析の結果,これらの感情方向はWebスケールテキストのバイアスを反映する間接的関連をコードしていることがわかった。
  論文  参考訳（メタデータ） (2026-09-17T11:38:44Z)
• Challenger at MultiPRIDE: Is It Hate Speech or Reclaimed? [0.6882042556551609]
  本稿では,ヘイトスピーチと再生言語を区別するための,シンプルかつ解釈可能なアプローチを提案する。 本手法は, 密集したセマンティックテキストの埋め込みを生成し, ラベルノイズフィルタリングの段階を組み込む。 提案手法は,マクロ平均値を含む精度,リコール,F1スコアを用いて評価する。
  論文  参考訳（メタデータ） (2026-05-31T15:38:58Z)
• VoxEmo: Benchmarking Speech Emotion Recognition with Speech LLMs [54.75016325571445]
  音声大言語モデル (LLM) は, 音声の感情認識において, 生成インタフェースを介する大きな可能性を示す。 クローズドセットからオープンテキスト生成へのシフトは、ゼロショット性を導入し、プロンプトに非常に敏感な評価を与える。 本稿では,VoxEmoについて紹介する。VoxEmoは音声LLMのための15言語に35の感情コーパスを含む総合的なSERベンチマークである。
  論文  参考訳（メタデータ） (2026-03-09T21:10:34Z)
• Where MLLMs Attend and What They Rely On: Explaining Autoregressive Token Generation [59.40886078302025]
  マルチモーダル大規模言語モデル(MLLM)は、視覚入力と自然言語出力の整合性を示す。 しかし、生成したトークンが視覚的モダリティに依存する範囲は、いまだに理解されていない。 MLLMにおける自己回帰トークン生成を説明するための軽量なブラックボックスフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-26T15:38:42Z)
• MPCG: Multi-Round Persona-Conditioned Generation for Modeling the Evolution of Misinformation with LLMs [13.91292293823499]
  現在の誤報検出アプローチは、誤報が静的であると暗黙的に仮定している。 我々は,複数ラウンドのペルソナ条件付きフレームワークであるMPCGを紹介し,異なるイデオロギー的視点を持つエージェントによってクレームが反復的に再解釈される様子をシミュレートする。
  論文  参考訳（メタデータ） (2025-09-20T07:40:48Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• CLAIR-A: Leveraging Large Language Models to Judge Audio Captions [73.51087998971418]
  機械生成オーディオキャプションの評価は、様々な要因を検討する必要がある複雑なタスクである。 本稿では,大規模言語モデルのゼロショット機能を活用するシンプルで柔軟なCLAIR-Aを提案する。 我々の評価では、CLAIR-Aは従来のメトリクスと比較して品質の人的判断を良く予測する。
  論文  参考訳（メタデータ） (2024-09-19T17:59:52Z)
• Ask2Mask: Guided Data Selection for Masked Speech Modeling [25.716834361963468]
  Masked Speech Modeling (MSM) は、発話中にランダムにマスキングされた音声フレーム上の表現を学習する。 教師なしのすべての音声サンプルを同じ重さで扱うことで、すべてのサンプルが意味のある表現を学ぶための関連情報を持っているわけではないため、学習を妨げる。 我々は,MSM事前トレーニング中に特定のサンプルに焦点をあてる新しいアプローチである ask2mask (ATM) を提案する。
  論文  参考訳（メタデータ） (2022-02-24T17:34:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。