論文の概要: Incongruence-Aware Evaluation of Multimodal Speech Emotion Recognition in Audio Large Language Models

• arxiv url: http://arxiv.org/abs/2610.40883v1
• Date: Thu, 29 Oct 2026 19:04:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.474454
• Title: Incongruence-Aware Evaluation of Multimodal Speech Emotion Recognition in Audio Large Language Models
• Title（参考訳）: 大規模音声モデルにおけるマルチモーダル音声認識の同時評価
• Abstract要約: テキストと音声を共有空間にマップし、それらの間の距離を連続的に閾値のない不一致スコアに変換する。 行動的・会話的・自発的な3つの音声能力モデルについて検討した。
• 参考スコア（独自算出の注目度）: 0.8789461534728509
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Voice-interactive large language models process both what a speaker says and how they say it, yet the two channels do not always agree. We ask whether that disagreement degrades speech emotion recognition. Mapping text and audio into a shared valence-arousal-dominance space, we convert the distance between them into a continuous, threshold-free incongruence score with a two-component Gaussian mixture, and validate the score against human judgement. We evaluate three audiocapable models on acted, conversational and spontaneous speech (eNTERFACE'05, MELD and CMU-MOSEI). With the model held constant across modalities, incongruence raises the odds of error whenever audio is present, in every corpus, after controlling for the ground-truth emotion and for distance in the feature space. Supervised classifiers trained on the same features behave in the opposite way, which suggests that the difficulty lies in how these models combine raw evidence rather than in the signal itself. Text-only effects are unreliable: swapping only the model that reads the transcript reverses their sign on one corpus. Rebuilding the score without the emotion lexicon reproduces the central result, and among six simpler alternatives it is the only label-free score that predicts error in all three corpora. Code, data tables and prompts are released.
• Abstract（参考訳）: 音声対話型大規模言語モデルは、話者が何を言ったか、どのように言ったかの両方を処理するが、この2つのチャンネルは必ずしも一致しない。 その不一致が音声の感情認識を低下させるかどうかを問う。 テキストと音声を共有原子価-覚醒-支配空間にマッピングし、それらの距離を2成分のガウス混合で連続的に閾値のない不一致スコアに変換し、人間の判断に対して評価する。 動作,会話,自発音声(eNTERFACE'05,MELD,CMU-MOSEI)の3つの音声可聴モデルについて検討した。 モデルがモダリティをまたいで一定に保たれた場合、不整合は、音声がすべてのコーパスに存在し、接地的な感情と特徴空間における距離を制御した後、エラーの確率を上昇させる。 同じ特徴で訓練された教師付き分類器は反対方向に振る舞うため、これらのモデルが信号自体よりも生の証拠をどう組み合わせるかが難しいことを示唆している。 テキストのみのエフェクトは信頼できない: 書き起こしを読み取るモデルのみをスワップすることは、そのサインを1つのコーパスで反転させる。 感情レキシコンなしでスコアを再構築することは中心的な結果を再現し、より単純な6つの選択肢の中で3つのコーパスでエラーを予測できる唯一のラベルなしスコアである。 コード、データテーブル、プロンプトがリリースされる。

関連論文リスト

• When Text Misleads: Inconsistent-Aware Reasoning for Audio-Grounded Dialogue [18.262137202372454]
  我々は障害モードをクロスモーダルな不一致として定式化する。 テキストバイアスによる表面解釈を識別し、不一致領域を競合QAの例に変換するスケーラブルなフレームワークを開発する。 さらに、音声を音声に変換するエージェントスタイルの推論フレームワークを開発し、局所的な音響的手がかりのテキスト可読表現であるAudio Twinを提案する。
  論文  参考訳（メタデータ） (2026-08-27T14:26:46Z)
• Said Aloud, Read Different: Cross-Modal Instability in Multimodal Models [17.521958873911846]
  我々は18のMENA諸国の文化的背景画像10,150点にまたがる音声強調コントラスト三重項ベンチマークを提案する。 モーダリティと言語シフトは,集合的精度で完全に捉えられない三重項レベルの不整合をもたらすことがわかった。
  論文  参考訳（メタデータ） (2026-08-27T13:46:49Z)
• Dual-Scale State-Space Modeling with Speaker-Wise Dynamic CRF for Speech Emotion Recognition in Conversation [1.6389263804357965]
  感情認識のための音声のみのアーキテクチャであるDSSM-CRFを提案する。 双方向状態空間モデルは、フレームと対話スケールでの融合した自己教師付き音声表現を符号化する。 話者の連鎖における連続的な発話は、スコアがコーパスレベルの遷移行列と、2つの文脈化された発話から予測される残差を組み合わせた遷移対を形成する。
  論文  参考訳（メタデータ） (2026-08-23T12:56:03Z)
• Disentangling Voice and Content with Self-Supervision for Speaker Recognition [57.446013973449645]
  本稿では,音声における話者の特性と内容の変動を同時にモデル化するアンタングル化フレームワークを提案する。 実験はVoxCelebとSITWのデータセットで実施され、EERとminDCFの平均減少率は9.56%と8.24%である。
  論文  参考訳（メタデータ） (2023-10-02T12:02:07Z)
• TokenSplit: Using Discrete Speech Representations for Direct, Refined, and Transcript-Conditioned Speech Separation and Recognition [51.565319173790314]
  TokenSplit は Transformer アーキテクチャを使用するシーケンス・ツー・シーケンス・エンコーダ・デコーダモデルである。 また,本モデルでは,書き起こし条件付けの有無にかかわらず,分離の点で優れた性能を発揮することを示す。 また、自動音声認識(ASR)の性能を測定し、音声合成の音声サンプルを提供し、我々のモデルの有用性を実証する。
  論文  参考訳（メタデータ） (2023-08-21T01:52:01Z)
• Textless Speech Emotion Conversion using Decomposed and Discrete Representations [49.55101900501656]
  我々は、音声を、コンテンツ単位、F0、話者、感情からなる離散的、非絡み合いの学習表現に分解する。 まず、内容単位を対象の感情に翻訳し、その単位に基づいて韻律的特徴を予測することによって、音声内容を変更する。 最後に、予測された表現をニューラルボコーダに入力して音声波形を生成する。
  論文  参考訳（メタデータ） (2021-11-14T18:16:42Z)
• Continuous Speech Separation with Conformer [60.938212082732775]
  分離システムでは、リカレントニューラルネットワークの代わりにトランスとコンバータを用いる。 我々は,自己注意に基づく方法でグローバルな情報を取得することが,音声分離に不可欠であると信じている。
  論文  参考訳（メタデータ） (2020-08-13T09:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。