論文の概要: Beyond Text: LLM-Based Dimensional Emotion Evaluation in Multimodal Dialogue
- arxiv url: http://arxiv.org/abs/2609.39072v1
- Date: Wed, 30 Sep 2026 06:09:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.269659
- Title: Beyond Text: LLM-Based Dimensional Emotion Evaluation in Multimodal Dialogue
- Title（参考訳）: テキストを超えて:マルチモーダル対話におけるLLMに基づく次元感情評価
- Abstract要約: 離散的な感情認識とIEMOCAP上でのValence-Arousal-Dominance次元評価を行うLLMベースのフレームワークを提案する。
ゼロショットプロンプト,少数ショットプロンプト,LoRAファインチューニングにより,LLaMA,GPT,Qwenファミリーにまたがる6つのモデルを評価する。
ローラ微調整のLLaMAモデルは、GPTの規模が大きいにもかかわらず、両方のタスクにおいてプロンプト駆動のGPTモデルよりも大幅に優れていた。
- 参考スコア（独自算出の注目度）: 11.640126253619082
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Emotion recognition in conversation has been widely studied, but applying Large Language Models (LLMs) to continuous dimensional emotion evaluation in multimodal dialogue remains largely unexplored. We propose an LLM-based framework that performs discrete emotion recognition and Valence-Arousal-Dominance (VAD) dimensional evaluation on IEMOCAP, incorporating acoustic cues as natural language descriptions following the SpeechCueLLM approach. We evaluate six models spanning the LLaMA, GPT, and Qwen families under zero-shot prompting, few-shot prompting, and LoRA fine-tuning. LoRA fine-tuned LLaMA models substantially outperform prompt-engineered GPT models on both tasks despite GPT's larger scale, a gap we attribute to domain adaptation rather than model capacity. Our best model achieves a Valence CCC of 0.7822, a new state-of-the-art on IEMOCAP. Ablation studies confirm that textual audio descriptions meaningfully improve smaller models (+3.5 to 3.6 weighted F1) while contributing little for the largest model, suggesting audio cues are most valuable when linguistic capacity is limited. The performance asymmetry across VAD dimensions closely mirrors the annotator agreement hierarchy in IEMOCAP's own annotations.
- Abstract（参考訳）: 会話における感情認識は広く研究されているが、多モーダル対話における連続的な次元的感情評価にLarge Language Models (LLMs)を適用することは、まだほとんど研究されていない。
本稿では,IEMOCAP 上での離散的感情認識と Valence-Arousal-Dominance (VAD) 次元評価を行う LLM ベースのフレームワークを提案する。
ゼロショットプロンプト,少数ショットプロンプト,LoRAファインチューニングにより,LLaMA,GPT,Qwenファミリーにまたがる6つのモデルを評価する。
ロラ微調整LLaMAモデルは、GPTの規模が大きいにもかかわらず、両方のタスクにおいてプロンプトエンジニアリングGPTモデルよりも大幅に優れており、モデルキャパシティよりもドメイン適応によるギャップがある。
我々の最良のモデルは、IEMOCAPの新しい最先端技術であるValence CCC 0.7822を達成する。
アブレーション研究は、テキストによる音声記述がより小さなモデル(+3.5から3.6重み付きF1)を有意義に改善する一方で、最大のモデルにはほとんど寄与しないことを確認した。
VAD次元における性能非対称性は、IEMOCAP自身のアノテーションにおけるアノテータ合意階層をよく反映している。
関連論文リスト
- AMUSE: Audio-Visual Benchmark and Alignment Framework for Agentic Multi-Speaker Understanding [73.05946667683259]
最近の大規模言語モデル(MLLM)は、強い認識を示すが、多話者、対話中心の設定に苦戦している。
本質的にエージェント的なタスクを中心に設計されたベンチマークであるAMUSEを紹介します。
我々は、報酬最適化と本質的なマルチモーダル自己評価を統合するデータ効率の高いエージェントアライメントフレームワークRAFTを提案する。
論文 参考訳（メタデータ） (2025-12-18T07:01:47Z) - AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。
AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。
また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
論文 参考訳（メタデータ） (2025-08-29T07:40:39Z) - VOILA: Evaluation of MLLMs For Perceptual Understanding and Analogical Reasoning [63.0285363282581]
MLLM(Multimodal Large Language Models)は、視覚情報とテキスト情報を統合するための強力なツールとなっている。
本稿では,MLLMの知覚的理解と抽象的関係推論を評価するためのベンチマークVOILAを紹介する。
我々は,現在のMLLMが画像間関係の理解に苦慮し,高レベルの関係推論において限られた能力を示すことを明らかにした。
論文 参考訳（メタデータ） (2025-02-25T23:36:19Z) - M3-AGIQA: Multimodal, Multi-Round, Multi-Aspect AI-Generated Image Quality Assessment [65.3860007085689]
M3-AGIQAは、AI生成画像のより人間らしく総合的な評価を可能にする包括的なフレームワークである。
モデル出力を人間の判断とより密接に整合させることで、M3-AGIQAは堅牢で解釈可能な品質スコアを提供する。
論文 参考訳（メタデータ） (2025-02-21T03:05:45Z) - Beyond Silent Letters: Amplifying LLMs in Emotion Recognition with Vocal Nuances [3.396456345114466]
本稿では,音声特徴を自然言語記述に変換するSpeechCueLLMを提案する。
我々は、IEMOCAPとMELDの2つのデータセット上でSpeechCueLLMを評価し、感情認識精度を大幅に改善した。
論文 参考訳（メタデータ） (2024-07-31T03:53:14Z) - LangSuitE: Planning, Controlling and Interacting with Large Language Models in Embodied Text Environments [70.91258869156353]
テキストエンボディの世界における6つの代表的具体的タスクを特徴とする多目的・シミュレーション不要なテストベッドであるLangSuitEを紹介する。
以前のLLMベースのテストベッドと比較すると、LangSuitEは複数のシミュレーションエンジンを使わずに、多様な環境への適応性を提供する。
具体化された状態の履歴情報を要約した新しいチェーン・オブ・ソート(CoT)スキーマであるEmMemを考案する。
論文 参考訳（メタデータ） (2024-06-24T03:36:29Z) - Efficient Compression of Multitask Multilingual Speech Models [0.0]
DistilWhisperは、マルチタスクとマルチ言語機能の利点を維持しながら、これらの言語におけるASRのパフォーマンスギャップを埋めることができる。
提案手法は, 言語専門家を用いた軽量モジュール型ASR微調整と, ささやかな大口径v2からの知識蒸留の2つの戦略を含む。
論文 参考訳（メタデータ） (2024-05-02T03:11:59Z) - MLLM-Bench: Evaluating Multimodal LLMs with Per-sample Criteria [49.500322937449326]
MLLM(Multimodal large language model)は、AIアプリケーションの範囲を広げている。
既存のMLLMの自動評価手法は主にユーザエクスペリエンスを考慮せずにクエリを評価する場合に限られている。
本稿では,MLLM を判断基準として評価する MLLM の新しい評価パラダイムを提案する。
論文 参考訳（メタデータ） (2023-11-23T12:04:25Z) - DialogueLLM: Context and Emotion Knowledge-Tuned Large Language Models
for Emotion Recognition in Conversations [28.15933355881604]
大規模言語モデル(LLM)は、多くの下流自然言語処理(NLP)タスクに対して異常な有効性を示している。
LLaMAモデルの微調整により得られた文脈と感情の知識をチューニングしたLLMであるダイアログLLMを提案する。
会話データセットにおける3つの感情認識のベンチマークについて,提案手法の総合評価を行った。
論文 参考訳（メタデータ） (2023-10-17T16:15:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。