論文の概要: E^2-LLM: Bridging Neural Signals and Interpretable Affective Analysis

• arxiv url: http://arxiv.org/abs/2601.07877v1
• Date: Sun, 11 Jan 2026 13:21:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-14 18:27:18.887072
• Title: E^2-LLM: Bridging Neural Signals and Interpretable Affective Analysis
• Title（参考訳）: E^2-LLM:ブリッジングニューラル信号と解釈可能な影響解析
• Authors: Fei Ma, Han Lin, Yifan Xie, Hongwei Ren, Xiaoyu Shen, Wenbo Ding, Qi Tian,
• Abstract要約: 脳波からの感情分析のための最初のMLLMフレームワークであるELLM2-EEG-to-Emotion Large Language Modelを提案する。 ELLMは学習可能なプロジェクション層を通じて、トレーニング済みのEEGエンコーダとQベースのLLMを統合し、マルチステージのトレーニングパイプラインを使用する。 7つの感情カテゴリーにまたがるデータセット実験により, ELLM2-EEG-to-Emotion Large Language Modelは感情分類において優れた性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 54.763420895859035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emotion recognition from electroencephalography (EEG) signals remains challenging due to high inter-subject variability, limited labeled data, and the lack of interpretable reasoning in existing approaches. While recent multimodal large language models (MLLMs) have advanced emotion analysis, they have not been adapted to handle the unique spatiotemporal characteristics of neural signals. We present E^2-LLM (EEG-to-Emotion Large Language Model), the first MLLM framework for interpretable emotion analysis from EEG. E^2-LLM integrates a pretrained EEG encoder with Qwen-based LLMs through learnable projection layers, employing a multi-stage training pipeline that encompasses emotion-discriminative pretraining, cross-modal alignment, and instruction tuning with chain-of-thought reasoning. We design a comprehensive evaluation protocol covering basic emotion prediction, multi-task reasoning, and zero-shot scenario understanding. Experiments on the dataset across seven emotion categories demonstrate that E^2-LLM achieves excellent performance on emotion classification, with larger variants showing enhanced reliability and superior zero-shot generalization to complex reasoning scenarios. Our work establishes a new paradigm combining physiological signals with LLM reasoning capabilities, showing that model scaling improves both recognition accuracy and interpretable emotional understanding in affective computing.
• Abstract（参考訳）: 脳波(EEG)信号からの感情認識は、高い物体間変動、限られたラベル付きデータ、既存のアプローチにおける解釈可能な推論の欠如により、依然として困難である。 近年のマルチモーダル大言語モデル (MLLM) は, 感情分析が進んでいるが, 神経信号の時空間特性には適応していない。 脳波からの感情分析のための最初のMLLMフレームワークであるE^2-LLM(EEG-to-Emotion Large Language Model)を提案する。 E^2-LLMは、プレトレーニング済みのEEGエンコーダとQwenベースのLLMを学習可能なプロジェクション層を通じて統合し、感情差別的な事前学習、クロスモーダルアライメント、チェーンオブ思考推論によるチューニングを含む多段階のトレーニングパイプラインを使用する。 我々は,基本的な感情予測,マルチタスク推論,ゼロショットシナリオ理解を含む包括的評価プロトコルを設計する。 7つの感情カテゴリーにまたがるデータセット実験により、E^2-LLMは、信頼性が向上し、複雑な推論シナリオに優れたゼロショット一般化を示す大きな変種により、感情分類において優れた性能を発揮することが示された。 我々の研究は、生理学的信号とLLM推論能力を組み合わせた新しいパラダイムを確立し、モデルスケーリングが感情コンピューティングにおける認識精度と解釈可能な感情理解の両方を改善することを示す。

関連論文リスト

• Emotion-Coherent Reasoning for Multimodal LLMs via Emotional Rationale Verifier [53.55996102181836]
  本稿では,感情関係検証器 (ERV) と説明リワードを提案する。 本手法は,対象感情と明確に一致した推論をモデルに導出する。 我々のアプローチは、説明と予測の整合性を高めるだけでなく、MLLMが感情的に一貫性があり、信頼できる対話を実現するのにも役立ちます。
  論文  参考訳（メタデータ） (2025-10-27T16:40:17Z)
• WaveMind: Towards a Conversational EEG Foundation Model Aligned to Textual and Visual Modalities [55.00677513249723]
  脳波信号は認知過程と固有の神経状態の両方を同時に符号化する。 我々は、EEG信号とその対応するモダリティを統一意味空間にマッピングし、一般化された解釈を実現する。 結果として得られたモデルは、柔軟でオープンな会話をサポートしながら、堅牢な分類精度を示す。
  論文  参考訳（メタデータ） (2025-09-26T06:21:51Z)
• MME-Emotion: A Holistic Evaluation Benchmark for Emotional Intelligence in Multimodal Large Language Models [108.61337743051483]
  MME-Emotionは,MLLMの感情的理解と推論能力の両方を評価するシステムベンチマークである。 MME-Emotionには6000以上のキュレートされたビデオクリップとタスク固有の質問回答(QA)ペアが含まれており、8つの感情的なタスクを定式化するための広いシナリオにまたがっている。 マルチエージェントシステムフレームワークを通じて分析された、感情認識と推論のためのハイブリッドメトリクスを備えた総合評価スイートが組み込まれている。
  論文  参考訳（メタデータ） (2025-08-11T03:14:55Z)
• CodeBrain: Towards Decoupled Interpretability and Multi-Scale Architecture for EEG Foundation Model [52.466542039411515]
  EEGファウンデーションモデル(EFM)は、タスク固有のモデルのスケーラビリティ問題に対処するために登場した。 このギャップを埋めるために設計された2段階のEMFであるCodeBrainを紹介します。 第1段階では、異種時間・周波数の脳波信号を離散トークンに分解するTFDual-Tokenizerを導入する。 第2段階では、構造化されたグローバル畳み込みとスライディングウインドウの注意を結合したマルチスケールEEGSSMアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-06-10T17:20:39Z)
• MEMO-Bench: A Multiple Benchmark for Text-to-Image and Multimodal Large Language Models on Human Emotion Analysis [53.012111671763776]
  そこで本研究では、7,145枚の肖像画からなる総合的なベンチマークであるMEMO-Benchを紹介した。 以上の結果から,既存のT2Iモデルは負のモデルよりも肯定的な感情を生成するのに効果的であることが示唆された。 MLLMは人間の感情の識別と認識に一定の効果を示すが、人間のレベルの正確さには欠ける。
  論文  参考訳（メタデータ） (2024-11-18T02:09:48Z)
• NeuroLM: A Universal Multi-task Foundation Model for Bridging the Gap between Language and EEG Signals [21.363722751437066]
  我々は,脳波を外国語として扱うことで,Large Language Models (LLMs) の機能を活用する,最初のマルチタスク基盤モデルであるNeuroLMを提案する。 我々のアプローチは、脳波信号を離散的な神経トークンにエンコードするベクトル量子化された時間周波数予測を通じて、テキスト整列型ニューラルトークンを学習することから始まります。 我々は、LLMを具体化することによって、NeuroLMは命令チューニングによって単一のモデル内で多様な脳波タスクを統合できることを初めて実証した。
  論文  参考訳（メタデータ） (2024-08-27T12:07:09Z)
• Multi-modal Mood Reader: Pre-trained Model Empowers Cross-Subject Emotion Recognition [23.505616142198487]
  我々は、クロスオブジェクト感情認識のための訓練済みモデルに基づくMultimodal Mood Readerを開発した。 このモデルは、大規模データセットの事前学習を通じて、脳波信号の普遍的な潜在表現を学習する。 公開データセットに関する大規模な実験は、クロスオブジェクト感情認識タスクにおけるMood Readerの優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-05-28T14:31:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。