論文の概要: EmoMind: Decoding Affective Captions from Human Brain fMRI
- arxiv url: http://arxiv.org/abs/2605.16739v1
- Date: Sat, 16 May 2026 01:32:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:46.997263
- Title: EmoMind: Decoding Affective Captions from Human Brain fMRI
- Title（参考訳）: EmoMind:人間の脳のfMRIから影響のあるカプセルをデコードする
- Authors: Bilal A. Mohammed, Lin Gu, Ruogo Fang,
- Abstract要約: 本稿では,fMRI信号から直接情動キャプションを復号する最初のエンドツーエンドパイプラインであるEmoMindを紹介する。
EmoMindはまず、脳でデコードされた視覚的特徴からセマンティックな接地されたニュートラルシーンを検索し、同じfMRI記録からデコードされた34次元の感情ベクトルを用いて書き直します。
- 参考スコア（独自算出の注目度）: 6.129853202144421
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decoding visual experience from brain activity has advanced substantially, but cur- rent brain-to-text systems largely recover semantic content while discarding affect. Additionally, language models can generate emotional text when prompted with categorical labels, but such labels collapse rich inter-subject variability into coarse discrete bins. We present EmoMind, the first end-to-end pipeline for decoding affective captions directly from fMRI signals. EmoMind first retrieves a semanti- cally grounded neutral scene description from brain-decoded visual features, then rewrites it using a continuous 34-dimensional emotion vector decoded from the same fMRI recording. To control the balance between content preservation and affective expression, we train the rewriter with classifier-free guidance against an identity-preserving null branch, enabling smooth interpolation between semantic fidelity and affective expressivity. We evaluate affective caption generation with a three-axis validation framework spanning subject-specificity, structural geometry, and causal control. We further augment this framework with a synthetic-brain substitution test that probes robustness to the measurement apparatus, and we benchmark each axis against GPT-4 prompted with brain-decoded top-5 emotion labels as a strong discrete baseline. Across two independent emotion fMRI datasets, EmoMind significantly outperforms label-prompted GPT-4 on all three axes, with the largest gains on metrics that require person-specific affective structure rather than population-level emotion aggregation. These results establish continuous brain-decoded affect as a viable control signal for individualized affective cap- tion generation and open new directions for studying individual affective brain organisation.
- Abstract（参考訳）: 脳活動からの視覚的体験の復号が大幅に進んでいるが、カーレンタルのブレイン・トゥ・テキスト・システムは、影響を排除しながら意味的コンテンツを回復する。
さらに、言語モデルは分類ラベルで刺激されたときに感情的なテキストを生成することができるが、そのようなラベルは、リッチなオブジェクト間の変動性を粗い離散的なビンに分解する。
本稿では,fMRI信号から直接情動キャプションを復号する最初のエンドツーエンドパイプラインであるEmoMindを紹介する。
EmoMindはまず、脳でデコードされた視覚的特徴からセマンティックな接地されたニュートラルシーンを検索し、同じfMRI記録からデコードされた34次元の感情ベクトルを用いて書き直します。
コンテンツ保存と感情表現のバランスを制御するために,識別保存ヌル分岐に対して分類子のないガイダンスでリライタを訓練し,意味的忠実度と感情表現率のスムーズな補間を可能にする。
主観的特異性, 構造的形状, 因果制御にまたがる3軸検証フレームワークを用いて, 情緒的キャプション生成の評価を行った。
さらに、このフレームワークを、測定装置に堅牢性を調査する合成脳置換試験で強化し、脳デコードされたトップ5感情ラベルを強力な離散ベースラインとして、各軸をGPT-4と比較した。
2つの独立した感情fMRIデータセット全体で、EmoMindは、人口レベルの感情集約よりも個人固有の感情構造を必要とする指標において、ラベル付きGPT-4を3つの軸すべてで大幅に上回っている。
これらの結果は、個別化された感情的カプオン生成のための生存可能な制御シグナルとして、継続的な脳コード化された感情を確立し、個別の感情的脳組織を研究するための新しい方向性を開放する。
関連論文リスト
- Memory-guided Prototypical Co-occurrence Learning for Mixed Emotion Recognition [56.00118641432005]
本稿では,感情共起パターンを明示的にモデル化するメモリ誘導型プロトタイプ共起学習フレームワークを提案する。
人間の認知記憶システムに触発されて,意味レベルの共起関係を抽出するメモリ検索戦略を導入する。
本モデルは感情分布予測のための感情情報表現を学習する。
論文 参考訳（メタデータ） (2026-02-24T04:11:25Z) - ADEPT: RL-Aligned Agentic Decoding of Emotion via Evidence Probing Tools -- From Consensus Learning to Ambiguity-Driven Emotion Reasoning [67.22219034602514]
ADEPT(Agentic Decoding of Emotion via Evidence Probing Tools)は,感情認識をマルチターン探索プロセスとして再構成するフレームワークである。
ADEPTはSLLMを進化する候補感情を維持するエージェントに変換し、専用のセマンティックおよび音響探査ツールを適応的に呼び出す。
ADEPTは、ほとんどの設定において主感情の精度を向上し、微妙な感情の特徴を著しく改善することを示した。
論文 参考訳（メタデータ） (2026-02-13T08:33:37Z) - Discovering and Causally Validating Emotion-Sensitive Neurons in Large Audio-Language Models [8.550786156000461]
大規模音声言語モデル(LALM)における感情感受性ニューロン(ESN)のニューロンレベルでの解釈可能性の研究について紹介する。
複数の感情認識ベンチマークにおいて、周波数、エントロピー、等級、コントラストに基づくニューロンセレクタを比較した。
推論時間の介入を用いて、一貫した感情特異的なシグネチャを明らかにする。
論文 参考訳（メタデータ） (2026-01-06T15:46:35Z) - DepFlow: Disentangled Speech Generation to Mitigate Semantic Bias in Depression Detection [54.209716321122194]
抑うつ条件付きテキスト音声合成フレームワークであるDepFlowについて述べる。
抑うつ音響カモフラージュは、対向訓練を通じて話者と内容不変の抑うつ埋め込みを学習する。
フローマッチングTTSモデルとFiLM変調はこれらの埋め込みを合成に注入し、うつ病の重症度を制御する。
プロトタイプベースの重度マッピング機構は、うつ病連続体を滑らかかつ解釈可能な操作を提供する。
論文 参考訳（メタデータ） (2026-01-01T10:44:38Z) - A Brain Wave Encodes a Thousand Tokens: Modeling Inter-Cortical Neural Interactions for Effective EEG-based Emotion Recognition [0.41998444721319217]
本稿では,潜時空間における脳の皮質間神経力学をモデル化するTransformerベースのニューラルネットワークアーキテクチャであるRBTransformerを提案する。
本研究は,SEED,DEAP,DREAMERデータセットを用いて,特に主観的設定下で広範囲にわたる実験を行った。
その結果,提案したRBTransformerは,従来の最先端手法を3つのデータセットすべてで上回っていることがわかった。
論文 参考訳（メタデータ） (2025-11-17T22:27:12Z) - Decoding Neural Emotion Patterns through Large Language Model Embeddings [3.8032942955371785]
本稿では, 神経イメージングを必要とせずに, テキストの感情内容を解剖学的に定義された脳領域にマッピングする計算フレームワークを提案する。
OpenAIのテキスト埋め込み-ada-adaを用いて、高次元の意味表現を生成し、次元の縮小とクラスタリングを適用して感情グループを特定し、感情処理に関連する18の脳領域にマッピングする。
このコスト効率が高くスケーラブルなアプローチは、自然言語を大規模に分析し、臨床集団を区別し、AIの感情表現を評価するための脳ベースのベンチマークを提供する。
論文 参考訳（メタデータ） (2025-08-12T20:51:56Z) - Learning Interpretable Representations Leads to Semantically Faithful EEG-to-Text Generation [52.51005875755718]
我々は脳波からテキストへの復号に焦点をあて、後部崩壊のレンズを通して幻覚の問題に対処する。
脳波とテキスト間の情報容量のミスマッチを認め、デコードタスクをコア意味のセマンティックな要約として再設計する。
パブリックなZuCoデータセットの実験では、GLIMが一貫して、流動的なEEG基底文を生成することが示されている。
論文 参考訳（メタデータ） (2025-05-21T05:29:55Z) - learning discriminative features from spectrograms using center loss for speech emotion recognition [62.13177498013144]
本稿では,感情認識のための可変長スペクトログラムから識別特徴を学習するための新しい手法を提案する。
ソフトマックスのクロスエントロピー損失は、異なる感情カテゴリの特徴を分離可能とし、センターロスは、同じ感情カテゴリに属する特徴をその中心に効率的に引き出す。
論文 参考訳（メタデータ） (2025-01-02T06:52:28Z) - BrainECHO: Semantic Brain Signal Decoding through Vector-Quantized Spectrogram Reconstruction for Whisper-Enhanced Text Generation [48.20672677492805]
現在のEEG/MEG-to-textデコーディングシステムには3つの重要な制限がある。
BrainECHOは、分離された表現学習を利用する多段階フレームワークである。
BrainECHOは文、セッション、主題に依存しない条件をまたいだ堅牢性を示す。
論文 参考訳（メタデータ） (2024-10-19T04:29:03Z) - Take an Emotion Walk: Perceiving Emotions from Gaits Using Hierarchical Attention Pooling and Affective Mapping [55.72376663488104]
本稿では、ビデオやモーションキャプチャーデータから得られた歩行スタイルから、知覚された人間の感情を分類するためのオートエンコーダに基づくアプローチを提案する。
3次元ポーズシーケンスから抽出した各ステップのポーズにおける各関節の動きを考慮し、これらの関節の動きをエンコーダに階層的にプールする。
我々はデコーダを訓練し、潜伏埋め込みからトップダウン方式で1ステップ当たりの関節の動きを再構築する。
論文 参考訳（メタデータ） (2019-11-20T05:04:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。