論文の概要: Bridging the behavior-neural gap: A multimodal AI reveals the brain's geometry of emotion more accurately than human self-reports

• arxiv url: http://arxiv.org/abs/2509.24298v1
• Date: Mon, 29 Sep 2025 05:22:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.762429
• Title: Bridging the behavior-neural gap: A multimodal AI reveals the brain's geometry of emotion more accurately than human self-reports
• Title（参考訳）: 行動と神経のギャップを埋める:マルチモーダルAIは人間の自己報告よりも脳の感情の幾何学を正確に示す
• Authors: Changde Du, Yizhuo Lu, Zhongyu Huang, Yi Sun, Zisen Zhou, Shaozheng Qin, Huiguang He,
• Abstract要約: 大規模な類似性判定は、脳の感情幾何学をより忠実に捉えることができることを示す。 MLLMは、リッチで神経に適応した感情表現を自律的に開発できるという、説得力のある証拠を提供する。
• 参考スコア（独自算出の注目度）: 18.336392633341493
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to represent emotion plays a significant role in human cognition and social interaction, yet the high-dimensional geometry of this affective space and its neural underpinnings remain debated. A key challenge, the `behavior-neural gap,' is the limited ability of human self-reports to predict brain activity. Here we test the hypothesis that this gap arises from the constraints of traditional rating scales and that large-scale similarity judgments can more faithfully capture the brain's affective geometry. Using AI models as `cognitive agents,' we collected millions of triplet odd-one-out judgments from a multimodal large language model (MLLM) and a language-only model (LLM) in response to 2,180 emotionally evocative videos. We found that the emergent 30-dimensional embeddings from these models are highly interpretable and organize emotion primarily along categorical lines, yet in a blended fashion that incorporates dimensional properties. Most remarkably, the MLLM's representation predicted neural activity in human emotion-processing networks with the highest accuracy, outperforming not only the LLM but also, counterintuitively, representations derived directly from human behavioral ratings. This result supports our primary hypothesis and suggests that sensory grounding--learning from rich visual data--is critical for developing a truly neurally-aligned conceptual framework for emotion. Our findings provide compelling evidence that MLLMs can autonomously develop rich, neurally-aligned affective representations, offering a powerful paradigm to bridge the gap between subjective experience and its neural substrates. Project page: https://reedonepeck.github.io/ai-emotion.github.io/.
• Abstract（参考訳）: 感情を表現する能力は人間の認知と社会的相互作用において重要な役割を果たすが、この感情空間とその神経基盤の高次元幾何学はいまだに議論されている。 重要な課題である「行動-神経ギャップ」は、脳活動を予測するための人間の自己申告能力の制限である。 ここでは、このギャップは従来の評価尺度の制約から生じ、大規模な類似性判定は脳の感情幾何学をより忠実に捉えることができるという仮説をテストする。 AIモデルを‘認知エージェント’として使用して,2180件の感情的排他的ビデオに対して,MLLM(Multimodal large language model)とLLM(Language-only model)から,数百万件の奇数対1の判断を収集した。 これらのモデルから得られた30次元の創発的な埋め込みは高い解釈が可能であり、主に分類線に沿って感情を整理するが、次元特性を取り入れたブレンド方式であることがわかった。 最も顕著なことに、MLLMの表現は人間の感情処理ネットワークにおける神経活動を高い精度で予測し、LLMだけでなく、人間の行動評価から直接派生した表現よりも優れていた。 この結果は、私たちの第一の仮説を支持し、感覚基盤(リッチな視覚データから学ぶ)が、感情に対する真に神経的に整合した概念的枠組みを開発する上で重要であることを示唆している。 MLLMは、主観的体験と神経基質のギャップを埋める強力なパラダイムを提供する。 プロジェクトページ: https://reedonepeck.github.io/ai-emotion.github.io/

関連論文リスト

• AI shares emotion with humans across languages and cultures [12.530921452568291]
  言語文化グループとモデル家族間の人間とAIの感情的アライメントを評価する。 分析の結果,LLM由来の感情空間は人間の知覚と構造的に一致していることがわかった。 モデル表現は、異なる感情カテゴリーにまたがって安定かつ自然に調節可能であることを示す。
  論文  参考訳（メタデータ） (2025-06-11T14:42:30Z)
• Artificial Intelligence Can Emulate Human Normative Judgments on Emotional Visual Scenes [0.09208007322096533]
  現状のマルチモーダルシステムは、標準化された画像に対して人間の感情評価をエミュレートできるかどうかを検討する。 AIの判断は、平均的な人間の評価と驚くほどよく相関している。
  論文  参考訳（メタデータ） (2025-03-24T15:41:23Z)
• How Deep is Love in LLMs' Hearts? Exploring Semantic Size in Human-like Cognition [75.11808682808065]
  本研究では,大言語モデル (LLM) が意味的サイズを理解する上で類似した傾向を示すかどうかを検討する。 以上の結果から,マルチモーダルトレーニングはLLMにとって人間的な理解を深める上で不可欠であることが示唆された。 最後に,LLMが実世界のWebショッピングシナリオにおいて,より大きなセマンティックサイズを持つ注目の見出しに影響されているかを検討する。
  論文  参考訳（メタデータ） (2025-03-01T03:35:56Z)
• MEMO-Bench: A Multiple Benchmark for Text-to-Image and Multimodal Large Language Models on Human Emotion Analysis [53.012111671763776]
  そこで本研究では、7,145枚の肖像画からなる総合的なベンチマークであるMEMO-Benchを紹介した。 以上の結果から,既存のT2Iモデルは負のモデルよりも肯定的な感情を生成するのに効果的であることが示唆された。 MLLMは人間の感情の識別と認識に一定の効果を示すが、人間のレベルの正確さには欠ける。
  論文  参考訳（メタデータ） (2024-11-18T02:09:48Z)
• EmoLLM: Multimodal Emotional Understanding Meets Large Language Models [61.179731667080326]
  マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。 しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。 EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
  論文  参考訳（メタデータ） (2024-06-24T08:33:02Z)
• Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation [57.60490773016364]
  マルチフィンガーハンドの視覚と触覚を組み合わせることで,手動操作時の物体の姿勢と形状を推定する。 提案手法であるNeuralFeelsは,ニューラルネットワークをオンラインで学習することでオブジェクトの形状を符号化し,ポーズグラフ問題を最適化して共同で追跡する。 私たちの結果は、タッチが少なくとも、洗練され、そして最も最良のものは、手動操作中に視覚的推定を曖昧にすることを示しています。
  論文  参考訳（メタデータ） (2023-12-20T22:36:37Z)
• Unveiling Theory of Mind in Large Language Models: A Parallel to Single Neurons in the Human Brain [2.5350521110810056]
  大きな言語モデル(LLM)は、あるレベルの心の理論(ToM)を示すことが発見されている。 LLMのToMの能力や人間との類似性に基づく正確なプロセスはほとんど不明である。
  論文  参考訳（メタデータ） (2023-09-04T15:26:15Z)
• Language-Specific Representation of Emotion-Concept Knowledge Causally Supports Emotion Inference [44.126681295827794]
  この研究は、大規模言語モデル(LLMs)として知られる人工知能の形式を用いて、言語に基づく感情の表現が、新しい状況の感情的意味に関する推論を生成するAIの能力に因果的に寄与するかどうかを評価する。 本研究は,LLMでも知覚モダ表現の欠如による感情の学習が可能であり,言語由来の感情概念知識の感情推論への寄与を強調した。
  論文  参考訳（メタデータ） (2023-02-19T14:21:33Z)
• Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
  3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。 本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。 ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
  論文  参考訳（メタデータ） (2021-12-02T12:45:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。