論文の概要: Toward a Realistic Encoding Model of Auditory Affective Understanding in the Brain

• arxiv url: http://arxiv.org/abs/2509.21381v1
• Date: Tue, 23 Sep 2025 14:52:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:53.888556
• Title: Toward a Realistic Encoding Model of Auditory Affective Understanding in the Brain
• Title（参考訳）: 脳における聴覚影響理解のリアルエンコーディングモデルに向けて
• Authors: Guandong Pan, Yaqian Yang, Shi Chen, Xin Wang, Longzhao Liu, Hongwei Zheng, Shaoting Tang,
• Abstract要約: 感情神経科学と感情認識AIでは、複雑な聴覚刺激が感情の覚醒力学をいかに駆動するかを理解することは未解決のままである。 本研究では,脳の自然な聴覚入力を動的行動・神経応答にモデル化するための計算枠組みを提案する。 感情コンピューティングと神経科学を統合することで、この研究は聴覚-感情エンコーディングの階層的なメカニズムを明らかにする。
• 参考スコア（独自算出の注目度）: 5.168772989709122
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In affective neuroscience and emotion-aware AI, understanding how complex auditory stimuli drive emotion arousal dynamics remains unresolved. This study introduces a computational framework to model the brain's encoding of naturalistic auditory inputs into dynamic behavioral/neural responses across three datasets (SEED, LIRIS, self-collected BAVE). Guided by neurobiological principles of parallel auditory hierarchy, we decompose audio into multilevel auditory features (through classical algorithms and wav2vec 2.0/Hubert) from the original and isolated human voice/background soundtrack elements, mapping them to emotion-related responses via cross-dataset analyses. Our analysis reveals that high-level semantic representations (derived from the final layer of wav2vec 2.0/Hubert) exert a dominant role in emotion encoding, outperforming low-level acoustic features with significantly stronger mappings to behavioral annotations and dynamic neural synchrony across most brain regions ($p < 0.05$). Notably, middle layers of wav2vec 2.0/hubert (balancing acoustic-semantic information) surpass the final layers in emotion induction across datasets. Moreover, human voices and soundtracks show dataset-dependent emotion-evoking biases aligned with stimulus energy distribution (e.g., LIRIS favors soundtracks due to higher background energy), with neural analyses indicating voices dominate prefrontal/temporal activity while soundtracks excel in limbic regions. By integrating affective computing and neuroscience, this work uncovers hierarchical mechanisms of auditory-emotion encoding, providing a foundation for adaptive emotion-aware systems and cross-disciplinary explorations of audio-affective interactions.
• Abstract（参考訳）: 感情神経科学と感情認識AIでは、複雑な聴覚刺激が感情の覚醒力学をいかに駆動するかを理解することは未解決のままである。 本研究では,脳の自然な聴覚入力を3つのデータセット(SEED,LIRIS,自己収集BAVE)にわたる動的行動・神経応答にモデル化するための計算枠組みを提案する。 並列聴覚階層の神経生物学的原理により,音声を従来の音声/背景音声トラック要素から(古典的アルゴリズムとwav2vec 2.0/Hubertを通じて)マルチレベル聴覚特徴に分解し,クロスデータセット解析により感情関連応答にマッピングする。 分析の結果,高次意味表現(wav2vec 2.0/Hubertの最終層に由来する)は感情符号化において支配的な役割を担っており,行動アノテーションへのマッピングが著しく向上し,多くの脳領域(p<05$)にわたって動的ニューラルシンクロニー(p。 特に、wav2vec 2.0/hubert(アコースティック・セマンティックな情報のバランス)の中層は、データセット全体にわたる感情誘導の最終層を上回っている。 さらに、人間の声とサウンドトラックは、刺激エネルギー分布(例えば、LIRISは背景エネルギーが高いため、サウンドトラックを好んでいる)に沿ったデータセット依存の感情誘発バイアスを示す。 感情コンピューティングと神経科学を統合することで、この研究は聴覚と感情のエンコーディングの階層的なメカニズムを明らかにし、適応的な感情認識システムの基礎と、聴覚と感情の相互作用の学際的な探索を提供する。

関連論文リスト

• Decoding Neural Emotion Patterns through Large Language Model Embeddings [3.8032942955371785]
  本稿では, 神経イメージングを必要とせずに, テキストの感情内容を解剖学的に定義された脳領域にマッピングする計算フレームワークを提案する。 OpenAIのテキスト埋め込み-ada-adaを用いて、高次元の意味表現を生成し、次元の縮小とクラスタリングを適用して感情グループを特定し、感情処理に関連する18の脳領域にマッピングする。 このコスト効率が高くスケーラブルなアプローチは、自然言語を大規模に分析し、臨床集団を区別し、AIの感情表現を評価するための脳ベースのベンチマークを提供する。
  論文  参考訳（メタデータ） (2025-08-12T20:51:56Z)
• Neural Brain: A Neuroscience-inspired Framework for Embodied Agents [58.58177409853298]
  大規模な言語モデルのような現在のAIシステムは、いまだに解体され続けており、物理的に世界と関わりが持てない。 この課題の核心は、人間のような適応性を持つエンボディエージェントを駆動するために設計された中枢知能システムであるNeural Brain(ニューラル・ブレイン)の概念である。 本稿では,2つの基本的な課題に対処する,エンボディエージェントのニューラルブレインの統一的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-05-12T15:05:34Z)
• R&B -- Rhythm and Brain: Cross-subject Decoding of Music from Human Brain Activity [0.12289361708127873]
  音楽は、文化全体にわたる人間の経験に大きな影響を及ぼす普遍的な現象である。 本研究では,音楽の知覚における機能的MRI(FMRI)を用いた人間の脳活動から,音楽の復号化が可能であるかを検討した。
  論文  参考訳（メタデータ） (2024-06-21T17:11:45Z)
• Music Emotion Prediction Using Recurrent Neural Networks [8.867897390286815]
  本研究は,聴取者の感情状態に合うように音楽を調整することで,音楽レコメンデーションシステムを強化し,治療介入を支援することを目的とする。 ラッセルの感情クアドラントを用いて、音楽を4つの異なる感情領域に分類し、これらのカテゴリーを正確に予測できるモデルを開発する。 我々のアプローチは、Librosaを使って包括的なオーディオ機能を抽出し、標準RNN、双方向RNN、Long Short-Term Memory(LSTM)ネットワークなど、さまざまなリカレントニューラルネットワークアーキテクチャを適用します。
  論文  参考訳（メタデータ） (2024-05-10T18:03:20Z)
• Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks [59.38765771221084]
  本稿では、ディープラーニングフレームワークと互換性があり、スケーラブルな、生理学的にインスパイアされた音声認識アーキテクチャを提案する。 本研究では, 終末から終末までの勾配降下訓練が, 中枢スパイク神経ネットワークにおける神経振動の出現に繋がることを示す。 本研究は, スパイク周波数適応やリカレント接続などのフィードバック機構が, 認識性能を向上させるために, 神経活動の調節と同期に重要な役割を担っていることを明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T09:40:07Z)
• A Hierarchical Regression Chain Framework for Affective Vocal Burst Recognition [72.36055502078193]
  本稿では,声帯からの感情認識のための連鎖回帰モデルに基づく階層的枠組みを提案する。 データスパシティの課題に対処するため、レイヤワイドおよび時間アグリゲーションモジュールを備えた自己教師付き学習(SSL)表現も使用しています。 提案されたシステムは、ACII Affective Vocal Burst (A-VB) Challenge 2022に参加し、「TWO」および「CULTURE」タスクで第1位となった。
  論文  参考訳（メタデータ） (2023-03-14T16:08:45Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Enhancing Affective Representations of Music-Induced EEG through Multimodal Supervision and latent Domain Adaptation [34.726185927120355]
  脳波の重み付けとして音楽信号を用い,その意味的対応を共通の表現空間に投影することを目的としている。 我々は、LSTMに基づくアテンションモデルと、音楽タギングのための事前訓練されたモデルを組み合わせたバイモーダル・フレームワークと、その2つのモードの分布を整列するリバース・ドメイン・ディミネータを併用して、バイモーダル・フレームワークを利用する。 脳波入力クエリに関連音楽サンプルを提供することにより、モダリティのいずれからも、間接的に、教師付き予測を行うことで、感情認識に利用することができる。
  論文  参考訳（メタデータ） (2022-02-20T07:32:12Z)
• Emotion Recognition of the Singing Voice: Toward a Real-Time Analysis Tool for Singers [0.0]
  現在の計算感情研究は、感情が数学的に知覚される方法を分析するために音響特性を適用することに焦点を当てている。 本稿は,関連する研究の知見を反映し,拡張し,この目標に向けての一歩を踏み出す。
  論文  参考訳（メタデータ） (2021-05-01T05:47:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。