論文の概要: Bridging Auditory Perception and Language Comprehension through MEG-Driven Encoding Models

• arxiv url: http://arxiv.org/abs/2501.03246v1
• Date: Sun, 22 Dec 2024 19:41:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-12 03:46:01.002862
• Title: Bridging Auditory Perception and Language Comprehension through MEG-Driven Encoding Models
• Title（参考訳）: MEG-Driven Encoding Modelによる聴覚のブリッジングと言語理解
• Authors: Matteo Ciferri, Matteo Ferrante, Nicola Toschi,
• Abstract要約: 脳磁図(MEG)データを用いて、音声言語刺激に対する脳反応を解析する。 我々は,音声-MEGエンコーダとテキスト-MEGエンコーダの2つの異なる符号化モデルを開発した。 どちらのモデルも神経活動の予測に成功し、推定されたMEG信号と観測されたMEG信号の間に有意な相関を示す。
• 参考スコア（独自算出の注目度）: 0.12289361708127873
• License:
• Abstract: Understanding the neural mechanisms behind auditory and linguistic processing is key to advancing cognitive neuroscience. In this study, we use Magnetoencephalography (MEG) data to analyze brain responses to spoken language stimuli. We develop two distinct encoding models: an audio-to-MEG encoder, which uses time-frequency decompositions (TFD) and wav2vec2 latent space representations, and a text-to-MEG encoder, which leverages CLIP and GPT-2 embeddings. Both models successfully predict neural activity, demonstrating significant correlations between estimated and observed MEG signals. However, the text-to-MEG model outperforms the audio-based model, achieving higher Pearson Correlation (PC) score. Spatially, we identify that auditory-based embeddings (TFD and wav2vec2) predominantly activate lateral temporal regions, which are responsible for primary auditory processing and the integration of auditory signals. In contrast, textual embeddings (CLIP and GPT-2) primarily engage the frontal cortex, particularly Broca's area, which is associated with higher-order language processing, including semantic integration and language production, especially in the 8-30 Hz frequency range. The strong involvement of these regions suggests that auditory stimuli are processed through more direct sensory pathways, while linguistic information is encoded via networks that integrate meaning and cognitive control. Our results reveal distinct neural pathways for auditory and linguistic information processing, with higher encoding accuracy for text representations in the frontal regions. These insights refine our understanding of the brain's functional architecture in processing auditory and textual information, offering quantitative advancements in the modelling of neural responses to complex language stimuli.
• Abstract（参考訳）: 聴覚および言語処理の背後にある神経機構を理解することが認知神経科学を前進させる鍵となる。 本研究では、脳磁図データを用いて、音声言語刺激に対する脳の反応を分析する。 時間周波数分解(TFD)とwav2vec2遅延空間表現を利用するオーディオ-to-MEGエンコーダと、CLIPとGPT-2埋め込みを利用するテキスト-to-MEGエンコーダの2つの異なる符号化モデルを開発した。 どちらのモデルも神経活動の予測に成功し、推定されたMEG信号と観測されたMEG信号の間に有意な相関を示す。 しかし、テキスト・ツー・MEGモデルは音声ベースモデルよりも優れ、ピアソン相関(PC)スコアが高い。 空間的には、聴覚に基づく埋め込み (TFD, wav2vec2) が、主に側頭葉領域を活性化し、一次聴覚処理と聴覚信号の統合を担っている。 対照的に、テキスト埋め込み(CLIPとGPT-2)は主に前頭皮質、特にBrocaの領域に関係しており、特に8-30Hzの周波数範囲において、意味統合や言語生成を含む高次言語処理と関連している。 これらの領域の強い関与は、聴覚刺激はより直接的な感覚経路を通して処理され、言語情報は意味と認知制御を統合するネットワークを介して符号化されていることを示唆している。 その結果,前頭葉領域におけるテキスト表現の符号化精度が向上し,聴覚情報処理や言語情報処理の神経経路が明確になった。 これらの洞察は、聴覚情報やテキスト情報処理における脳の機能的アーキテクチャの理解を深め、複雑な言語刺激に対する神経反応のモデリングにおける定量的な進歩を提供する。

関連論文リスト

• BrainECHO: Semantic Brain Signal Decoding through Vector-Quantized Spectrogram Reconstruction for Whisper-Enhanced Text Generation [29.78480739360263]
  本稿では,vEctor-quantized speCtrogram を用いた意味脳信号復号法を提案する。 BrainECHOは、1)音声スペクトログラムの自動符号化、2)ブレインオーディオ遅延空間アライメント、3)Whisperファインタニングによるセマンティックテキスト生成を行う。 BrainECHOは、2つの広く受け入れられたリソースで同じデータ分割設定の下で最先端のメソッドより優れている。
  論文  参考訳（メタデータ） (2024-10-19T04:29:03Z)
• Large Language Model-based FMRI Encoding of Language Functions for Subjects with Neurocognitive Disorder [53.575426835313536]
  LLMを用いたfMRIエンコーディングと脳のスコアを用いた高齢者の言語関連機能変化について検討する。 脳のスコアと認知スコアの相関関係を脳全体のROIと言語関連ROIの両方で分析した。 以上の結果から,認知能力の向上は,中側頭回に有意な相関がみられた。
  論文  参考訳（メタデータ） (2024-07-15T01:09:08Z)
• Du-IN: Discrete units-guided mask modeling for decoding speech from Intracranial Neural signals [5.283718601431859]
  エレクトロコルチコグラフィー(ECoG)を用いた脳-コンピュータインタフェースは,医療応用における高性能音声復号化を約束している。 離散コーデックス誘導マスクモデリングにより,領域レベルのトークンに基づくコンテキスト埋め込みを抽出するDu-INモデルを開発した。 本モデルでは,61ワードの分類タスクにおいて,すべてのベースラインを越えながら最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-05-19T06:00:36Z)
• Do self-supervised speech and language models extract similar representations as human brain? [2.390915090736061]
  自己教師付き学習(SSL)によって訓練された音声と言語モデルは、音声と言語知覚の間の脳活動と強い整合性を示す。 我々は2つの代表的なSSLモデルであるWav2Vec2.0とGPT-2の脳波予測性能を評価した。
  論文  参考訳（メタデータ） (2023-10-07T01:39:56Z)
• Probing Brain Context-Sensitivity with Masked-Attention Generation [87.31930367845125]
  我々は、GPT-2変換器を用いて、一定量の文脈情報をキャプチャする単語埋め込みを生成する。 そして、自然主義的なテキストを聴く人間のfMRI脳活動を予測することができるかどうかを検証した。
  論文  参考訳（メタデータ） (2023-05-23T09:36:21Z)
• Information-Restricted Neural Language Models Reveal Different Brain Regions' Sensitivity to Semantics, Syntax and Context [87.31930367845125]
  テキストコーパスを用いて語彙言語モデルGloveと超語彙言語モデルGPT-2を訓練した。 そして、これらの情報制限されたモデルが、自然主義的テキストを聴く人間のfMRI信号の時間軸を予測することができるかを評価した。 分析の結果、言語に関わるほとんどの脳領域は、構文変数と意味変数の両方に敏感であるが、これらの影響の相対的な大きさは、これらの領域で大きく異なることがわかった。
  論文  参考訳（メタデータ） (2023-02-28T08:16:18Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Self-supervised models of audio effectively explain human cortical responses to speech [71.57870452667369]
  我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。 これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-27T22:04:02Z)
• CogAlign: Learning to Align Textual Neural Representations to Cognitive Language Processing Signals [60.921888445317705]
  自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。 我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T07:10:25Z)
• Extracting the Locus of Attention at a Cocktail Party from Single-Trial EEG using a Joint CNN-LSTM Model [0.1529342790344802]
  人間の脳は、複数の話者シナリオにおいて、特定の話者を干渉する話者から分離する際、非常によく機能する。 本稿では,聴覚の注意を喚起するために,結合畳み込みニューラルネットワーク(CNN)-長短期記憶(LSTM)モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-08T01:06:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。