論文の概要: The Temporal Structure of Language Processing in the Human Brain
Corresponds to The Layered Hierarchy of Deep Language Models
- arxiv url: http://arxiv.org/abs/2310.07106v1
- Date: Wed, 11 Oct 2023 01:03:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 00:57:33.406408
- Title: The Temporal Structure of Language Processing in the Human Brain
Corresponds to The Layered Hierarchy of Deep Language Models
- Title(参考訳): ヒト脳における言語処理の時間的構造は深層言語モデルの階層構造に対応している
- Authors: Ariel Goldstein, Eric Ham, Mariano Schain, Samuel Nastase, Zaid Zada,
Avigail Dabush, Bobbi Aubrey, Harshvardhan Gazula, Amir Feder, Werner K
Doyle, Sasha Devore, Patricia Dugan, Daniel Friedman, Roi Reichart, Michael
Brenner, Avinatan Hassidim, Orrin Devinsky, Adeen Flinker, Omer Levy, Uri
Hasson
- Abstract要約: 深層言語モデル(DLM)の階層構造は,脳内の言語理解の時間的ダイナミクスをモデル化するために用いられる可能性がある。
以上の結果から,DLMは高次言語領域における神経活動のタイミングを反映したコンテキスト情報を階層的に蓄積し,人間の言語処理とDLMの関連性を明らかにした。
- 参考スコア(独自算出の注目度): 37.605014098041906
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep Language Models (DLMs) provide a novel computational paradigm for
understanding the mechanisms of natural language processing in the human brain.
Unlike traditional psycholinguistic models, DLMs use layered sequences of
continuous numerical vectors to represent words and context, allowing a
plethora of emerging applications such as human-like text generation. In this
paper we show evidence that the layered hierarchy of DLMs may be used to model
the temporal dynamics of language comprehension in the brain by demonstrating a
strong correlation between DLM layer depth and the time at which layers are
most predictive of the human brain. Our ability to temporally resolve
individual layers benefits from our use of electrocorticography (ECoG) data,
which has a much higher temporal resolution than noninvasive methods like fMRI.
Using ECoG, we record neural activity from participants listening to a
30-minute narrative while also feeding the same narrative to a high-performing
DLM (GPT2-XL). We then extract contextual embeddings from the different layers
of the DLM and use linear encoding models to predict neural activity. We first
focus on the Inferior Frontal Gyrus (IFG, or Broca's area) and then extend our
model to track the increasing temporal receptive window along the linguistic
processing hierarchy from auditory to syntactic and semantic areas. Our results
reveal a connection between human language processing and DLMs, with the DLM's
layer-by-layer accumulation of contextual information mirroring the timing of
neural activity in high-order language areas.
- Abstract(参考訳): 深層言語モデル(DLM)は、人間の脳における自然言語処理のメカニズムを理解するための新しい計算パラダイムを提供する。
伝統的な精神言語モデルとは異なり、dlmは単語や文脈を表現するために連続的な数値ベクトルの層状配列を用いる。
本稿では,DLMの階層構造が脳内の言語理解の時間的ダイナミクスをモデル化するのに有効であることを示す。
個々の層を時間的に分解する能力は、fMRIのような非侵襲的な方法よりもはるかに高い時間分解能を持つ脳電図(ECoG)データを使用することで得られる。
ECoGを用いて,30分間の物語を聴いた参加者の神経活動を記録するとともに,高いパフォーマンスのDLM(GPT2-XL)に同じ物語を届ける。
次に、DLMの異なる層からコンテキスト埋め込みを抽出し、線形符号化モデルを用いて神経活動を予測する。
我々はまず、まず、IFG(Inferior Frontal Gyrus)に焦点を当て、次に、言語処理階層に沿った時間的受容窓を聴覚から構文的・意味的領域へと追跡するために、我々のモデルを拡張した。
以上の結果から,DLMは高次言語領域における神経活動のタイミングを反映したコンテキスト情報を階層的に蓄積し,人間の言語処理とDLMの関連性を明らかにした。
関連論文リスト
- How do Large Language Models Handle Multilingualism? [87.06210331315451]
大規模言語モデル(LLM)は、様々な言語で顕著な性能を示す。
LLMの多言語入力処理を記述したフレームワークを提案する。
さらに,特定の言語処理における言語特異的ニューロンの存在について検討する。
論文 参考訳(メタデータ) (2024-02-29T02:55:26Z) - Language-Specific Neurons: The Key to Multilingual Capabilities in Large
Language Models [122.25217086389425]
大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。
LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。
以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
論文 参考訳(メタデータ) (2024-02-26T09:36:05Z) - Contextual Feature Extraction Hierarchies Converge in Large Language
Models and the Brain [12.92793034617015]
大規模言語モデル(LLM)がベンチマークタスクで高いパフォーマンスを達成するにつれ、より脳に近いものになることを示す。
また、モデルの性能と脳の類似性を改善する上で、文脈情報の重要性を示す。
論文 参考訳(メタデータ) (2024-01-31T08:48:35Z) - Causal Graph in Language Model Rediscovers Cortical Hierarchy in Human
Narrative Processing [0.0]
これまでの研究では、言語モデルの特徴がfMRI脳活動にマッピングできることが示されている。
これは、言語モデルにおける情報処理と人間の脳の間に共通点があるのだろうか?
言語モデルにおける情報フローパターンを推定するために,異なる層間の因果関係について検討した。
論文 参考訳(メタデータ) (2023-11-17T10:09:12Z) - Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [53.7168869241458]
現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。
しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。
より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか?
本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
論文 参考訳(メタデータ) (2023-10-20T03:33:36Z) - Self-supervised models of audio effectively explain human cortical
responses to speech [71.57870452667369]
我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。
これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
論文 参考訳(メタデータ) (2022-05-27T22:04:02Z) - Model-based analysis of brain activity reveals the hierarchy of language
in 305 subjects [82.81964713263483]
言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。
そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
論文 参考訳(メタデータ) (2021-10-12T15:30:21Z) - A Multi-Task Deep Learning Framework to Localize the Eloquent Cortex in
Brain Tumor Patients Using Dynamic Functional Connectivity [7.04584289867204]
脳腫瘍患者の大脳皮質の言語と運動領域を同時に局在させるために動的機能接続を用いた新しいディープラーニングフレームワークを提案する。
本モデルは,従来の深層学習手法よりも高い局所化精度を達成し,左半球側方化症例で訓練した場合でも,両言語領域を識別できる。
論文 参考訳(メタデータ) (2020-11-17T18:18:09Z) - Emergence of Separable Manifolds in Deep Language Representations [26.002842878797765]
ディープニューラルネットワーク(DNN)は、様々な認知的モダリティをまたいだ知覚的タスクの解決において、非常に経験的な成功を示している。
最近の研究では、タスク最適化DNNから抽出された表現と脳内の神経集団の間にかなりの類似性が報告されている。
DNNは後に、複雑な認知機能の基礎となる計算原理を推論する一般的なモデルクラスとなった。
論文 参考訳(メタデータ) (2020-06-01T17:23:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。