論文の概要: Neural Language Models are not Born Equal to Fit Brain Data, but
Training Helps
- arxiv url: http://arxiv.org/abs/2207.03380v1
- Date: Thu, 7 Jul 2022 15:37:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-08 12:53:52.521414
- Title: Neural Language Models are not Born Equal to Fit Brain Data, but
Training Helps
- Title(参考訳): ニューラルネットワークモデルは脳データに適合しないが、トレーニングの助けになる
- Authors: Alexandre Pasquiou (PARIETAL, UNICOG-U992), Yair Lakretz
(UNICOG-U992), John Hale, Bertrand Thirion (PARIETAL), Christophe Pallier
(UNICOG-U992)
- Abstract要約: 音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。
各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。
ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
- 参考スコア(独自算出の注目度): 75.84770193489639
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Language Models (NLMs) have made tremendous advances during the last
years, achieving impressive performance on various linguistic tasks.
Capitalizing on this, studies in neuroscience have started to use NLMs to study
neural activity in the human brain during language processing. However, many
questions remain unanswered regarding which factors determine the ability of a
neural language model to capture brain activity (aka its 'brain score'). Here,
we make first steps in this direction and examine the impact of test loss,
training corpus and model architecture (comparing GloVe, LSTM, GPT-2 and BERT),
on the prediction of functional Magnetic Resonance Imaging timecourses of
participants listening to an audiobook. We find that (1) untrained versions of
each model already explain significant amount of signal in the brain by
capturing similarity in brain responses across identical words, with the
untrained LSTM outperforming the transformerbased models, being less impacted
by the effect of context; (2) that training NLP models improves brain scores in
the same brain regions irrespective of the model's architecture; (3) that
Perplexity (test loss) is not a good predictor of brain score; (4) that
training data have a strong influence on the outcome and, notably, that
off-the-shelf models may lack statistical power to detect brain activations.
Overall, we outline the impact of modeltraining choices, and suggest good
practices for future studies aiming at explaining the human language system
using neural language models.
- Abstract(参考訳): ニューラル言語モデル(NLM)は、過去数年間で飛躍的な進歩を遂げ、様々な言語タスクにおいて素晴らしいパフォーマンスを発揮した。
これを利用して、神経科学の研究は、言語処理中の人間の脳内の神経活動の研究にNLMを使い始めた。
しかし、どの因子が脳活動(いわゆる「脳スコア」)を捕捉する神経言語モデルの能力を決定するかについて、多くの疑問が残る。
本稿では,この方向への第一歩を踏み出し,テスト損失,トレーニングコーパス,モデルアーキテクチャ(comparing glove,lstm,gpt-2,bert)が,オーディオブックを聴く参加者の機能的磁気共鳴イメージングの時間経過の予測に与える影響について検討する。
We find that (1) untrained versions of each model already explain significant amount of signal in the brain by capturing similarity in brain responses across identical words, with the untrained LSTM outperforming the transformerbased models, being less impacted by the effect of context; (2) that training NLP models improves brain scores in the same brain regions irrespective of the model's architecture; (3) that Perplexity (test loss) is not a good predictor of brain score; (4) that training data have a strong influence on the outcome and, notably, that off-the-shelf models may lack statistical power to detect brain activations.
全体として、モデル学習の選択の影響を概説し、ニューラル言語モデルを用いた人間の言語システムの説明を目的とした将来の研究のための良い実践を提案する。
関連論文リスト
- Towards a Foundation Model for Brain Age Prediction using coVariance
Neural Networks [102.75954614946258]
時間的年齢に関する脳年齢の増加は、神経変性と認知低下に対する脆弱性の増加を反映している。
NeuroVNNは、時系列年齢を予測するために、健康な人口の回帰モデルとして事前訓練されている。
NeuroVNNは、脳の年齢に解剖学的解釈性を加え、任意の脳のアトラスに従って計算されたデータセットへの転移を可能にする「スケールフリー」特性を持つ。
論文 参考訳(メタデータ) (2024-02-12T14:46:31Z) - Neuroformer: Multimodal and Multitask Generative Pretraining for Brain
Data [3.712362524473752]
最先端のシステム神経科学実験は大規模なマルチモーダルデータを生み出し、これらのデータセットは分析のための新しいツールを必要とする。
視覚領域と言語領域における大きな事前学習モデルの成功に触発されて、我々は大規模な細胞分解性神経スパイクデータの解析を自己回帰生成問題に再構成した。
我々はまず、シミュレーションデータセットでNeuroformerを訓練し、本質的なシミュレートされた神経回路の動作を正確に予測し、方向を含む基盤となる神経回路の接続性を推定した。
論文 参考訳(メタデータ) (2023-10-31T20:17:32Z) - Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism
of Language Models [49.39276272693035]
大規模事前学習型言語モデルは、顕著な記憶能力を示している。
プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。
1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
論文 参考訳(メタデータ) (2023-05-16T03:50:38Z) - BrainNPT: Pre-training of Transformer networks for brain network
classification [3.8906116457135966]
我々は脳機能ネットワーク分類のためのトランスフォーマーベースニューラルネットワークであるBrainNPTを提案した。
我々は、ラベルのない脳ネットワークデータを活用するために、BrainNPTモデルのための事前学習フレームワークを提案した。
分類実験の結果, 事前学習を伴わないBrainNPTモデルが最も優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-02T13:01:59Z) - Coupling Artificial Neurons in BERT and Biological Neurons in the Human
Brain [9.916033214833407]
本研究は,トランスフォーマーに基づくNLPモデルと言語に対する神経活動をリンクする,新しい,汎用的で効果的なフレームワークを提案する。
実験の結果,(1)ANsとBNsの活性化は有意に同期し,(2)ANsは意味のある言語/意味情報を持ち,BNシグネチャにアンカーし,(3)アンカーされたBNは神経言語学的文脈で解釈可能であることがわかった。
論文 参考訳(メタデータ) (2023-03-27T01:41:48Z) - Cross-Model Comparative Loss for Enhancing Neuronal Utility in Language
Understanding [82.46024259137823]
幅広いタスクに対するクロスモデル比較損失を提案する。
3つの異なるNLUタスクから14のデータセットに対する広範な実験により比較損失の普遍的有効性を示す。
論文 参考訳(メタデータ) (2023-01-10T03:04:27Z) - Model-based analysis of brain activity reveals the hierarchy of language
in 305 subjects [82.81964713263483]
言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。
そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
論文 参考訳(メタデータ) (2021-10-12T15:30:21Z) - Does injecting linguistic structure into language models lead to better
alignment with brain recordings? [13.880819301385854]
言語モデルと脳記録との整合性は,構文的あるいは意味論的フォーマリズムからのアノテーションに偏りがある場合と評価する。
提案手法は,脳内の意味の組成について,より標的となる仮説の評価を可能にする。
論文 参考訳(メタデータ) (2021-01-29T14:42:02Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳(メタデータ) (2020-12-07T01:20:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。