論文の概要: Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps

• arxiv url: http://arxiv.org/abs/2207.03380v1
• Date: Thu, 7 Jul 2022 15:37:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-08 12:53:52.521414
• Title: Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps
• Title（参考訳）: ニューラルネットワークモデルは脳データに適合しないが、トレーニングの助けになる
• Authors: Alexandre Pasquiou (PARIETAL, UNICOG-U992), Yair Lakretz (UNICOG-U992), John Hale, Bertrand Thirion (PARIETAL), Christophe Pallier (UNICOG-U992)
• Abstract要約: 音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
• 参考スコア（独自算出の注目度）: 75.84770193489639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Language Models (NLMs) have made tremendous advances during the last years, achieving impressive performance on various linguistic tasks. Capitalizing on this, studies in neuroscience have started to use NLMs to study neural activity in the human brain during language processing. However, many questions remain unanswered regarding which factors determine the ability of a neural language model to capture brain activity (aka its 'brain score'). Here, we make first steps in this direction and examine the impact of test loss, training corpus and model architecture (comparing GloVe, LSTM, GPT-2 and BERT), on the prediction of functional Magnetic Resonance Imaging timecourses of participants listening to an audiobook. We find that (1) untrained versions of each model already explain significant amount of signal in the brain by capturing similarity in brain responses across identical words, with the untrained LSTM outperforming the transformerbased models, being less impacted by the effect of context; (2) that training NLP models improves brain scores in the same brain regions irrespective of the model's architecture; (3) that Perplexity (test loss) is not a good predictor of brain score; (4) that training data have a strong influence on the outcome and, notably, that off-the-shelf models may lack statistical power to detect brain activations. Overall, we outline the impact of modeltraining choices, and suggest good practices for future studies aiming at explaining the human language system using neural language models.
• Abstract（参考訳）: ニューラル言語モデル(NLM)は、過去数年間で飛躍的な進歩を遂げ、様々な言語タスクにおいて素晴らしいパフォーマンスを発揮した。 これを利用して、神経科学の研究は、言語処理中の人間の脳内の神経活動の研究にNLMを使い始めた。 しかし、どの因子が脳活動(いわゆる「脳スコア」)を捕捉する神経言語モデルの能力を決定するかについて、多くの疑問が残る。 本稿では,この方向への第一歩を踏み出し,テスト損失,トレーニングコーパス,モデルアーキテクチャ(comparing glove,lstm,gpt-2,bert)が,オーディオブックを聴く参加者の機能的磁気共鳴イメージングの時間経過の予測に与える影響について検討する。 We find that (1) untrained versions of each model already explain significant amount of signal in the brain by capturing similarity in brain responses across identical words, with the untrained LSTM outperforming the transformerbased models, being less impacted by the effect of context; (2) that training NLP models improves brain scores in the same brain regions irrespective of the model's architecture; (3) that Perplexity (test loss) is not a good predictor of brain score; (4) that training data have a strong influence on the outcome and, notably, that off-the-shelf models may lack statistical power to detect brain activations. 全体として、モデル学習の選択の影響を概説し、ニューラル言語モデルを用いた人間の言語システムの説明を目的とした将来の研究のための良い実践を提案する。

関連論文リスト

• Brain-like Functional Organization within Large Language Models [58.93629121400745]
  人間の脳は長い間人工知能(AI)の追求にインスピレーションを与えてきた 最近のニューロイメージング研究は、人工ニューラルネットワーク(ANN)の計算的表現と、人間の脳の刺激に対する神経反応との整合性の説得力のある証拠を提供する。 本研究では、人工ニューロンのサブグループと機能的脳ネットワーク(FBN)を直接結合することで、このギャップを埋める。 このフレームワークはANサブグループをFBNにリンクし、大きな言語モデル(LLM)内で脳に似た機能的組織を記述できる。
  論文  参考訳（メタデータ） (2024-10-25T13:15:17Z)
• Large Language Model-based FMRI Encoding of Language Functions for Subjects with Neurocognitive Disorder [53.575426835313536]
  LLMを用いたfMRIエンコーディングと脳のスコアを用いた高齢者の言語関連機能変化について検討する。 脳のスコアと認知スコアの相関関係を脳全体のROIと言語関連ROIの両方で分析した。 以上の結果から,認知能力の向上は,中側頭回に有意な相関がみられた。
  論文  参考訳（メタデータ） (2024-07-15T01:09:08Z)
• Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
  大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。 本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-21T12:54:03Z)
• fMRI predictors based on language models of increasing complexity recover brain left lateralization [4.1618731507412505]
  脳の相関の左右差は、パラメータ数によるスケーリング則に従っていることを示す。 この発見は、大きな言語モデルを用いた脳活動の計算的解析と、言語に対する左半球優位を示す失語患者からの古典的な観察を照合する。
  論文  参考訳（メタデータ） (2024-05-28T09:24:52Z)
• BrainODE: Dynamic Brain Signal Analysis via Graph-Aided Neural Ordinary Differential Equations [67.79256149583108]
  本稿では,脳波を連続的にモデル化するBrainODEというモデルを提案する。 遅延初期値とニューラルODE関数を不規則な時系列から学習することにより、BrainODEは任意の時点の脳信号を効果的に再構築する。
  論文  参考訳（メタデータ） (2024-04-30T10:53:30Z)
• Navigating Brain Language Representations: A Comparative Analysis of Neural Language Models and Psychologically Plausible Models [29.50162863143141]
  様々なニューラルネットワークモデルと心理的に妥当なモデルの符号化性能を比較した。 意外なことに、心理学的に妥当なモデルが、さまざまな文脈でニューラルネットワークモデルより優れていることが判明した。
  論文  参考訳（メタデータ） (2024-04-30T08:48:07Z)
• Neural Erosion: Emulating Controlled Neurodegeneration and Aging in AI Systems [5.720259826430462]
  我々は、Large Language Models (LLMs) によるIQテストを使用して、神経浸食の概念を導入する。 この意図的な浸食は、シナプスやニューロンを非難すること、または訓練中または訓練後にガウスノイズを付加することを含み、LSMの性能は制御的に低下する。 私たちの知る限りでは、コンピュータビジョン領域で動作する他の研究と比べて、神経変性をテキストデータでモデル化する最初の研究である。
  論文  参考訳（メタデータ） (2024-03-15T18:00:00Z)
• Towards a Foundation Model for Brain Age Prediction using coVariance Neural Networks [102.75954614946258]
  時間的年齢に関する脳年齢の増加は、神経変性と認知低下に対する脆弱性の増加を反映している。 NeuroVNNは、時系列年齢を予測するために、健康な人口の回帰モデルとして事前訓練されている。 NeuroVNNは、脳の年齢に解剖学的解釈性を加え、任意の脳のアトラスに従って計算されたデータセットへの転移を可能にする「スケールフリー」特性を持つ。
  論文  参考訳（メタデータ） (2024-02-12T14:46:31Z)
• Coupling Artificial Neurons in BERT and Biological Neurons in the Human Brain [9.916033214833407]
  本研究は,トランスフォーマーに基づくNLPモデルと言語に対する神経活動をリンクする,新しい,汎用的で効果的なフレームワークを提案する。 実験の結果,(1)ANsとBNsの活性化は有意に同期し,(2)ANsは意味のある言語/意味情報を持ち,BNシグネチャにアンカーし,(3)アンカーされたBNは神経言語学的文脈で解釈可能であることがわかった。
  論文  参考訳（メタデータ） (2023-03-27T01:41:48Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。