論文の概要: Navigating Brain Language Representations: A Comparative Analysis of Neural Language Models and Psychologically Plausible Models

• arxiv url: http://arxiv.org/abs/2404.19364v1
• Date: Tue, 30 Apr 2024 08:48:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 14:54:33.946499
• Title: Navigating Brain Language Representations: A Comparative Analysis of Neural Language Models and Psychologically Plausible Models
• Title（参考訳）: 脳言語表現をナビゲートする:神経言語モデルと心理的に可塑性なモデルの比較分析
• Authors: Yunhao Zhang, Shaonan Wang, Xinyi Dong, Jiajun Yu, Chengqing Zong,
• Abstract要約: 様々なニューラルネットワークモデルと心理的に妥当なモデルの符号化性能を比較した。 意外なことに、心理学的に妥当なモデルが、さまざまな文脈でニューラルネットワークモデルより優れていることが判明した。
• 参考スコア（独自算出の注目度）: 29.50162863143141
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural language models, particularly large-scale ones, have been consistently proven to be most effective in predicting brain neural activity across a range of studies. However, previous research overlooked the comparison of these models with psychologically plausible ones. Moreover, evaluations were reliant on limited, single-modality, and English cognitive datasets. To address these questions, we conducted an analysis comparing encoding performance of various neural language models and psychologically plausible models. Our study utilized extensive multi-modal cognitive datasets, examining bilingual word and discourse levels. Surprisingly, our findings revealed that psychologically plausible models outperformed neural language models across diverse contexts, encompassing different modalities such as fMRI and eye-tracking, and spanning languages from English to Chinese. Among psychologically plausible models, the one incorporating embodied information emerged as particularly exceptional. This model demonstrated superior performance at both word and discourse levels, exhibiting robust prediction of brain activation across numerous regions in both English and Chinese.
• Abstract（参考訳）: ニューラルネットワークモデル、特に大規模モデルは、さまざまな研究で脳の神経活動を予測するのに最も効果的であることが一貫して証明されている。 しかし、以前の研究では、これらのモデルと心理的に妥当なモデルの比較を見落としていた。 さらに、評価は限定的、単一モダリティ、および英語の認知データセットに依存していた。 これらの問題に対処するために、様々なニューラルネットワークモデルと心理的に妥当なモデルの符号化性能の比較分析を行った。 本研究は、バイリンガル語と談話レベルを調べるために、広範囲な多モーダル認知データセットを用いた。 意外なことに、心理学的に妥当なモデルでは、fMRIや視線追跡、言語を英語から中国語に広げるなど、さまざまな文脈でニューラルネットワークモデルよりも優れていたことが判明した。 心理的にもっともらしいモデルの中で、具体化された情報を取り入れたモデルが特に例外として現れた。 このモデルでは,言語レベルと言論レベルの両方において優れた性能を示し,英語と中国語の両領域において脳活動の堅牢な予測を示した。

関連論文リスト

• Large Language Models as Neurolinguistic Subjects: Identifying Internal Representations for Form and Meaning [49.60849499134362]
  本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。 伝統的な精神言語学的評価は、しばしばLSMの真の言語能力を誤って表現する統計バイアスを反映している。 ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-12T04:16:44Z)
• Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
  大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。 本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-21T12:54:03Z)
• MulCogBench: A Multi-modal Cognitive Benchmark Dataset for Evaluating Chinese and English Computational Language Models [44.74364661212373]
  本稿では、中国語と英語のネイティブ参加者から収集した認知ベンチマークであるMulCogBenchを提案する。 主観的意味評価、視線追跡、機能的磁気共鳴画像(fMRI)、脳磁図(MEG)など、さまざまな認知データを含んでいる。 その結果、言語モデルは人間の認知データと大きな類似性を共有しており、類似性パターンはデータモダリティと刺激の複雑さによって変調されることがわかった。
  論文  参考訳（メタデータ） (2024-03-02T07:49:57Z)
• Causal Graph in Language Model Rediscovers Cortical Hierarchy in Human Narrative Processing [0.0]
  これまでの研究では、言語モデルの特徴がfMRI脳活動にマッピングできることが示されている。 これは、言語モデルにおける情報処理と人間の脳の間に共通点があるのだろうか? 言語モデルにおける情報フローパターンを推定するために,異なる層間の因果関係について検討した。
  論文  参考訳（メタデータ） (2023-11-17T10:09:12Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Same Neurons, Different Languages: Probing Morphosyntax in Multilingual Pre-trained Models [84.86942006830772]
  多言語事前学習モデルは文法に関する言語・ユニバーサルの抽象化を導出できると推測する。 43の言語と14のモルフォシンタクティックなカテゴリーで、最先端のニューロンレベルのプローブを用いて、初めて大規模な実験を行った。
  論文  参考訳（メタデータ） (2022-05-04T12:22:31Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Connecting Neural Response measurements & Computational Models of language: a non-comprehensive guide [5.523143941738335]
  言語モデリングとニューロイメージングにおける最近の進歩は、言語神経生物学の研究において潜在的な改善をもたらす可能性がある。 この調査は、単純な言語モデルから派生したイベント関連ポテンシャルと複雑性尺度をリンクする初期の研究から、大規模コーパスで訓練されたニューラルネットワークモデルを用いた現代研究まで、一線を辿っている。
  論文  参考訳（メタデータ） (2022-03-10T11:24:54Z)
• Perception Point: Identifying Critical Learning Periods in Speech for Bilingual Networks [58.24134321728942]
  ディープニューラルベース視覚唇読解モデルにおける認知的側面を比較し,識別する。 我々は、認知心理学におけるこれらの理論と独自のモデリングの間に強い相関関係を観察する。
  論文  参考訳（メタデータ） (2021-10-13T05:30:50Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。