論文の概要: Causal Graph in Language Model Rediscovers Cortical Hierarchy in Human Narrative Processing

• arxiv url: http://arxiv.org/abs/2311.10431v1
• Date: Fri, 17 Nov 2023 10:09:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-20 15:10:34.286457
• Title: Causal Graph in Language Model Rediscovers Cortical Hierarchy in Human Narrative Processing
• Title（参考訳）: 言語モデルにおける因果グラフ : 物語処理における皮質階層の再発見
• Authors: Zhengqi He, Taro Toyoizumi
• Abstract要約: これまでの研究では、言語モデルの特徴がfMRI脳活動にマッピングできることが示されている。 これは、言語モデルにおける情報処理と人間の脳の間に共通点があるのだろうか? 言語モデルにおける情報フローパターンを推定するために,異なる層間の因果関係について検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how humans process natural language has long been a vital research direction. The field of natural language processing (NLP) has recently experienced a surge in the development of powerful language models. These models have proven to be invaluable tools for studying another complex system known to process human language: the brain. Previous studies have demonstrated that the features of language models can be mapped to fMRI brain activity. This raises the question: is there a commonality between information processing in language models and the human brain? To estimate information flow patterns in a language model, we examined the causal relationships between different layers. Drawing inspiration from the workspace framework for consciousness, we hypothesized that features integrating more information would more accurately predict higher hierarchical brain activity. To validate this hypothesis, we classified language model features into two categories based on causal network measures: 'low in-degree' and 'high in-degree'. We subsequently compared the brain prediction accuracy maps for these two groups. Our results reveal that the difference in prediction accuracy follows a hierarchical pattern, consistent with the cortical hierarchy map revealed by activity time constants. This finding suggests a parallel between how language models and the human brain process linguistic information.
• Abstract（参考訳）: 人間がどのように自然言語を処理するかを理解することは、長い間重要な研究の方向性だった。 自然言語処理(NLP)の分野は、最近、強力な言語モデルの開発が急増している。 これらのモデルは、人間の言語を処理する他の複雑なシステム、すなわち脳を研究するための貴重なツールであることが証明されている。 これまでの研究では、言語モデルの特徴がfMRI脳活動にマッピングできることが示されている。 これは、言語モデルにおける情報処理と人間の脳の間に共通点があるのだろうか? 言語モデルにおける情報フローパターンを推定するために,異なる層間の因果関係について検討した。 意識のためのワークスペースフレームワークからインスピレーションを得て、より多くの情報を統合することで、より高い階層的脳活動をより正確に予測できると仮定した。 この仮説を検証するため,言語モデルの特徴を「低次」と「高次」の2つのカテゴリーに分類した。 この2つのグループについて,脳予測精度マップを比較した。 その結果,予測精度の差は,活動時間定数で示される皮質階層マップと一致した階層パターンに従うことがわかった。 この発見は、言語モデルと人間の脳が言語情報を処理する方法の類似性を示唆している。

関連論文リスト

• Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
  大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。 本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
  論文  参考訳（メタデータ） (2024-06-21T12:54:03Z)
• Navigating Brain Language Representations: A Comparative Analysis of Neural Language Models and Psychologically Plausible Models [29.50162863143141]
  様々なニューラルネットワークモデルと心理的に妥当なモデルの符号化性能を比較した。 意外なことに、心理学的に妥当なモデルが、さまざまな文脈でニューラルネットワークモデルより優れていることが判明した。
  論文  参考訳（メタデータ） (2024-04-30T08:48:07Z)
• Meta predictive learning model of languages in neural circuits [2.5690340428649328]
  本稿では,予測符号化フレームワークにおける平均場学習モデルを提案する。 我々のモデルでは、ほとんどの接続は学習後に決定論的になる。 本モデルは,脳計算,次点予測,一般知能の関連性を調べるための出発点となる。
  論文  参考訳（メタデータ） (2023-09-08T03:58:05Z)
• Why can neural language models solve next-word prediction? A mathematical perspective [53.807657273043446]
  本研究では,英語文の実例をモデル化するための形式言語群について検討する。 我々の証明は、ニューラルネットワークモデルにおける埋め込み層と完全に接続されたコンポーネントの異なる役割を強調します。
  論文  参考訳（メタデータ） (2023-06-20T10:41:23Z)
• Joint processing of linguistic properties in brains and language models [14.997785690790032]
  人間の脳と言語モデルによる言語情報の詳細な処理の対応について検討する。 特定の言語特性の除去は脳のアライメントを著しく低下させる。 これらの知見は、脳と言語モデルとの整合における特定の言語情報の役割の明確な証拠である。
  論文  参考訳（メタデータ） (2022-12-15T19:13:42Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Long-range and hierarchical language predictions in brains and algorithms [82.81964713263483]
  深層言語アルゴリズムは隣接した単語の予測に最適化されているが、人間の脳は長距離で階層的な予測を行うように調整されている。 本研究は、予測符号化理論を強化し、自然言語処理における長距離および階層的予測の重要な役割を示唆する。
  論文  参考訳（メタデータ） (2021-11-28T20:26:07Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• Does injecting linguistic structure into language models lead to better alignment with brain recordings? [13.880819301385854]
  言語モデルと脳記録との整合性は,構文的あるいは意味論的フォーマリズムからのアノテーションに偏りがある場合と評価する。 提案手法は,脳内の意味の組成について,より標的となる仮説の評価を可能にする。
  論文  参考訳（メタデータ） (2021-01-29T14:42:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。