論文の概要: Long-range and hierarchical language predictions in brains and algorithms

• arxiv url: http://arxiv.org/abs/2111.14232v1
• Date: Sun, 28 Nov 2021 20:26:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 07:34:57.649604
• Title: Long-range and hierarchical language predictions in brains and algorithms
• Title（参考訳）: 脳とアルゴリズムにおける長距離・階層的言語予測
• Authors: Charlotte Caucheteux, Alexandre Gramfort, Jean-Remi King
• Abstract要約: 深層言語アルゴリズムは隣接した単語の予測に最適化されているが、人間の脳は長距離で階層的な予測を行うように調整されている。 本研究は、予測符号化理論を強化し、自然言語処理における長距離および階層的予測の重要な役割を示唆する。
• 参考スコア（独自算出の注目度）: 82.81964713263483
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has recently made remarkable progress in natural language processing. Yet, the resulting algorithms remain far from competing with the language abilities of the human brain. Predictive coding theory offers a potential explanation to this discrepancy: while deep language algorithms are optimized to predict adjacent words, the human brain would be tuned to make long-range and hierarchical predictions. To test this hypothesis, we analyze the fMRI brain signals of 304 subjects each listening to 70min of short stories. After confirming that the activations of deep language algorithms linearly map onto those of the brain, we show that enhancing these models with long-range forecast representations improves their brain-mapping. The results further reveal a hierarchy of predictions in the brain, whereby the fronto-parietal cortices forecast more abstract and more distant representations than the temporal cortices. Overall, this study strengthens predictive coding theory and suggests a critical role of long-range and hierarchical predictions in natural language processing.
• Abstract（参考訳）: ディープラーニングは最近、自然言語処理において著しい進歩を遂げている。 しかし、結果として得られるアルゴリズムは、人間の脳の言語能力と競合するほど遠くない。 深い言語アルゴリズムは隣接した単語を予測するために最適化されているが、人間の脳は長距離で階層的な予測を行うように調整される。 この仮説を検証するために、304人の被験者のfMRI脳信号を分析し、70分間の短い物語を聴く。 深層言語アルゴリズムの活性化が脳に線形にマッピングされることを確認した後、長距離予測表現によるこれらのモデルの向上が脳のマッピングを改善することを示す。 その結果、前頭葉皮質は側頭皮質よりも抽象的で遠方の表現を予測できる脳内の予測の階層が明らかになった。 本研究は、予測符号化理論を強化し、自然言語処理における長距離および階層的予測の重要な役割を示唆する。

関連論文リスト

• Language Reconstruction with Brain Predictive Coding from fMRI Data [28.217967547268216]
  予測符号化の理論は、人間の脳が将来的な単語表現を継続的に予測していることを示唆している。 textscPredFTは、BLEU-1スコアが最大27.8%$の最先端のデコード性能を実現する。
  論文  参考訳（メタデータ） (2024-05-19T16:06:02Z)
• Causal Graph in Language Model Rediscovers Cortical Hierarchy in Human Narrative Processing [0.0]
  これまでの研究では、言語モデルの特徴がfMRI脳活動にマッピングできることが示されている。 これは、言語モデルにおける情報処理と人間の脳の間に共通点があるのだろうか? 言語モデルにおける情報フローパターンを推定するために,異なる層間の因果関係について検討した。
  論文  参考訳（メタデータ） (2023-11-17T10:09:12Z)
• Why can neural language models solve next-word prediction? A mathematical perspective [53.807657273043446]
  本研究では,英語文の実例をモデル化するための形式言語群について検討する。 我々の証明は、ニューラルネットワークモデルにおける埋め込み層と完全に接続されたコンポーネントの異なる役割を強調します。
  論文  参考訳（メタデータ） (2023-06-20T10:41:23Z)
• Deep Learning Models to Study Sentence Comprehension in the Human Brain [0.1503974529275767]
  自然言語を処理する最近の人工ニューラルネットワークは、文レベルの理解を必要とするタスクにおいて、前例のないパフォーマンスを達成する。 我々は、これらの人工言語モデルと人間の脳活動を比較する研究をレビューし、このアプローチが自然言語理解に関わる神経プロセスの理解をいかに改善したかを評価する。
  論文  参考訳（メタデータ） (2023-01-16T10:31:25Z)
• Toward a realistic model of speech processing in the brain with self-supervised learning [67.7130239674153]
  生波形で訓練された自己教師型アルゴリズムは有望な候補である。 We show that Wav2Vec 2.0 learns brain-like representations with little as 600 hours of unlabelled speech。
  論文  参考訳（メタデータ） (2022-06-03T17:01:46Z)
• Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects [82.81964713263483]
  言語の神経基盤を分解する一般的なアプローチは、個人間で異なる刺激に対する脳の反応を関連付けている。 そこで本研究では,自然刺激に曝露された被験者に対して,モデルに基づくアプローチが等価な結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-12T15:30:21Z)
• Voxel-level Importance Maps for Interpretable Brain Age Estimation [70.5330922395729]
  本稿では,畳み込みニューラルネットワークを用いた3次元脳磁気共鳴(MR)画像からの脳年齢回帰の課題に着目した。 予測モデルの性能を損なうことなく、できるだけ多くのノイズを入力に追加することを目的としたノイズモデルを実装した。 本手法は,英国バイオバンクの13750個の脳MR画像を用いて検討し,既存の神経病理学文献と一致している。
  論文  参考訳（メタデータ） (2021-08-11T18:08:09Z)
• Does injecting linguistic structure into language models lead to better alignment with brain recordings? [13.880819301385854]
  言語モデルと脳記録との整合性は,構文的あるいは意味論的フォーマリズムからのアノテーションに偏りがある場合と評価する。 提案手法は,脳内の意味の組成について,より標的となる仮説の評価を可能にする。
  論文  参考訳（メタデータ） (2021-01-29T14:42:02Z)
• Towards a Neural Model for Serial Order in Frontal Cortex: a Brain Theory from Memory Development to Higher-Level Cognition [53.816853325427424]
  そこで本研究では,未熟な前頭前野 (PFC) が側頭葉信号の階層的パターンを検出する主要な機能を利用していることを提案する。 我々の仮説では、PFCは順序パターンの形で時間的配列の階層構造を検出し、それらを脳の異なる部分で階層的に情報をインデックスするために利用する。 これにより、抽象的な知識を操作し、時間的に順序付けられた情報を計画するための言語対応の脳にツールを提供する。
  論文  参考訳（メタデータ） (2020-05-22T14:29:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。