論文の概要: Deep Learning Models to Study Sentence Comprehension in the Human Brain
- arxiv url: http://arxiv.org/abs/2301.06340v1
- Date: Mon, 16 Jan 2023 10:31:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-18 16:18:44.078388
- Title: Deep Learning Models to Study Sentence Comprehension in the Human Brain
- Title（参考訳）: 深層学習モデルによる人間の脳における文理解の研究
- Authors: Sophie Arana, Jacques Pesnot Lerousseau and Peter Hagoort
- Abstract要約: 自然言語を処理する最近の人工ニューラルネットワークは、文レベルの理解を必要とするタスクにおいて、前例のないパフォーマンスを達成する。
我々は、これらの人工言語モデルと人間の脳活動を比較する研究をレビューし、このアプローチが自然言語理解に関わる神経プロセスの理解をいかに改善したかを評価する。
- 参考スコア（独自算出の注目度）: 0.1503974529275767
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent artificial neural networks that process natural language achieve
unprecedented performance in tasks requiring sentence-level understanding. As
such, they could be interesting models of the integration of linguistic
information in the human brain. We review works that compare these artificial
language models with human brain activity and we assess the extent to which
this approach has improved our understanding of the neural processes involved
in natural language comprehension. Two main results emerge. First, the neural
representation of word meaning aligns with the context-dependent, dense word
vectors used by the artificial neural networks. Second, the processing
hierarchy that emerges within artificial neural networks broadly matches the
brain, but is surprisingly inconsistent across studies. We discuss current
challenges in establishing artificial neural networks as process models of
natural language comprehension. We suggest exploiting the highly structured
representational geometry of artificial neural networks when mapping
representations to brain data.
- Abstract（参考訳）: 自然言語を処理する最近の人工ニューラルネットワークは、文レベルの理解を必要とするタスクにおいて前例のないパフォーマンスを達成する。
そのため、人間の脳における言語情報の統合の興味深いモデルになり得る。
我々は、これらの人工言語モデルと人間の脳活動を比較する研究をレビューし、このアプローチが自然言語理解に関わる神経過程の理解をいかに改善したかを評価する。
主な結果は2つある。
まず、単語の意味のニューラル表現は、ニューラルネットワークが使用する文脈依存で密集した単語ベクトルと整合する。
第2に、人工ニューラルネットワーク内で現れる処理階層は、脳と広く一致しているが、研究全体で驚くほど矛盾している。
自然言語理解のプロセスモデルとして,ニューラルネットワークを確立する上での課題について論じる。
ニューラルネットワークの表現を脳データにマッピングする際に,高度に構造化された表現幾何学を利用する方法を提案する。
関連論文リスト
- Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - Automated Natural Language Explanation of Deep Visual Neurons with Large
Models [43.178568768100305]
本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。
我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
論文 参考訳（メタデータ） (2023-10-16T17:04:51Z) - Tuning In to Neural Encoding: Linking Human Brain and Artificial
Supervised Representations of Language [31.636016502455693]
我々は,プロンプトチューニングを用いた8つの自然言語理解(NLU)タスクの教師付き表現を生成する。
従来の微調整よりも、中国の刺激に対する神経反応をより正確に予測する表現が、プロンプトチューニングによって得られることを示す。
論文 参考訳（メタデータ） (2023-10-05T06:31:01Z) - Why can neural language models solve next-word prediction? A
mathematical perspective [53.807657273043446]
本研究では,英語文の実例をモデル化するための形式言語群について検討する。
我々の証明は、ニューラルネットワークモデルにおける埋め込み層と完全に接続されたコンポーネントの異なる役割を強調します。
論文 参考訳（メタデータ） (2023-06-20T10:41:23Z) - BrainBERT: Self-supervised representation learning for intracranial
recordings [18.52962864519609]
我々は、神経科学に現代的な表現学習アプローチをもたらす頭蓋内記録のための再利用可能な変換器BrainBERTを開発した。
NLPや音声認識と同様に、この変換器は複雑な概念を高い精度で、はるかに少ないデータで分類することができる。
将来的には、表現学習を使用することで、はるかに多くの概念がニューラル録音から切り離され、言語モデルがアンロックされた言語のように脳をアンロックする可能性がある。
論文 参考訳（メタデータ） (2023-02-28T07:40:37Z) - Interpretability of Neural Network With Physiological Mechanisms [5.1971653175509145]
ディープラーニングは、レグレッションと分類タスクの様々な領域で異常な精度を達成した強力な最先端技術として、引き続き機能している。
ニューラルネットワークモデルを最初に提案する目的は、数学的表現アプローチを使用して複雑な人間の脳を理解することを改善することである。
近年のディープラーニング技術は、ブラックボックス近似器として扱われることによって、機能的プロセスの解釈を失う傾向にある。
論文 参考訳（メタデータ） (2022-03-24T21:40:04Z) - Connecting Neural Response measurements & Computational Models of
language: a non-comprehensive guide [5.523143941738335]
言語モデリングとニューロイメージングにおける最近の進歩は、言語神経生物学の研究において潜在的な改善をもたらす可能性がある。
この調査は、単純な言語モデルから派生したイベント関連ポテンシャルと複雑性尺度をリンクする初期の研究から、大規模コーパスで訓練されたニューラルネットワークモデルを用いた現代研究まで、一線を辿っている。
論文 参考訳（メタデータ） (2022-03-10T11:24:54Z) - Emergence of Machine Language: Towards Symbolic Intelligence with Neural
Networks [73.94290462239061]
本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。
対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
論文 参考訳（メタデータ） (2022-01-14T14:54:58Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳（メタデータ） (2021-06-09T22:59:12Z) - Mechanisms for Handling Nested Dependencies in Neural-Network Language
Models and Humans [75.15855405318855]
我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。
ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。
我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
論文 参考訳（メタデータ） (2020-06-19T12:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。