論文の概要: Sentences as connection paths: A neural language architecture of
sentence structure in the brain
- arxiv url: http://arxiv.org/abs/2206.01725v1
- Date: Thu, 19 May 2022 13:58:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-12 23:05:08.850293
- Title: Sentences as connection paths: A neural language architecture of
sentence structure in the brain
- Title（参考訳）: 接続経路としての文:脳における文構造のニューラル言語構造
- Authors: Frank van der Velde
- Abstract要約: 論文は、脳内の文構造に関するニューラル言語アーキテクチャを提示する。
言葉は「in-situ」のままであり、常に内容に順応できる。
任意文と新規文(新語)は、単語や文の「神経黒板」で作成することができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This article presents a neural language architecture of sentence structure in
the brain, in which sentences are temporal connection paths that interconnect
neural structures underlying their words. Words remain 'in-situ', hence they
are always content-addressable. Arbitrary and novel sentences (with novel
words) can be created with 'neural blackboards' for words and sentences. Hence,
the unlimited productivity of natural language can be achieved with a 'fixed'
small world like network structure. The article focuses on the neural
blackboard for sentences. The architecture uses only one 'connection matrix'
for binding all structural relations between words in sentences. Its ability to
represent arbitrary (English) sentences is discussed in detail, based on a
comprehensive analysis of them. The architecture simulates intra-cranial brain
activity observed during sentence processing and fMRI observations related to
sentence complexity and ambiguity. The simulations indicate that the observed
effects relate to global control over the architecture, not to the sentence
structures involved, which predicts higher activity differences related to
complexity and ambiguity with higher comprehension capacity. Other aspects
discussed are the 'intrinsic' sentence structures provided by connection paths
and their relation to scope and inflection, the use of a dependency parser for
control of binding, long-distance dependencies and gaps, question answering,
ambiguity resolution based on backward processing without explicit
backtracking, garden paths, and performance difficulties related to embeddings.
- Abstract（参考訳）: 本稿では,脳における文構造のニューラル言語構造について述べる。文は,単語の基盤となる神経構造を相互に接続する時間的接続経路である。
言葉は「in-situ」のままであり、常に内容に順応できる。
任意文と新規文(新語)は、単語や文の「神経黒板」で作成することができる。
したがって、自然言語の無限の生産性は、ネットワーク構造のような「固定された」小さな世界によって達成できる。
記事は文のニューラルブラックボードに焦点を当てている。
このアーキテクチャは、文中の単語間のすべての構造的関係を結び付けるために、1つの「接続行列」のみを使用する。
任意の(英語)文を表現する能力は、それらの包括的分析に基づいて詳細に議論される。
このアーキテクチャは、文処理中に観察される頭蓋内脳活動と、文の複雑さと曖昧さに関連するfMRI観察をシミュレートする。
シミュレーションの結果, 観察された効果は, 関係する文構造ではなく, アーキテクチャのグローバルな制御に関係していることが示唆された。
その他の側面として、接続経路によって提供される「本質的な」文構造とスコープと屈折の関係、結合の制御のための依存性パーサの使用、長距離依存関係とギャップ、質問応答、明示的なバックトラックなしの後方処理に基づくあいまいさの解決、庭の小道、埋め込みに関連するパフォーマンス上の困難がある。
関連論文リスト
- Measuring Meaning Composition in the Human Brain with Composition Scores from Large Language Models [53.840982361119565]
コンポジションスコアは、文理解中に意味合成の度合いを定量化するために設計された、新しいモデルに基づく計量である。
実験結果から, 単語の頻度, 構造処理, 単語に対する一般感性に関連する脳クラスタとの関連が示唆された。
論文 参考訳（メタデータ） (2024-03-07T08:44:42Z) - Anaphoric Structure Emerges Between Neural Networks [3.0518581575184225]
プラグマティクスは自然言語の中核であり、話者はエリプシスやアナフォラのような構造と効率的にコミュニケーションできる。
あいまいさを導入する可能性があるにもかかわらず、アナフォラは人間の言語に普遍的である。
アナフォリック構造を持つ言語はニューラルネットワークによって学習可能であることを示す。
論文 参考訳（メタデータ） (2023-08-15T18:34:26Z) - Information-Restricted Neural Language Models Reveal Different Brain
Regions' Sensitivity to Semantics, Syntax and Context [87.31930367845125]
テキストコーパスを用いて語彙言語モデルGloveと超語彙言語モデルGPT-2を訓練した。
そして、これらの情報制限されたモデルが、自然主義的テキストを聴く人間のfMRI信号の時間軸を予測することができるかを評価した。
分析の結果、言語に関わるほとんどの脳領域は、構文変数と意味変数の両方に敏感であるが、これらの影響の相対的な大きさは、これらの領域で大きく異なることがわかった。
論文 参考訳（メタデータ） (2023-02-28T08:16:18Z) - Center-Embedding and Constituency in the Brain and a New
Characterization of Context-Free Languages [2.8932261919131017]
本研究は,神経細胞とシナプスによって,その領域と文の処理が実現可能であることを示す。
驚いたことに、センタ埋め込みポイントの実装方法は、文脈自由言語の新たな特徴である。
論文 参考訳（メタデータ） (2022-06-27T12:11:03Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳（メタデータ） (2021-06-09T22:59:12Z) - Compositional Processing Emerges in Neural Networks Solving Math
Problems [100.80518350845668]
人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。
我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。
私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
論文 参考訳（メタデータ） (2021-05-19T07:24:42Z) - Seeing Both the Forest and the Trees: Multi-head Attention for Joint
Classification on Different Compositional Levels [15.453888735879525]
自然言語では、単語は関連して文を構成するために使用される。
より低い言語的コンポーネントと高い言語的コンポーネントを明確に結び付けるディープニューラルネットワークアーキテクチャを設計する。
我々のモデルであるMHALは、異なるレベルの粒度でそれらを同時に解くことを学習していることを示す。
論文 参考訳（メタデータ） (2020-11-01T10:44:46Z) - Compositional Explanations of Neurons [52.71742655312625]
本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。
本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
論文 参考訳（メタデータ） (2020-06-24T20:37:05Z) - A Deep Neural Framework for Contextual Affect Detection [51.378225388679425]
感情を持たない短い単純なテキストは、その文脈と共に読むときに強い感情を表現することができる。
文中の単語の相互依存を学習する文脈影響検出フレームワークを提案する。
論文 参考訳（メタデータ） (2020-01-28T05:03:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。