論文の概要: A Language Model with Limited Memory Capacity Captures Interference in Human Sentence Processing

• arxiv url: http://arxiv.org/abs/2310.16142v1
• Date: Tue, 24 Oct 2023 19:33:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 18:17:30.561825
• Title: A Language Model with Limited Memory Capacity Captures Interference in Human Sentence Processing
• Title（参考訳）: 限定記憶能力を持つ言語モデルによる人間の文処理における干渉
• Authors: William Timkey, Tal Linzen
• Abstract要約: 我々は1つの自己注意頭を持つ反復型ニューラル言語モデルを開発する。 我々は,人間の実験で観察された意味的・統語的干渉効果を,モデルの単一注意頭部が捉えていることを示す。
• 参考スコア（独自算出の注目度）: 25.916625483405802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Two of the central factors believed to underpin human sentence processing difficulty are expectations and retrieval from working memory. A recent attempt to create a unified cognitive model integrating these two factors relied on the parallels between the self-attention mechanism of transformer language models and cue-based retrieval theories of working memory in human sentence processing (Ryu and Lewis 2021). While Ryu and Lewis show that attention patterns in specialized attention heads of GPT-2 are consistent with similarity-based interference, a key prediction of cue-based retrieval models, their method requires identifying syntactically specialized attention heads, and makes the cognitively implausible assumption that hundreds of memory retrieval operations take place in parallel. In the present work, we develop a recurrent neural language model with a single self-attention head, which more closely parallels the memory system assumed by cognitive theories. We show that our model's single attention head captures semantic and syntactic interference effects observed in human experiments.
• Abstract（参考訳）: 人間の文処理の難易度を左右する2つの要因は、作業記憶からの期待と検索である。 最近の統合認知モデル作成の試みは、トランスフォーマー言語モデルの自己愛機構と、人間の文処理における作業記憶のcueに基づく検索理論(ryuとlewis 2021)との並列性に依拠している。 ryuとlewisは、gpt-2の特殊注意ヘッドの注意パターンが類似性に基づく干渉、すなわちcueに基づく検索モデルの鍵となる予測と一致していることを示したが、それらの方法は構文的に特殊な注意ヘッドを識別することを必要とし、数百のメモリ検索操作が並行して行われるという認知的に予測不能な仮定を与える。 本研究は,認知理論によって仮定される記憶系とより密接に類似した,単一の自己注意頭部を持つ反復型ニューラルネットワークモデルを開発する。 本モデルでは,人間の実験で観察された意味的および構文的干渉効果を捉える。

関連論文リスト

• Linking In-context Learning in Transformers to Human Episodic Memory [1.124958340749622]
  本稿では,Transformer を用いた大規模言語モデルのコンテキスト内学習に寄与する誘導ヘッドに着目した。 本研究では,インダクションヘッドの動作,機能,機械的特性が,ヒトのエピソード記憶の文脈的保守と検索モデルに類似していることを示す。
  論文  参考訳（メタデータ） (2024-05-23T18:51:47Z)
• Memory, Space, and Planning: Multiscale Predictive Representations [5.572701755354684]
  生物学的および人工エージェントの柔軟な行動は、過去からの学習の相互作用と、常に変化する環境における未来を予測することに依存する。 この章は、これらのプロセスが認知地図として知られる経験の構造を学ぶことに依存することを示す計算的、行動的、神経的な証拠をレビューする。
  論文  参考訳（メタデータ） (2024-01-16T21:46:43Z)
• Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism of Language Models [49.39276272693035]
  大規模事前学習型言語モデルは、顕著な記憶能力を示している。 プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。 1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-16T03:50:38Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)
• Perception Point: Identifying Critical Learning Periods in Speech for Bilingual Networks [58.24134321728942]
  ディープニューラルベース視覚唇読解モデルにおける認知的側面を比較し,識別する。 我々は、認知心理学におけるこれらの理論と独自のモデリングの間に強い相関関係を観察する。
  論文  参考訳（メタデータ） (2021-10-13T05:30:50Z)
• From internal models toward metacognitive AI [0.0]
  前頭前皮質では、「認知現実監視ネットワーク」と呼ばれる分散型エグゼクティブネットワークが、生成的逆モデルペアの意識的な関与を編成する。 高い責任信号は、外界を最も捉えているペアに与えられる。 意識はすべての対における責任信号のエントロピーによって決定される。
  論文  参考訳（メタデータ） (2021-09-27T05:00:56Z)
• CogAlign: Learning to Align Textual Neural Representations to Cognitive Language Processing Signals [60.921888445317705]
  自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。 我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T07:10:25Z)
• Accounting for Agreement Phenomena in Sentence Comprehension with Transformer Language Models: Effects of Similarity-based Interference on Surprisal and Attention [4.103438743479001]
  主語動詞と反射代名詞一致処理における類似性に基づく干渉効果の説明を進めます。 動詞または反射代名詞の超越性は、非文法文における促進的干渉効果を予測する。
  論文  参考訳（メタデータ） (2021-04-26T20:46:54Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• A Meta-Bayesian Model of Intentional Visual Search [0.0]
  本稿では,分類的知覚とササード計画の根底にある神経機構のベイズ的解釈を取り入れたビジュアルサーチの計算モデルを提案する。 擬似行動と人的行動の有意義な比較を可能にするため、参加者は視線に追従する窓から隠蔽されたMNIST桁を分類する必要がある。 本モデルは,観察された人間の行動から主観的パラメータを回収し,高い解釈可能性を維持しながら,分類精度などの人間の行動指標を再カプセル化することができる。
  論文  参考訳（メタデータ） (2020-06-05T16:10:35Z)
• Towards a Neural Model for Serial Order in Frontal Cortex: a Brain Theory from Memory Development to Higher-Level Cognition [53.816853325427424]
  そこで本研究では,未熟な前頭前野 (PFC) が側頭葉信号の階層的パターンを検出する主要な機能を利用していることを提案する。 我々の仮説では、PFCは順序パターンの形で時間的配列の階層構造を検出し、それらを脳の異なる部分で階層的に情報をインデックスするために利用する。 これにより、抽象的な知識を操作し、時間的に順序付けられた情報を計画するための言語対応の脳にツールを提供する。
  論文  参考訳（メタデータ） (2020-05-22T14:29:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。