論文の概要: A Language Model with Limited Memory Capacity Captures Interference in Human Sentence Processing

• arxiv url: http://arxiv.org/abs/2310.16142v1
• Date: Tue, 24 Oct 2023 19:33:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 18:17:30.561825
• Title: A Language Model with Limited Memory Capacity Captures Interference in Human Sentence Processing
• Title（参考訳）: 限定記憶能力を持つ言語モデルによる人間の文処理における干渉
• Authors: William Timkey, Tal Linzen
• Abstract要約: 我々は1つの自己注意頭を持つ反復型ニューラル言語モデルを開発する。 我々は,人間の実験で観察された意味的・統語的干渉効果を,モデルの単一注意頭部が捉えていることを示す。
• 参考スコア（独自算出の注目度）: 25.916625483405802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Two of the central factors believed to underpin human sentence processing difficulty are expectations and retrieval from working memory. A recent attempt to create a unified cognitive model integrating these two factors relied on the parallels between the self-attention mechanism of transformer language models and cue-based retrieval theories of working memory in human sentence processing (Ryu and Lewis 2021). While Ryu and Lewis show that attention patterns in specialized attention heads of GPT-2 are consistent with similarity-based interference, a key prediction of cue-based retrieval models, their method requires identifying syntactically specialized attention heads, and makes the cognitively implausible assumption that hundreds of memory retrieval operations take place in parallel. In the present work, we develop a recurrent neural language model with a single self-attention head, which more closely parallels the memory system assumed by cognitive theories. We show that our model's single attention head captures semantic and syntactic interference effects observed in human experiments.
• Abstract（参考訳）: 人間の文処理の難易度を左右する2つの要因は、作業記憶からの期待と検索である。 最近の統合認知モデル作成の試みは、トランスフォーマー言語モデルの自己愛機構と、人間の文処理における作業記憶のcueに基づく検索理論(ryuとlewis 2021)との並列性に依拠している。 ryuとlewisは、gpt-2の特殊注意ヘッドの注意パターンが類似性に基づく干渉、すなわちcueに基づく検索モデルの鍵となる予測と一致していることを示したが、それらの方法は構文的に特殊な注意ヘッドを識別することを必要とし、数百のメモリ検索操作が並行して行われるという認知的に予測不能な仮定を与える。 本研究は,認知理論によって仮定される記憶系とより密接に類似した,単一の自己注意頭部を持つ反復型ニューラルネットワークモデルを開発する。 本モデルでは,人間の実験で観察された意味的および構文的干渉効果を捉える。

関連論文リスト

• Where Am I and What Will I See: An Auto-Regressive Model for Spatial Localization and View Prediction [60.964512894143475]
  本稿では,空間的局所化とビュー予測を共同で扱う新しい自動回帰フレームワークである生成空間変換器(GST)を提案する。 本モデルでは,カメラのポーズを1つの画像から同時に推定し,新しいカメラのポーズから視点を予測し,空間認識と視覚予測のギャップを効果的に埋める。
  論文  参考訳（メタデータ） (2024-10-24T17:58:05Z)
• CauSkelNet: Causal Representation Learning for Human Behaviour Analysis [6.880536510094897]
  本研究では,人間の関節動態や複雑な動作をよりよく理解するために,因果推論に基づく表現学習手法を提案する。 我々のアプローチは、人間の動作分析を前進させ、より適応的なインテリジェントヘルスケアソリューションの道を開く。
  論文  参考訳（メタデータ） (2024-09-23T21:38:49Z)
• Brain-Cognition Fingerprinting via Graph-GCCA with Contrastive Learning [28.681229869236393]
  縦断的神経画像研究は、脳機能と認知の間の動的相互作用を研究することによって、脳の老化と疾患の理解を改善することを目的としている。 本稿では,グラフ注意ネットワークと一般化相関解析を用いた教師なし学習モデルを提案する。 個々の人の独特の神経・認知表現型を反映した脳認知指紋を作成するために、モデルは個別化およびマルチモーダル・コントラスト学習にも依存する。
  論文  参考訳（メタデータ） (2024-09-20T20:36:20Z)
• A Joint Spectro-Temporal Relational Thinking Based Acoustic Modeling Framework [10.354955365036181]
  リレーショナル思考は人間の音声理解において重要な役割を担っているが、人工音声認識システムではまだ活用されていない。 本稿では,スペクトル時間的関係思考に基づく音響モデリングフレームワークを提案する。 このフレームワーク上に構築されたモデルは、TIMITデータセットよりも7.82%の音素認識タスクを改善した最先端システムを上回っている。
  論文  参考訳（メタデータ） (2024-09-17T05:45:33Z)
• Linking In-context Learning in Transformers to Human Episodic Memory [1.124958340749622]
  我々は,トランスフォーマーに基づく大規模言語モデルにおいて,文脈内学習に寄与する帰納的頭部に焦点を当てた。 本研究では,インダクションヘッドの動作,機能,機械的特性が,ヒトのエピソード記憶の文脈的保守と検索モデルに類似していることを示す。
  論文  参考訳（メタデータ） (2024-05-23T18:51:47Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)
• Perception Point: Identifying Critical Learning Periods in Speech for Bilingual Networks [58.24134321728942]
  ディープニューラルベース視覚唇読解モデルにおける認知的側面を比較し,識別する。 我々は、認知心理学におけるこれらの理論と独自のモデリングの間に強い相関関係を観察する。
  論文  参考訳（メタデータ） (2021-10-13T05:30:50Z)
• CogAlign: Learning to Align Textual Neural Representations to Cognitive Language Processing Signals [60.921888445317705]
  自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。 我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T07:10:25Z)
• Accounting for Agreement Phenomena in Sentence Comprehension with Transformer Language Models: Effects of Similarity-based Interference on Surprisal and Attention [4.103438743479001]
  主語動詞と反射代名詞一致処理における類似性に基づく干渉効果の説明を進めます。 動詞または反射代名詞の超越性は、非文法文における促進的干渉効果を予測する。
  論文  参考訳（メタデータ） (2021-04-26T20:46:54Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• Towards a Neural Model for Serial Order in Frontal Cortex: a Brain Theory from Memory Development to Higher-Level Cognition [53.816853325427424]
  そこで本研究では,未熟な前頭前野 (PFC) が側頭葉信号の階層的パターンを検出する主要な機能を利用していることを提案する。 我々の仮説では、PFCは順序パターンの形で時間的配列の階層構造を検出し、それらを脳の異なる部分で階層的に情報をインデックスするために利用する。 これにより、抽象的な知識を操作し、時間的に順序付けられた情報を計画するための言語対応の脳にツールを提供する。
  論文  参考訳（メタデータ） (2020-05-22T14:29:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。