論文の概要: Dual Alignment Between Language Model Layers and Human Sentence Processing

• arxiv url: http://arxiv.org/abs/2604.18563v1
• Date: Mon, 20 Apr 2026 17:51:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:53.031638
• Title: Dual Alignment Between Language Model Layers and Human Sentence Processing
• Title（参考訳）: 言語モデル層と人間の文処理のデュアルアライメント
• Authors: Tatsuki Kuribayashi, Alex Warstadt, Yohei Oseki, Ethan Gotlieb Wilcox,
• Abstract要約: 英語の構文的あいまいさ処理において観察される人間の認知的努力をより正確に見積もる内部層について検討する。 実験では、自然主義的な読解とは対照的に、後の層はそのような認知的努力を見積もるが、それでも人間のデータを過小評価する。
• 参考スコア（独自算出の注目度）: 21.60204953623752
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: A recent study (Kuribayashi et al., 2025) has shown that human sentence processing behavior, typically measured on syntactically unchallenging constructions, can be effectively modeled using surprisal from early layers of large language models (LLMs). This raises the question of whether such advantages of internal layers extend to more syntactically challenging constructions, where surprisal has been reported to underestimate human cognitive effort. In this paper, we begin by exploring internal layers that better estimate human cognitive effort observed in syntactic ambiguity processing in English. Our experiments show that, in contrast to naturalistic reading, later layers better estimate such a cognitive effort, but still underestimate the human data. This dual alignment sheds light on different modes of sentence processing in humans and LMs: naturalistic reading employs a somewhat weak prediction akin to earlier layers of LMs, while syntactically challenging processing requires more fully-contextualized representations, better modeled by later layers of LMs. Motivated by these findings, we also explore several probability-update measures using shallow and deep layers of LMs, showing a complementary advantage to single-layer's surprisal in reading time modeling.
• Abstract（参考訳）: 最近の研究 (Kuribayashi et al , 2025) により、人間の文処理行動(典型的には構文的に不整合な構造で測定される)は、大規模言語モデル(LLM)の初期層からの予備層を用いて効果的にモデル化できることが示されている。 このことは、内部層のこのような利点が、人間の認知力を過小評価していると報告された、より構文的に困難な構造にまで拡張するかどうかという疑問を提起する。 本稿では、英語の構文的あいまいさ処理において観察される人間の認知活動をより正確に推定する内部層について検討することから始める。 我々の実験は、自然主義的な読解とは対照的に、後の層はそのような認知的努力を見積もるが、それでも人間のデータを過小評価する。 この二重アライメントは、人間とLMの異なる文処理のモードに光を当てる: 自然主義的読解は、LMの以前の層と同様、やや弱い予測を用いるが、構文的に難解な処理は、後の層のLMによってモデル化されたより完全なコンテクスト化された表現を必要とする。 これらの知見に感化されて、我々は、LMの浅い層と深い層を用いたいくつかの確率更新測度を探索し、読み出し時間モデリングにおける単層層の仮定に相補的な優位性を示す。

関連論文リスト

• To Words and Beyond: Probing Large Language Models for Sentence-Level Psycholinguistic Norms of Memorability and Reading Times [4.5166266531313966]
  大規模言語モデルは人間の判断と相関する心理言語学の規範を推定する。 我々はこの手法を文の暗記性や読解時間の未検討の特徴に拡張する。
  論文  参考訳（メタデータ） (2026-03-12T16:10:27Z)
• Large Language Models Are Human-Like Internally [44.996518290660816]
  近年の認知モデル研究は、より大きな言語モデル(LM)が人間の読書行動に適合していないことを報告している。 従来の結論は、LMの最終層に排他的に焦点を絞ったものであったと論じる。 解析の結果,より大きなLMの内部層から派生した次の単語確率は,人間の文処理データと一致していることがわかった。
  論文  参考訳（メタデータ） (2025-02-03T18:48:32Z)
• Evidence from fMRI Supports a Two-Phase Abstraction Process in Language Models [1.534667887016089]
  本研究では,大規模言語モデルから抽出した中間的隠れ状態が,自然言語刺激による脳の反応を予測可能であることを示す。 また,レイヤワイド符号化性能とLLMからの表現の内在的次元性との間にも強い対応性を示す。
  論文  参考訳（メタデータ） (2024-09-09T16:33:16Z)
• Entropy Guided Extrapolative Decoding to Improve Factuality in Large Language Models [55.45444773200529]
  大きな言語モデル(LLM)は印象的な自然言語能力を示すが、幻覚に苦しむ。 最近の研究は推論時の事実性を改善するための復号化技術に焦点を当てている。
  論文  参考訳（メタデータ） (2024-04-14T19:45:35Z)
• Fantastic Semantics and Where to Find Them: Investigating Which Layers of Generative LLMs Reflect Lexical Semantics [50.982315553104975]
  本稿では,Llama2という人気言語モデルに対する語彙意味論のボトムアップ進化について検討する。 実験の結果,下位層の表現は語彙的意味論を符号化しているが,上位層はより弱い意味帰納的帰納的帰納的帰納的帰納的帰納的帰納的帰属的帰属的帰属的帰属的存在であることがわかった。 これは、高層層がより良い語彙意味論を得るマスク言語モデリングのような差別的な目的を持つモデルとは対照的である。
  論文  参考訳（メタデータ） (2024-03-03T13:14:47Z)
• Humans and language models diverge when predicting repeating text [52.03471802608112]
  我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。 人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。 このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
  論文  参考訳（メタデータ） (2023-10-10T08:24:28Z)
• Probing Large Language Models from A Human Behavioral Perspective [24.109080140701188]
  大規模言語モデル(LLM)は、現代のNLPにおいて支配的な基礎モデルとして登場した。 フィードフォワードネットワーク (FFN) やマルチヘッド・セルフアテンション (MHSA) などの予測プロセスや内部メカニズムの理解はいまだに未解明のままである。
  論文  参考訳（メタデータ） (2023-10-08T16:16:21Z)
• Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation [71.70562795158625]
  従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。 近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。 本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
  論文  参考訳（メタデータ） (2020-08-15T21:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。