論文の概要: Using LMs to Model the Effects of Context and Coreference during Sentence Comprehension

• arxiv url: http://arxiv.org/abs/2609.32119v1
• Date: Sat, 26 Sep 2026 00:43:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 03:05:26.404189
• Title: Using LMs to Model the Effects of Context and Coreference during Sentence Comprehension
• Title（参考訳）: LMを用いた文理解における文脈と干渉の影響のモデル化
• Abstract要約: 言語モデル(LM)は人間の言語処理をモデル化するためのツールとしてよく用いられる。 近年の研究では、LMのコンテキストウィンドウを厳しく制限することは、人間の作業記憶の制約をシミュレートすることによって、人間の心理言語データに適合することを示唆している。 この厳密なメモリデカイアプローチは、談話構造のような長距離構造表現への人間の依存を見落としている可能性がある。
• 参考スコア（独自算出の注目度）: 9.274803251626073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models (LMs) are often used as a tool to model human language processing. Recent studies suggest that severely restricting LMs' context window improves their fit to human psycholinguistic data by simulating human working memory constraints. However, it is possible that this strict memory-decay approach overlooks humans' reliance on long-range structural representations, such as discourse structre. In this work, we systematically vary the context window size of GPT-2 across four large-scale naturalistic English reading-time datasets and observe a U-shaped relationship: Although restricted contexts (< 20 tokens) successfully capture local memory limitations, expanded contexts (500--1,000 tokens) ultimately yield the highest overall psycholinguistic fit. To investigate the mechanism driving this benefit, we conduct a counterfactual inference-time experiment that disrupts cross-sentential entity chains by pronominalizing repeated discourse entities. Obscuring these structural linkages significantly degrades the predictive power of larger context windows by 20% to 40%. Our experiments demonstrate that tracking long-range coreference relations is one important factor for the alignment between LM surprisal and human reading behavior, and approximate the extent to which human comprehenders use global discourse relations during language processing.
• Abstract（参考訳）: 言語モデル(LM)は人間の言語処理をモデル化するためのツールとしてよく用いられる。 近年の研究では、LMのコンテキストウィンドウを厳しく制限することは、人間の作業記憶の制約をシミュレートすることにより、人間の心理言語データに適合することを示唆している。 しかし、この厳密なメモリデカイアプローチは、談話構造のような長距離構造表現への人間の依存を見落としている可能性がある。 本研究では,GPT-2のコンテキストウィンドウサイズを4つの大規模自然主義英語読解時データセットで体系的に変化させ,U字型関係を観測する。 この利点を生かしたメカニズムを解明するために、繰り返しの談話エンティティをプロノミライズすることにより、横断的なエンティティチェーンを妨害する反実的推論時間実験を行う。 これらの構造的連鎖を観測すると、より大きなコンテキストウィンドウの予測能力は20%から40%低下する。 実験により,長期的コア参照関係の追跡は,LMと人間の読解行動の整合性にとって重要な要素であり,言語処理において,人間の理解者がグローバルな言論関係を使用する程度を近似することを示した。

関連論文リスト

• Factors Influencing the Emergence of Dependency Length Minimization in Neural Agent Simulations [9.253309436742928]
  リカレントニューラルネットワーク(RNN)に基づく言語学習・通信フレームワークを用いた人工言語におけるDLMの出現について検討する。 以上の結果から,ニューラルエージェントの語順選好形成において,これらの要因間の複雑な相互作用が明らかとなった。 これらの結果は,人間の認知処理の限界がDLMの形成に果たす役割を示唆している。
  論文  参考訳（メタデータ） (2026-09-05T11:03:54Z)
• How Human-Like Are Large Language Models? A Register-Aware Linguistic Evaluation Framework [0.47954782871066737]
  本研究では,人間的類似性を評価する文脈認識評価フレームワークを提案する。 我々は,最大平均離散性(MMD)と,Biberが導入した67の語彙文法的特徴を用いて,この枠組みを実装した。
  論文  参考訳（メタデータ） (2026-05-22T14:04:25Z)
• Context-level Language Modeling by Learning Predictive Context Embeddings [79.00607069677393]
  textbfContextLMは、固有のtextbfnext-context予測目標で標準事前学習を強化するフレームワークである。 このメカニズムは、将来のトークンチャンクから派生したエラー信号を利用して、マルチトークンコンテキストの予測表現を学ぶようモデルを訓練する。 GPT2およびPythiaモデルファミリーの実験では、1.5ドルBのパラメータまでスケールし、ContextLMがパープレキシティとダウンストリームのタスクパフォーマンスの両方で一貫した改善を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-23T07:09:45Z)
• Towards a theory of how the structure of language is acquired by deep neural networks [6.363756171493383]
  木のような生成モデルを用いて、自然言語で見られる階層構造の多くをキャプチャする。 トークンとトークンの相関は文法の隠れ変数の表現を構築するのに有効であることを示す。 トレーニングセットのサイズと効果的な相関範囲の関係は、我々の合成データセットを超えていると推測する。
  論文  参考訳（メタデータ） (2024-05-28T17:01:22Z)
• Syntactic Language Change in English and German: Metrics, Parsers, and Convergences [56.47832275431858]
  本論文は,過去160年間の議会討論のコーパスを用いて,英語とドイツ語の統語的言語変化のダイアクロニックな傾向を考察する。 私たちは、広く使われているStanford Coreと、新しい4つの選択肢を含む5つの依存関係をベースとしています。 文長分布の尾部では,構文的尺度の変化が頻繁であることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-18T11:46:16Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and Event Extraction [107.8262586956778]
  言語に依存しない文表現を学習するために、普遍的な依存解析を伴うグラフ畳み込みネットワーク(GCN)を導入する。 GCNは、長い範囲の依存関係を持つ単語をモデル化するのに苦労する。 そこで本研究では,構文的距離の異なる単語間の依存関係を学習するための自己認識機構を提案する。
  論文  参考訳（メタデータ） (2020-10-06T20:30:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。