論文の概要: An Existence Proof for Neural Language Models That Can Explain Garden-Path Effects via Surprisal

• arxiv url: http://arxiv.org/abs/2604.18293v1
• Date: Mon, 20 Apr 2026 14:01:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.9206
• Title: An Existence Proof for Neural Language Models That Can Explain Garden-Path Effects via Surprisal
• Title（参考訳）: 園芸効果をサブプライムで説明できるニューラルネットワークモデルの存在証明
• Authors: Ryo Yoshida, Shinnosuke Isono, Taiga Someya, Yohei Oseki, Tatsuki Kuribayashi,
• Abstract要約: 本研究は, 園芸効果を前提として, 園芸効果を説明できるニューラルLMの構築が不可能かどうかを考察する。 以上の結果から,微調整されたLMは過剰に適合せず,ガーデニングパスアイテムの読解速度を低下させることに成功した。
• 参考スコア（独自算出の注目度）: 21.29543663048103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Surprisal theory hypothesizes that the difficulty of human sentence processing increases linearly with surprisal, the negative log-probability of a word given its context. Computational psycholinguistics has tested this hypothesis using language models (LMs) as proxies for human prediction. While surprisal derived from recent neural LMs generally captures human processing difficulty on naturalistic corpora that predominantly consist of simple sentences, it severely underestimates processing difficulty on sentences that require syntactic disambiguation (garden-path effects). This leads to the claim that the processing difficulty of such sentences cannot be reduced to surprisal, although it remains possible that neural LMs simply differ from humans in next-word prediction. In this paper, we investigate whether it is truly impossible to construct a neural LM that can explain garden-path effects via surprisal. Specifically, instead of evaluating off-the-shelf neural LMs, we fine-tune these LMs on garden-path sentences so as to better align surprisal-based reading-time estimates with actual human reading times. Our results show that fine-tuned LMs do not overfit and successfully capture human reading slowdowns on held-out garden-path items; they even improve predictive power for human reading times on naturalistic corpora and preserve their general LM capabilities. These results provide an existence proof for a neural LM that can explain both garden-path effects and naturalistic reading times via surprisal, but also raise a theoretical question: what kind of evidence can truly falsify surprisal theory?
• Abstract（参考訳）: 素因的理論は、人間の文処理の難しさは、その文脈が与えられた単語の負の対数確率である「素因的」と線形に増加することを仮定する。 計算心理学者は、この仮説を人間の予測のプロキシとして言語モデル(LM)を用いて検証した。 最近のニューラル LM から派生した仮定は、通常、単純な文からなる自然主義コーパスの人間の処理困難を捉えるが、構文的曖昧さ(ガーデンパス効果)を必要とする文の処理困難を過小評価する。 このことは、ニューラルLMが次の単語予測において人間と単に異なる可能性があるにもかかわらず、そのような文の処理困難さを仮に減らすことはできないという主張に繋がる。 本稿では,園芸効果を補助的に説明できるニューラルLMの構築が本当に不可能であるかどうかを考察する。 具体的には、市販のニューラルLMを評価する代わりに、園芸パスの文にこれらのLMを微調整し、実際の人間の読み時間と推定時間に基づく推定値の整合性を改善する。 以上の結果から, 微調整されたLMは, 保留中の庭道アイテムの読書速度低下を抑えることができず, 自然主義コーパス上での読書時間予測能力も向上し, 一般のLM能力を維持できることがわかった。 これらの結果は、ガーデニングパス効果と自然主義的な読書時間の両方を仮定を通して説明できる神経的LMの存在証明を提供する一方で、理論的な疑問を提起する。

関連論文リスト

• Dual Alignment Between Language Model Layers and Human Sentence Processing [21.60204953623752]
  英語の構文的あいまいさ処理において観察される人間の認知的努力をより正確に見積もる内部層について検討する。 実験では、自然主義的な読解とは対照的に、後の層はそのような認知的努力を見積もるが、それでも人間のデータを過小評価する。
  論文  参考訳（メタデータ） (2026-04-20T17:51:26Z)
• Language Statistics and False Belief Reasoning: Evidence from 41 Open-Weight LMs [6.600578957536851]
  41のオープンウェイトモデルにおけるLM精神状態推論行動の評価を行った。 検査結果の34%にインプリード知識状態に対する感受性が認められた。 より大きなLMは感度を増し、心理測定の予測力も高めている。
  論文  参考訳（メタデータ） (2026-02-17T23:20:08Z)
• H-Neurons: On the Existence, Impact, and Origin of Hallucination-Associated Neurons in LLMs [56.31565301428888]
  大型言語モデル(LLM)における幻覚関連ニューロン(H-Neurons)の同定 同定の面では、驚くほどスパースなニューロンのサブセットが幻覚の発生を確実に予測できることが示される。 行動への影響に関して、制御された介入は、これらのニューロンが過度に順応する行動と因果関係があることを明らかにする。
  論文  参考訳（メタデータ） (2025-12-01T15:32:14Z)
• Hallucinations are inevitable but can be made statistically negligible. The "innate" inevitability of hallucinations cannot explain practical LLM issues [23.12905996928255]
  言語モデル(LM)が非現実的コンテンツを生成する現象である幻覚は、LMの実践的な展開に重大な課題をもたらす。 最近の研究は計算可能性理論的な結果を確立し、いかなるLMも必然的に無限の入力に対して幻覚を発生させることを示した。 本稿では,計算可能性理論と対角論から生じる「自然的」不可避性は,原則として,LMの実践的問題を説明できないと主張している。
  論文  参考訳（メタデータ） (2025-02-15T07:28:40Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• Divergences between Language Models and Human Brains [59.100552839650774]
  我々は,人間と機械語処理の相違点を体系的に探求する。 我々は、LMがうまく捉えられない2つの領域、社会的/感情的知性と身体的常識を識別する。 以上の結果から,これらの領域における微調整LMは,ヒト脳反応との整合性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)
• Reducing Hallucinations in Neural Machine Translation with Feature Attribution [54.46113444757899]
  本研究は,NMTにおける幻覚の軽減を目的としたモデル理解と正規化に着目したケーススタディである。 まず,幻覚を発生させるNMTモデルの振る舞いを研究するために,特徴帰属法を用いる。 次に、これらの手法を利用して、幻覚の低減に大きく貢献し、ゼロからモデルを再訓練する必要のない新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2022-11-17T20:33:56Z)
• Syntactic Surprisal From Neural Models Predicts, But Underestimates, Human Processing Difficulty From Syntactic Ambiguities [19.659811811023374]
  言語モデルから構文予測可能性を推定する手法を提案する。 構文的予測可能性と語彙的予測可能性とを独立に扱うことで,園路効果のより大きい推定結果が得られた。 本研究は, 庭道文に付随する処理コストの要因は, 予測可能性だけではないという仮説を支持する。
  論文  参考訳（メタデータ） (2022-10-21T18:30:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。