論文の概要: Trajectory Dynamics in Language Model Hidden States Predict Human Processing Costs Beyond Surprisal
- arxiv url: http://arxiv.org/abs/2606.05346v1
- Date: Wed, 03 Jun 2026 18:44:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.345798
- Title: Trajectory Dynamics in Language Model Hidden States Predict Human Processing Costs Beyond Surprisal
- Title（参考訳）: 言語モデルに隠された状態の軌道動力学による人為的処理コストの予測
- Authors: Elan Barenholtz,
- Abstract要約: 本稿では,単語レベルの予測誤差(副次的)と展開解釈の局所運動量に対する感度(軌道外挿誤差)が処理コストの解離可能な成分であることを示す。
この効果は特に庭道の文で顕著である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human language comprehension unfolds sequentially: each word is processed in the context of those that came before, and the interpretation builds incrementally over time. Surprisal, the negative log probability of a word given its context, has been the dominant predictor of incremental processing cost. But surprisal reduces rich sequential representations to a single scalar at each word, discarding information about the direction in which the interpretation has been evolving. Dynamical-systems approaches suggest that the trajectory of the evolving interpretive state, not just its position at each moment,should shape processing, and language itself may have local momentum, since speakers plan utterances a few words at a time. We introduce trajectory extrapolation error: at each word, we fit a linear trajectory to the preceding hidden states of a transformer language model and measure deviation from the extrapolated path. On the Natural Stories corpus, this measure is nearly orthogonal to surprisal (r = .044) and independently predicts self-paced reading times. The effect is especially pronounced in garden-path sentences, strengthens with model scale (GPT-2 Small to Large), and replicates across architectures with different positional encoding schemes (GPT-2 vs. Pythia/RoPE). A displacement control shows the effect is not reducible to representational change magnitude: displacement and extrapolation error predict in opposite directions. These findings reveal two dissociable components of processing cost: word-level prediction error (surprisal) and sensitivity to the local momentum of the unfolding interpretation (trajectory extrapolation error).
- Abstract（参考訳）: 人間の言語理解は逐次展開され、各単語はそれまでの文脈で処理され、解釈は時間とともに漸進的に構築される。
サプライサル(英: Suprisal)とは、単語の文脈から得られる負のログ確率であり、漸進的な処理コストの予測因子である。
しかし、仮定は、各単語におけるリッチな逐次表現を1つのスカラーに減らし、解釈が進化している方向に関する情報を捨てる。
動的システムアプローチは、各時点におけるその位置だけでなく、進化する解釈状態の軌跡は形状処理であり、言語自体が局所的な運動量を持つ可能性があることを示唆している。
各単語において、トランスフォーマー言語モデルの先行した隠れ状態に線形軌跡を適合させ、外挿経路からの偏差を測定する。
ナチュラル・ストーリー・コーパス(Natural Stories corpus)では、この測度は主観的(r = .044)とほぼ直交しており、独立にセルフペースの読解時間を予測している。
この効果は特にガーデンパス文で発音され、モデルスケール(GPT-2 Small to Large)で強化され、異なる位置符号化方式(GPT-2 vs. Pythia/RoPE)でアーキテクチャ間で複製される。
変位制御は、その効果が表現的変化の大きさに還元できないことを示す:変位と外挿誤差が反対方向に予測される。
これらの結果から,単語レベルの予測誤差(副次的)と,展開する解釈の局所運動量に対する感度(軌道外挿誤差)という,処理コストの解離可能な2つの要素が明らかになった。
関連論文リスト
- Why are language models less surprised than humans? Testing the Parse Multiplicity Mismatch Hypothesis [14.478855009044807]
予備理論は、単語の処理困難は文脈におけるその予測可能性によって決定されると仮定する。
LMは、自然主義的なテキストの読み出し時間を予測することに成功したが、統語的曖昧さの制御された研究において観察される困難度を体系的に過小評価した。
このことは、LMと人間が同時に利用できるパース数の違いは、人間の文章処理とLMに基づく仮定を一致させることができないことを示唆している。
論文 参考訳（メタデータ） (2026-05-14T21:44:26Z) - Probing for Reading Times [60.30314214800421]
我々は、英語、ギリシャ語、ヘブライ語、ロシア語、トルコ語における人間の読書時間を表す言語モデル表現を探索する。
その結果,初期層からの表現は,初回固定や視線持続時間などの早期通過の予測において極めて優れていた。
論文 参考訳（メタデータ） (2026-04-20T18:12:59Z) - Revisiting Real-Time Digging-In Effects: No Evidence from NP/Z Garden-Paths [10.217186322563318]
英語のNP/Z園芸パス文について,Mazeとセルフペースト読解を用いた実験を行った。
リアルタイムな掘り込み効果の証拠は見つからない。
論文 参考訳（メタデータ） (2026-03-24T18:07:46Z) - Large language models implicitly learn to straighten neural sentence
trajectories to construct a predictive representation of natural language [2.1756081703276]
自己回帰変換器の予測表現に関する仮説を検証した。
重要な洞察は、直線的な軌道は線形外挿による予測を促進するべきであるということである。
1次元曲率計を用いて直線性を定量化する。
論文 参考訳（メタデータ） (2023-11-05T22:16:21Z) - Humans and language models diverge when predicting repeating text [52.03471802608112]
我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。
人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。
このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
論文 参考訳（メタデータ） (2023-10-10T08:24:28Z) - Why Does Surprisal From Larger Transformer-Based Language Models Provide
a Poorer Fit to Human Reading Times? [9.909170013118775]
トレーニング中にシーケンスを「記憶する」ためにトランスフォーマーをベースとした大規模モデルの妥当性は、その前提推定を人間的な期待から逸脱させる。
これらの結果から,大規模トランスフォーマーモデルがトレーニング中にシーケンスを「記憶する」ことの妥当性は,人為的な予測から逸脱することが示唆された。
論文 参考訳（メタデータ） (2022-12-23T03:57:54Z) - Neuro-Symbolic Entropy Regularization [78.16196949641079]
構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。
エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。
我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
論文 参考訳（メタデータ） (2022-01-25T06:23:10Z) - Perturbing Inputs for Fragile Interpretations in Deep Natural Language
Processing [18.91129968022831]
解釈可能性の手法は、医療や金融などの高い分野における信頼できるNLPアプリケーションにとって堅牢である必要がある。
本稿では,入力テキスト上で単純な単語摂動を行うことで,解釈がどのように操作できるかを示す。
論文 参考訳（メタデータ） (2021-08-11T02:07:21Z) - Constructing interval variables via faceted Rasch measurement and
multitask deep learning: a hate speech application [63.10266319378212]
本稿では,教師付き深層学習と多面的ラッシュアイテム応答理論(IRT)構築手法を組み合わせることで,連続区間スペクトル上の複素変数を測定する手法を提案する。
われわれは、YouTube、Twitter、Redditから5万件のソーシャルメディアコメントを収集し、1万1000人の米国拠点のAmazon Mechanical Turkの労働者によってラベル付けされたデータセット上で、この新しい手法を実証した。
論文 参考訳（メタデータ） (2020-09-22T02:15:05Z) - Mechanisms for Handling Nested Dependencies in Neural-Network Language
Models and Humans [75.15855405318855]
我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。
ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。
我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
論文 参考訳（メタデータ） (2020-06-19T12:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。