論文の概要: Probing for Reading Times

• arxiv url: http://arxiv.org/abs/2604.18712v1
• Date: Mon, 20 Apr 2026 18:12:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.405911
• Title: Probing for Reading Times
• Title（参考訳）: 読書時間に関する調査
• Authors: Eleftheria Tsipidi, Samuel Kiegeland, Francesco Ignazio Re, Tianyang Xu, Mario Giulianelli, Karolina Stanczak, Ryan Cotterell,
• Abstract要約: 我々は、英語、ギリシャ語、ヘブライ語、ロシア語、トルコ語における人間の読書時間を表す言語モデル表現を探索する。 その結果,初期層からの表現は,初回固定や視線持続時間などの早期通過の予測において極めて優れていた。
• 参考スコア（独自算出の注目度）: 60.30314214800421
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Probing has shown that language model representations encode rich linguistic information, but it remains unclear whether they also capture cognitive signals about human processing. In this work, we probe language model representations for human reading times. Using regularized linear regression on two eye-tracking corpora spanning five languages (English, Greek, Hebrew, Russian, and Turkish), we compare the representations from every model layer against scalar predictors -- surprisal, information value, and logit-lens surprisal. We find that the representations from early layers outperform surprisal in predicting early-pass measures such as first fixation and gaze duration. The concentration of predictive power in the early layers suggests that human-like processing signatures are captured by low-level structural or lexical representations, pointing to a functional alignment between model depth and the temporal stages of human reading. In contrast, for late-pass measures such as total reading time, scalar surprisal remains superior, despite its being a much more compressed representation. We also observe performance gains when using both surprisal and early-layer representations. Overall, we find that the best-performing predictor varies strongly depending on the language and eye-tracking measure.
• Abstract（参考訳）: 言語モデル表現は豊かな言語情報をエンコードすることを示したが、それらが人間の処理に関する認知信号も捉えているかどうかは不明だ。 本研究では,人間の読解時間に対する言語モデル表現を探索する。 5つの言語(英語、ギリシャ語、ヘブライ語、ロシア語、トルコ語)にまたがる2つの視線追跡コーパスの正規化線形回帰を用いて、各モデル層からの表現を、予備、情報値、およびロジットレンズの予想値であるスカラー予測子と比較する。 その結果,初期層からの表現は,初回固定や視線持続時間などの早期通過の予測において極めて優れていた。 初期の層における予測力の集中は、人間の様の処理シグネチャが低レベルの構造的あるいは語彙的表現によって捉えられ、モデル深度と人間の読取の時間的段階の間の機能的な整合性を示すことを示唆している。 対照的に、総読解時間などの遅滞度測定では、より圧縮された表現であるにもかかわらず、スカラー・サプライサルの方が優れている。 また,予備層と初期層の両方の表現を用いた場合のパフォーマンス向上も観察する。 全体として、最高の性能の予測器は言語や視線追跡の指標によって大きく異なることが判明した。

関連論文リスト

• Temperature-scaling surprisal estimates improve fit to human reading times -- but does it do so for the "right reasons"? [15.773775387121097]
  大規模な言語モデルのキャリブレーションは,通常モデルサイズによって改善されることを示す。 温度スケーリングの確率は、読み取り時間に体系的に適合することがわかった。
  論文  参考訳（メタデータ） (2023-11-15T19:34:06Z)
• Humans and language models diverge when predicting repeating text [52.03471802608112]
  我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。 人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。 このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
  論文  参考訳（メタデータ） (2023-10-10T08:24:28Z)
• Testing the Predictions of Surprisal Theory in 11 Languages [77.45204595614]
  本研究では,11言語における副次的時間と読解時間の関係について検討する。 より多様な言語に焦点をあてることで、これらの結果は、情報理論と言語間のインクリメンタル言語処理の最も堅牢なリンクを提供すると論じる。
  論文  参考訳（メタデータ） (2023-07-07T15:37:50Z)
• Why Does Surprisal From Larger Transformer-Based Language Models Provide a Poorer Fit to Human Reading Times? [9.909170013118775]
  トレーニング中にシーケンスを「記憶する」ためにトランスフォーマーをベースとした大規模モデルの妥当性は、その前提推定を人間的な期待から逸脱させる。 これらの結果から,大規模トランスフォーマーモデルがトレーニング中にシーケンスを「記憶する」ことの妥当性は,人為的な予測から逸脱することが示唆された。
  論文  参考訳（メタデータ） (2022-12-23T03:57:54Z)
• Multilingual Language Models Predict Human Reading Behavior [8.830621849672108]
  言語固有および多言語事前学習トランスフォーマーモデルの性能比較を行い,読解時間尺度の予測を行った。 BERT と XLM のモデルでは,様々な視線追跡特性の予測に成功している。 一連の実験で、これらのモデルのクロスドメインおよびクロス言語能力を分析し、人間の文処理をどのように反映するかを示す。
  論文  参考訳（メタデータ） (2021-04-12T13:03:49Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。