論文の概要: Reader Proficiency Shapes Layer-wise Surprisal Profiles

• arxiv url: http://arxiv.org/abs/2609.37688v1
• Date: Tue, 29 Sep 2026 14:32:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.633614
• Title: Reader Proficiency Shapes Layer-wise Surprisal Profiles
• Title（参考訳）: Reader Proficiency Shapes Layer-wise Surprisal Profiles
• Abstract要約: 読書行動は言語入力だけでなく、読み手の習熟度にも異なる。 本研究では,大規模言語モデル(LLMs)とヒトの視線行動の層間関係が,習熟度や視線測定のレベルによって異なるかを検討する。
• 参考スコア（独自算出の注目度）: 3.4513657667067164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reading behaviour varies not only with linguistic input, but also with reader proficiency. In this study, we investigate whether the layer-wise relationship between surprisal from large language models (LLMs) and human gaze behaviour differs across readers with different levels of proficiency and across gaze measures. Using eye-tracking data from the MECO L2 corpus, we compare readers with high and low vocabulary proficiency on first-pass gaze duration (FPGD) and total gaze duration (TGD). We quantify the distribution of the predictive power of surprisal across model layers using Predictive Depth. Across 12 tested LLMs, we find that readers with lower vocabulary proficiency tend to show deeper Predictive Depth for FPGD, while this difference is smaller for TGD. Also, TGD itself shows deeper Predictive Depth than FPGD in both proficiency groups. These patterns suggest that where predictive power is concentrated across LLM layers may be related to the timing and breadth of the reading processes captured by different gaze measures, and that this relationship can vary with reader proficiency. Our leave-one-out analysis further shows that the advantage of informative internal layers extends to unseen texts, although the practical improvements in prediction are limited. Overall, our results show that layer-wise LLM surprisal provides a useful perspective on variation in reading behaviour across both reader groups and gaze measures.
• Abstract（参考訳）: 読書行動は言語入力だけでなく、読み手の習熟度にも異なる。 本研究では,大規模言語モデル(LLMs)とヒトの視線行動の層間関係が,習熟度が異なる読者と視線測度で異なるかを検討した。 我々は,MECO L2コーパスの視線追跡データを用いて,第1回視線時間(FPGD)と全視線時間(TGD)について,高い語彙能力と低い語彙能力を比較した。 予測深度を用いたモデル層間における推定力の分布の定量化を行う。 TGDでは,低語彙能力の読者はFPGDではより深い予測深度を示す傾向にあるが,この差は小さい。 また,TGD自体の精度はFPGDよりも深い。 これらのパターンは、LLM層にまたがる予測力の集中は、異なる視線測定で捉えた読み出し過程のタイミングと幅に関係しており、この関係は読み出し能力と異なる可能性があることを示唆している。 予備分析の結果,情報的内部レイヤの利点は未確認テキストにまで及んでいるが,予測の実用的改善は限られていることがわかった。 以上の結果から,層別LCM推定法は,読影群と視線測定群の両方における読影行動の変動について,有用な視点を提供することが示された。

関連論文リスト

• Probing for Reading Times [60.30314214800421]
  我々は、英語、ギリシャ語、ヘブライ語、ロシア語、トルコ語における人間の読書時間を表す言語モデル表現を探索する。 その結果,初期層からの表現は,初回固定や視線持続時間などの早期通過の予測において極めて優れていた。
  論文  参考訳（メタデータ） (2026-04-20T18:12:59Z)
• Dual Alignment Between Language Model Layers and Human Sentence Processing [21.60204953623752]
  英語の構文的あいまいさ処理において観察される人間の認知的努力をより正確に見積もる内部層について検討する。 実験では、自然主義的な読解とは対照的に、後の層はそのような認知的努力を見積もるが、それでも人間のデータを過小評価する。
  論文  参考訳（メタデータ） (2026-04-20T17:51:26Z)
• When Does Sparsity Mitigate the Curse of Depth in LLMs [53.137717161619484]
  本研究では,分散伝播の規制として空間空間が機能し,深度利用が向上することを示す。 以上の結果から,大規模な言語モデルにおいて,より効率的な深度スケーリングを実現するための重要なメカニズムとして,スパーシリティが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-16T15:04:16Z)
• To Words and Beyond: Probing Large Language Models for Sentence-Level Psycholinguistic Norms of Memorability and Reading Times [4.5166266531313966]
  大規模言語モデルは人間の判断と相関する心理言語学の規範を推定する。 我々はこの手法を文の暗記性や読解時間の未検討の特徴に拡張する。
  論文  参考訳（メタデータ） (2026-03-12T16:10:27Z)
• Hallucination Detection in LLMs with Topological Divergence on Attention Graphs [60.83579255387347]
  幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデルにとって重要な課題である。 本稿では,TOHA (Topology-based HAllucination detector) をRAG設定に導入する。
  論文  参考訳（メタデータ） (2025-04-14T10:06:27Z)
• Learning on Graphs with Large Language Models(LLMs): A Deep Dive into Model Robustness [39.57155321515097]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示している。 LLMがグラフ上での学習において堅牢性を示すかどうかは不明である。
  論文  参考訳（メタデータ） (2024-07-16T09:05:31Z)
• Same Task, More Tokens: the Impact of Input Length on the Reasoning Performance of Large Language Models [48.35385912526338]
  本稿では,入力長がLarge Language Models(LLMs)の能力に与える影響について検討する。 同一サンプルの複数バージョンを用いて入力長の影響を分離し,それぞれが異なる長さ,タイプ,位置のパディングで拡張した。 劣化傾向はデータセットのすべてのバージョンに現れるが、強度は異なる。
  論文  参考訳（メタデータ） (2024-02-19T16:04:53Z)
• Probing Large Language Models from A Human Behavioral Perspective [24.109080140701188]
  大規模言語モデル(LLM)は、現代のNLPにおいて支配的な基礎モデルとして登場した。 フィードフォワードネットワーク (FFN) やマルチヘッド・セルフアテンション (MHSA) などの予測プロセスや内部メカニズムの理解はいまだに未解明のままである。
  論文  参考訳（メタデータ） (2023-10-08T16:16:21Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。