論文の概要: A Systematic Analysis of the Predictive Power of LM Surprisal in Reading Chinese

• arxiv url: http://arxiv.org/abs/2610.04898v2
• Date: Tue, 06 Oct 2026 06:56:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.34037
• Title: A Systematic Analysis of the Predictive Power of LM Surprisal in Reading Chinese
• Title（参考訳）: 中国語読み上げにおけるLMの予測力の体系的分析
• Abstract要約: 本稿では、視線追跡コーパスが仮定する単語分割とLMのサブワードトークン化をマッピングするアライメント方式を提案する。 マンダリン中国語の3段目追跡コーパスにおいて,第1固定期間,視線期間,総読取時間について,その推定精度について検討した。
• 参考スコア（独自算出の注目度）: 17.253268852060184
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study analyzes the predictive power of LM-derived, token-level surprisal on Mandarin Chinese reading times. We first propose the Shortest Matching Sequence (SMS), an alignment scheme that maps between the word segmentation assumed by eye-tracking corpora and the LMs' subword tokenization, as the two tokenizations often disagree in the context of Mandarin Chinese. Then, using a suite of Chinese-Pythia models (14M-1.4B) trained on scratch with 30B tokens, we examine how well surprisal predicts first fixation duration, gaze duration, and total reading time in three paragraph-level eye-tracking corpora of Mandarin Chinese (GECO-CN, HKP, and MECO). Contrary to previous null findings, our results show that surprisal is predictive of Chinese reading times. However, whether predictive power scales with model size and the amount of training is corpus-specific: bigger models predict better in GECO-CN, whereas inverse scaling emerges in HKP and, at the largest sizes, in MECO. Subsequently, we tested one possible explanation for the inverse scaling in HKP and found that checkpoints whose surprisal remains closer to $n$-gram statistics are better predictors of reading. All in all, the predictive power of surprisal on Chinese reading time measurements is corpus-specific, which cautions against drawing scaling conclusions from a single corpus.
• Abstract（参考訳）: 本研究では,マンダリン中国語読解時間におけるLM由来のトークンレベルの推定能力について検討した。 我々はまず,視線追跡コーパスが仮定する単語分割とLMのサブワードトークン化をマッピングするアライメント方式であるショートストマッチシーケンス(SMS)を提案する。 そして,30Bトークンでスクラッチで訓練した中国語-ピシア語モデル(14M-1.4B)を用いて,マンダリン中国語の3段目追跡コーパス(GECO-CN,HKP,MECO)において,第1固定期間,視線時間,総読取時間を推定した。 これまでのNull所見とは対照的に,本研究の結果は,中国語の読解時間について,仮定が予測可能であることを示している。 より大きなモデルではGECO-CNの方がよいが、逆のスケーリングはHKPや最大のサイズではMECOで現れる。 その後、HKPの逆スケーリングの可能な1つの説明を検証したところ、$n$-gramに近い確率のチェックポイントが読み出しの予測因子であることがわかった。 総じて、中国の読解時間測定における仮定の予測力はコーパス固有であり、単一のコーパスからスケーリングの結論を引き出すのに注意する。

関連論文リスト

• Probing for Reading Times [60.30314214800421]
  我々は、英語、ギリシャ語、ヘブライ語、ロシア語、トルコ語における人間の読書時間を表す言語モデル表現を探索する。 その結果,初期層からの表現は,初回固定や視線持続時間などの早期通過の予測において極めて優れていた。
  論文  参考訳（メタデータ） (2026-04-20T18:12:59Z)
• Can We Still Hear the Accent? Investigating the Resilience of Native Language Signals in the LLM Era [0.0]
  ACLアンソロジー論文における母国語識別の傾向を,神経前ネットワーク(NN),LLM前,LLM後という3つの時代にわたって分析した。 分析の結果,NLIの性能は時間とともに一貫した低下を示した。 中国とフランスは予想外の抵抗や分岐傾向を示す一方、日韓は予想より急激な減少を示す。
  論文  参考訳（メタデータ） (2026-03-20T09:11:18Z)
• On the Role of Context in Reading Time Prediction [50.87306355705826]
  我々は,リアルタイム言語理解において,読者がコンテキストをどのように統合するかについて,新たな視点を提示する。 提案手法は,言語単位の処理作業が文脈内情報の内容のアフィン関数であることを示す素因的理論に基づいている。
  論文  参考訳（メタデータ） (2024-09-12T15:52:22Z)
• Testing the Predictions of Surprisal Theory in 11 Languages [77.45204595614]
  本研究では,11言語における副次的時間と読解時間の関係について検討する。 より多様な言語に焦点をあてることで、これらの結果は、情報理論と言語間のインクリメンタル言語処理の最も堅牢なリンクを提供すると論じる。
  論文  参考訳（メタデータ） (2023-07-07T15:37:50Z)
• Why Does Surprisal From Larger Transformer-Based Language Models Provide a Poorer Fit to Human Reading Times? [9.909170013118775]
  トレーニング中にシーケンスを「記憶する」ためにトランスフォーマーをベースとした大規模モデルの妥当性は、その前提推定を人間的な期待から逸脱させる。 これらの結果から,大規模トランスフォーマーモデルがトレーニング中にシーケンスを「記憶する」ことの妥当性は,人為的な予測から逸脱することが示唆された。
  論文  参考訳（メタデータ） (2022-12-23T03:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。