論文の概要: Reading Time Modeling with Pixel-Based Language Models
- arxiv url: http://arxiv.org/abs/2610.26181v1
- Date: Mon, 19 Oct 2026 11:14:41 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:16:59.137774
- Title: Reading Time Modeling with Pixel-Based Language Models
- Title（参考訳）: 画素ベース言語モデルを用いた読解時間モデリング
- Abstract要約: トークンベース言語モデル(TLM)の代替として、トークンフリーの画素ベース言語モデル(PLM)が最近提案されている。
まず自然主義的人文読解のモデリングにPLMを組み込み、特に次の単語予測可能性の推定にそれらの使用法を検討する。
この結果から,次世代の単語予測の難易度は画素空間で計算され,視線持続時間や単語スキップ行動に強い予測力を有することが示された。
- 参考スコア（独自算出の注目度）: 17.434884044294435
- License:
- Abstract: Tokenization-free, pixel-based language models (PLMs) have recently been proposed as an alternative to conventional token-based language models (TLMs), typically motivated by practical considerations, e.g., the flexibility to support new languages or vocabularies. Nevertheless, PLMs also have the potential to serve as infrastructure for computational (psycho)linguistics, where tokenization has been a source of bias in estimating information-theoretic values, such as surprisal, and has pushed the bottom-up visual orthographic features outside the scope. In this study, we first integrate PLMs into the modeling of naturalistic human reading and, in particular, examine their use to estimate next-word predictability, which can also integrate orthographic and parafoveal information. Our results demonstrate that next-word prediction difficulty, computed in pixel space, has strong predictive power for gaze duration and word skipping behavior across various languages. In particular, their advantage is complementary to existing token-level surprisal and entropy estimates. Cross-lingual analyses with script variations also clarify their distinctive visual processing biases, facilitating research into how bottom-up visual information is incrementally integrated into expectation-based reading.
- Abstract（参考訳）: トークンベースの言語モデル(TLM)の代替として、トークンのないピクセルベースの言語モデル(PLM)が最近提案されている。
それでも PLM は計算(心理学)言語学の基盤として機能する可能性があり、トークン化は素数のような情報理論の値の推定におけるバイアスの源であり、ボトムアップの視覚的正書法の特徴を範囲外に押し出している。
本研究では,まず自然主義的人文読解のモデル化にPLMを取り入れ,特に,正書法情報やパラフォバル情報も統合できる次世代の予測可能性の推定にPLMを用いて検討する。
この結果から,次世代の単語予測の難易度は画素空間で計算され,視線持続時間や単語スキップ行動に強い予測力を有することが示された。
特に、それらの利点は、既存のトークンレベルの仮定とエントロピーの推定を補完するものである。
スクリプトのバリエーションによる言語間分析では、その視覚的処理バイアスも明確化され、ボトムアップの視覚情報がどのように期待に基づく読み込みに段階的に統合されるかの研究が促進される。
関連論文リスト
- Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。
我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。
提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
論文 参考訳（メタデータ） (2024-10-24T17:56:08Z) - On the Proper Treatment of Tokenization in Psycholinguistics [53.960910019072436]
論文は、トークンレベルの言語モデルは、精神言語学研究で使用される前に、文字レベルの言語モデルにマージ化されるべきであると主張している。
興味領域自体のサブプライムよりも心理学的予測が優れている様々な焦点領域を見いだす。
論文 参考訳（メタデータ） (2024-10-03T17:18:03Z) - LLM Processes: Numerical Predictive Distributions Conditioned on Natural Language [35.84181171987974]
我々のゴールは、数値データを処理し、任意の場所で確率的予測を行うレグレッションモデルを構築することである。
まず、大規模言語モデルから明示的で一貫性のある数値予測分布を抽出する戦略を探求する。
本研究では,テキストを数値予測に組み込む能力を示し,予測性能を改善し,定性的な記述を反映した定量的な構造を与える。
論文 参考訳（メタデータ） (2024-05-21T15:13:12Z) - SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。
メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。
実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
論文 参考訳（メタデータ） (2023-07-15T08:33:08Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。