論文の概要: On the Role of Context in Reading Time Prediction
- arxiv url: http://arxiv.org/abs/2409.08160v3
- Date: Mon, 21 Oct 2024 15:22:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 21:31:36.134346
- Title: On the Role of Context in Reading Time Prediction
- Title（参考訳）: 読解時間予測における文脈の役割について
- Authors: Andreas Opedal, Eleanor Chodroff, Ryan Cotterell, Ethan Gotlieb Wilcox,
- Abstract要約: 我々は,リアルタイム言語理解において,読者がコンテキストをどのように統合するかについて,新たな視点を提示する。
提案手法は,言語単位の処理作業が文脈内情報の内容のアフィン関数であることを示す素因的理論に基づいている。
- 参考スコア（独自算出の注目度）: 50.87306355705826
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present a new perspective on how readers integrate context during real-time language comprehension. Our proposals build on surprisal theory, which posits that the processing effort of a linguistic unit (e.g., a word) is an affine function of its in-context information content. We first observe that surprisal is only one out of many potential ways that a contextual predictor can be derived from a language model. Another one is the pointwise mutual information (PMI) between a unit and its context, which turns out to yield the same predictive power as surprisal when controlling for unigram frequency. Moreover, both PMI and surprisal are correlated with frequency. This means that neither PMI nor surprisal contains information about context alone. In response to this, we propose a technique where we project surprisal onto the orthogonal complement of frequency, yielding a new contextual predictor that is uncorrelated with frequency. Our experiments show that the proportion of variance in reading times explained by context is a lot smaller when context is represented by the orthogonalized predictor. From an interpretability standpoint, this indicates that previous studies may have overstated the role that context has in predicting reading times.
- Abstract（参考訳）: 我々は,リアルタイム言語理解において,読者がコンテキストをどのように統合するかについて,新たな視点を提示する。
提案手法は,言語単位(例えば,単語)の処理作業が,文脈内情報の内容のアフィン関数であることを示す。
まず,文脈予測器が言語モデルから導出できる可能性の多さのうちの1つであることを考察する。
もう一つは、単位とその文脈の間のポイントワイド相互情報(PMI)であり、これは一グラムの周波数を制御しているときに、素数と同じ予測力が得られる。
さらに、PMIとサブプライサルは周波数と相関する。
これは PMI も sprisal もコンテキストのみに関する情報を含まないことを意味する。
これに対応して、周波数の直交補体に仮定を投影し、周波数とは無関係な新しい文脈予測器を生成する手法を提案する。
本実験は, 文脈が直交予測器で表される場合, 文脈によって説明される読解時間のばらつきの割合がはるかに小さいことを示す。
解釈可能性の観点からは、過去の研究が読解時間の予測において文脈が果たす役割を過大評価していた可能性があることを示している。
関連論文リスト
- The Effect of Surprisal on Reading Times in Information Seeking and Repeated Reading [1.2062053320259833]
我々は視線追跡データを用いて日常生活に共通する3つの言語処理体制を調べる。
処理時間に対する線形効果の存在に関する前提理論の予測は,これらの体制にまで及んでいることが判明した。
情報探索においては、そのような推定値が通常の推定値と比較して処理時間の予測能力を改善することはない。
論文 参考訳（メタデータ） (2024-10-10T17:43:34Z) - Testing the Predictions of Surprisal Theory in 11 Languages [77.45204595614]
本研究では,11言語における副次的時間と読解時間の関係について検討する。
より多様な言語に焦点をあてることで、これらの結果は、情報理論と言語間のインクリメンタル言語処理の最も堅牢なリンクを提供すると論じる。
論文 参考訳（メタデータ） (2023-07-07T15:37:50Z) - On the Effect of Anticipation on Reading Times [84.27103313675342]
我々は単語の文脈エントロピーとして予測を運用する。
単語の読解時間に対する文脈的エントロピーの影響を示す重要な証拠が得られた。
論文 参考訳（メタデータ） (2022-11-25T18:58:23Z) - Visual Answer Localization with Cross-modal Mutual Knowledge Transfer [6.895321502252051]
本稿では,知識の偏りを低減するため,モーダルな相互知識伝達スパンローカライゼーション(MutualSL)手法を提案する。
そこで本研究では,知識伝達の割合を動的に調整する一方向動的損失関数を設計する。
提案手法は,他の最先端技術(SOTA)手法よりも優れ,その有効性を実証する。
論文 参考訳（メタデータ） (2022-10-26T16:11:09Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳（メタデータ） (2022-03-10T08:58:18Z) - An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
In-context Learning の出現における事前学習分布の役割について検討した。
本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。
我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
論文 参考訳（メタデータ） (2021-11-03T09:12:33Z) - Temporal Common Sense Acquisition with Minimal Supervision [77.8308414884754]
この研究は、時間的常識の明示的で暗黙的な言及を活用する新しいシーケンスモデリング手法を提案する。
本手法は,時間的共通感覚の様々な次元の質予測を行う。
また、時間比較、親子関係、イベントコア参照、時間的QAなど、関連するタスクに対するイベントの表現も生成する。
論文 参考訳（メタデータ） (2020-05-08T22:20:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。