論文の概要: Language Models Explain Word Reading Times Better Than Empirical
Predictability
- arxiv url: http://arxiv.org/abs/2202.01128v1
- Date: Wed, 2 Feb 2022 16:38:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-03 16:22:35.693485
- Title: Language Models Explain Word Reading Times Better Than Empirical
Predictability
- Title（参考訳）: 言語モデルによる単語の読み時間の予測可能性よりも優れた説明
- Authors: Markus J. Hofmann, Steffen Remus, Chris Biemann, Ralph Radach and Lars
Kuchinke
- Abstract要約: 認知読解研究における従来のアプローチは、文章の文脈から単語を予測することは、完結確率によって最もよく捉えられると仮定している。
確率言語モデルは、CCPよりも構文的および意味的効果の深い説明を提供する。
現在の単語のN-gramとRNN確率は、トピックモデルやCCPと比較して、より一貫して読み出し性能を予測できる。
- 参考スコア（独自算出の注目度）: 20.38397241720963
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Though there is a strong consensus that word length and frequency are the
most important single-word features determining visual-orthographic access to
the mental lexicon, there is less agreement as how to best capture syntactic
and semantic factors. The traditional approach in cognitive reading research
assumes that word predictability from sentence context is best captured by
cloze completion probability (CCP) derived from human performance data. We
review recent research suggesting that probabilistic language models provide
deeper explanations for syntactic and semantic effects than CCP. Then we
compare CCP with (1) Symbolic n-gram models consolidate syntactic and semantic
short-range relations by computing the probability of a word to occur, given
two preceding words. (2) Topic models rely on subsymbolic representations to
capture long-range semantic similarity by word co-occurrence counts in
documents. (3) In recurrent neural networks (RNNs), the subsymbolic units are
trained to predict the next word, given all preceding words in the sentences.
To examine lexical retrieval, these models were used to predict single fixation
durations and gaze durations to capture rapidly successful and standard lexical
access, and total viewing time to capture late semantic integration. The linear
item-level analyses showed greater correlations of all language models with all
eye-movement measures than CCP. Then we examined non-linear relations between
the different types of predictability and the reading times using generalized
additive models. N-gram and RNN probabilities of the present word more
consistently predicted reading performance compared with topic models or CCP.
- Abstract（参考訳）: 単語の長さと頻度が、精神的な語彙へのアクセスを視覚的に判断する最も重要な単一語の特徴であるという強いコンセンサスがあるが、統語論と意味論の要素を最善にとらえる方法についての一致は少ない。
認知読解研究における従来の手法は、文章の文脈から単語を予測することは、人間のパフォーマンスデータから導かれる閉包完了確率(CCP)によって最もよく捉えられると仮定している。
我々は,確率論的言語モデルがCCPよりも構文的・意味的効果の深い説明を提供することを示す最近の研究をレビューする。
次に,(1)シンボリックn-gramモデルとccpを比較し,先行する2つの単語を与えられた単語の確率を計算することにより,構文的・意味的短距離関係を統合する。
2) 話題モデルは文書中の単語共起数による長距離意味的類似性を取り込むための部分記号表現に依存する。
(3) リカレントニューラルネットワーク(RNN)では, 文中のすべての先行する単語から次の単語を予測するために, サブシンボリックユニットを訓練する。
これらのモデルを用いて語彙検索を行い, 単一の固定期間と視線継続時間を予測し, 急速に成功し, 標準語彙アクセスを捉え, 後期意味統合を捉える総視聴時間を求めた。
線形項目レベル分析では,全言語モデルと全眼球運動指標との相関がcppよりも高かった。
次に, 一般化加法モデルを用いて, 予測可能性の異なるタイプと読み時間との非線形関係について検討した。
現在の単語のN-gramとRNN確率は、トピックモデルやCCPと比較して、より一貫して読み出し性能を予測できる。
関連論文リスト
- Graph Stochastic Neural Process for Inductive Few-shot Knowledge Graph Completion [63.68647582680998]
I-FKGC(inductive few-shot knowledge graph completion)と呼ばれる課題に焦点をあてる。
帰納的推論(inductive reasoning)の概念に着想を得て,I-FKGCを帰納的推論問題とした。
本稿では,仮説の連成分布をモデル化したニューラルプロセスに基づく仮説抽出器を提案する。
第2のモジュールでは、この仮説に基づいて、クエリセットのトリプルが抽出された仮説と一致するかどうかをテストするグラフアテンションベースの予測器を提案する。
論文 参考訳（メタデータ） (2024-08-03T13:37:40Z) - Contextual Dictionary Lookup for Knowledge Graph Completion [32.493168863565465]
知識グラフ補完(KGC)は、知識グラフの不完全性(KGs)を解決することを目的として、既知の三重項から欠落するリンクを予測する。
既存の埋め込みモデルは、それぞれの関係を一意なベクトルにマッピングし、異なる実体の下でそれらの特定の粒度のセマンティクスを見渡す。
本稿では,従来の埋め込みモデルを用いて,関係の微粒なセマンティクスをエンド・ツー・エンドで学習することのできる,文脈辞書検索を利用した新しい手法を提案する。
論文 参考訳（メタデータ） (2023-06-13T12:13:41Z) - Token-wise Decomposition of Autoregressive Language Model Hidden States
for Analyzing Model Predictions [9.909170013118775]
本研究は,各初期入力トークンに基づいて,自己回帰言語モデルから最終隠れ状態の線形分解を行う。
次単語確率の変化を重要度尺度として、まず、どの文脈語が言語モデル予測に最も貢献するかを検討する。
論文 参考訳（メタデータ） (2023-05-17T23:55:32Z) - Topics in the Haystack: Extracting and Evaluating Topics beyond
Coherence [0.0]
本稿では,文と文書のテーマを深く理解する手法を提案する。
これにより、一般的な単語やネオロジズムを含む潜在トピックを検出することができる。
本稿では, 侵入者の単語の人間識別と相関係数を示し, 単語侵入作業において, ほぼ人間レベルの結果を得る。
論文 参考訳（メタデータ） (2023-03-30T12:24:25Z) - Did the Cat Drink the Coffee? Challenging Transformers with Generalized
Event Knowledge [59.22170796793179]
Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。
以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。
しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
論文 参考訳（メタデータ） (2021-07-22T20:52:26Z) - A comprehensive comparative evaluation and analysis of Distributional
Semantic Models [61.41800660636555]
我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。
その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。
我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
論文 参考訳（メタデータ） (2021-05-20T15:18:06Z) - Prototypical Representation Learning for Relation Extraction [56.501332067073065]
本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。
文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。
いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-03-22T08:11:43Z) - Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。
モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。
要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
論文 参考訳（メタデータ） (2020-10-15T16:57:27Z) - High-order Semantic Role Labeling [86.29371274587146]
本稿では,ニューラルセマンティックロールラベリングモデルのための高階グラフ構造を提案する。
これにより、モデルは孤立述語-引数対だけでなく、述語-引数対間の相互作用も明示的に考慮することができる。
CoNLL-2009ベンチマークの7つの言語に対する実験結果から、高次構造学習技術は強力なSRLモデルに有益であることが示された。
論文 参考訳（メタデータ） (2020-10-09T15:33:54Z) - Exploring BERT's Sensitivity to Lexical Cues using Tests from Semantic
Priming [8.08493736237816]
本研究は, セマンティックプライミング(セマンティックプライミング)を用いて, 事前学習したBERTモデルを解析するケーススタディである。
BERTもまた「価格」を示し、文脈が関連語を含む場合と非関連語を含む場合の確率がより大きいことを予測している。
フォローアップ分析では、コンテキストがより情報的になるにつれて、BERTは関連した素語に気を散らす傾向にある。
論文 参考訳（メタデータ） (2020-10-06T20:30:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。