論文の概要: Testing the Predictions of Surprisal Theory in 11 Languages

• arxiv url: http://arxiv.org/abs/2307.03667v2
• Date: Mon, 10 Jul 2023 11:38:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 10:13:51.222875
• Title: Testing the Predictions of Surprisal Theory in 11 Languages
• Title（参考訳）: 11言語における予備理論の予測の検証
• Authors: Ethan Gotlieb Wilcox, Tiago Pimentel, Clara Meister, Ryan Cotterell, Roger P. Levy
• Abstract要約: 本研究では,11言語における副次的時間と読解時間の関係について検討する。 より多様な言語に焦点をあてることで、これらの結果は、情報理論と言語間のインクリメンタル言語処理の最も堅牢なリンクを提供すると論じる。
• 参考スコア（独自算出の注目度）: 71.0450229199313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A fundamental result in psycholinguistics is that less predictable words take a longer time to process. One theoretical explanation for this finding is Surprisal Theory (Hale, 2001; Levy, 2008), which quantifies a word's predictability as its surprisal, i.e. its negative log-probability given a context. While evidence supporting the predictions of Surprisal Theory have been replicated widely, most have focused on a very narrow slice of data: native English speakers reading English texts. Indeed, no comprehensive multilingual analysis exists. We address this gap in the current literature by investigating the relationship between surprisal and reading times in eleven different languages, distributed across five language families. Deriving estimates from language models trained on monolingual and multilingual corpora, we test three predictions associated with surprisal theory: (i) whether surprisal is predictive of reading times; (ii) whether expected surprisal, i.e. contextual entropy, is predictive of reading times; (iii) and whether the linking function between surprisal and reading times is linear. We find that all three predictions are borne out crosslinguistically. By focusing on a more diverse set of languages, we argue that these results offer the most robust link to-date between information theory and incremental language processing across languages.
• Abstract（参考訳）: 精神言語学の基本的な結果は、予測可能な単語の少ない処理に時間がかかることである。 この発見の理論的説明の1つは、ある単語の予測可能性、すなわちその文脈が与えられた負の対数確率を定量化する仮定理論(Hale, 2001; Levy, 2008)である。 代理理論の予測を裏付ける証拠は広く複製されているが、ほとんどは英語の話者が英語のテキストを読むという非常に狭いデータに焦点が当てられている。 実際、包括的多言語分析は存在しない。 5つの言語族にまたがって分布する11の異なる言語における超越時間と読み時間の関係を調べることにより,現在の文献におけるこのギャップに対処した。 単言語および多言語コーパスで学習した言語モデルから推定を導出し,超越理論に関連する3つの予測を検証した。 (i)supprisalが読み時間を予測するか否か (二 予想外、すなわち文脈エントロピーが読解時間の予測であるか否か。) (iii) 副次的時間と読解時間の連結関数が線形であるか否か。 3つの予測はすべて言語横断的に展開されている。 より多様な言語に焦点をあてることで、これらの結果は、情報理論と言語間のインクリメンタル言語処理の最も堅牢なリンクを提供すると論じる。

関連論文リスト

• On the Proper Treatment of Tokenization in Psycholinguistics [53.960910019072436]
  論文は、トークンレベルの言語モデルは、精神言語学研究で使用される前に、文字レベルの言語モデルにマージ化されるべきであると主張している。 興味領域自体のサブプライムよりも心理学的予測が優れている様々な焦点領域を見いだす。
  論文  参考訳（メタデータ） (2024-10-03T17:18:03Z)
• On the Role of Context in Reading Time Prediction [50.87306355705826]
  我々は,リアルタイム言語理解において,読者がコンテキストをどのように統合するかについて,新たな視点を提示する。 提案手法は,言語単位の処理作業が文脈内情報の内容のアフィン関数であることを示す素因的理論に基づいている。
  論文  参考訳（メタデータ） (2024-09-12T15:52:22Z)
• SPAWNing Structural Priming Predictions from a Cognitively Motivated Parser [20.83447226847776]
  我々は、SPAWNを用いて、英語の相対節の構造に関する2つの理論から、プライミング予測を生成する。 パルティシパル・パーゼ理論の予測は人間の行動と一致しているが、ウィズ・ディレティオン理論の予測には一致しなかった。
  論文  参考訳（メタデータ） (2024-03-11T22:58:58Z)
• On the Effect of Anticipation on Reading Times [84.27103313675342]
  我々は単語の文脈エントロピーとして予測を運用する。 単語の読解時間に対する文脈的エントロピーの影響を示す重要な証拠が得られた。
  論文  参考訳（メタデータ） (2022-11-25T18:58:23Z)
• Syntactic Surprisal From Neural Models Predicts, But Underestimates, Human Processing Difficulty From Syntactic Ambiguities [19.659811811023374]
  言語モデルから構文予測可能性を推定する手法を提案する。 構文的予測可能性と語彙的予測可能性とを独立に扱うことで,園路効果のより大きい推定結果が得られた。 本研究は, 庭道文に付随する処理コストの要因は, 予測可能性だけではないという仮説を支持する。
  論文  参考訳（メタデータ） (2022-10-21T18:30:56Z)
• Long-range and hierarchical language predictions in brains and algorithms [82.81964713263483]
  深層言語アルゴリズムは隣接した単語の予測に最適化されているが、人間の脳は長距離で階層的な予測を行うように調整されている。 本研究は、予測符号化理論を強化し、自然言語処理における長距離および階層的予測の重要な役割を示唆する。
  論文  参考訳（メタデータ） (2021-11-28T20:26:07Z)
• Revisiting the Uniform Information Density Hypothesis [44.277066511088634]
  読み出し時間と受理可能性データを用いて,一様情報密度(UID)仮説について検討する。 受理性判定では,情報密度の非均一性が受理性低下の予測であることを示す。
  論文  参考訳（メタデータ） (2021-09-23T20:41:47Z)
• You Can Do Better! If You Elaborate the Reason When Making Prediction [13.658942796267015]
  本論文では,大きな学習済み言語モデルと組み合わせた新しいニューラル予測フレームワークを提案し,予測を行い,それに対応する説明を同時に生成する。 中国の医学的複数選択質問応答, 英語自然言語推論, 常識質問回答タスクに関する予備的実証的研究を行った。 また,提案手法は,3つのデータセットに対する予測精度の向上も達成し,意思決定プロセスにおける説明の生成による予測のメリットが示唆された。
  論文  参考訳（メタデータ） (2021-03-27T14:55:19Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。