論文の概要: On the Predictive Power of Neural Language Models for Human Real-Time Comprehension Behavior

• arxiv url: http://arxiv.org/abs/2006.01912v1
• Date: Tue, 2 Jun 2020 19:47:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 00:30:12.203733
• Title: On the Predictive Power of Neural Language Models for Human Real-Time Comprehension Behavior
• Title（参考訳）: 人間のリアルタイム理解行動のためのニューラルネットワークモデルの予測能力について
• Authors: Ethan Gotlieb Wilcox, Jon Gauthier, Jennifer Hu, Peng Qian and Roger Levy
• Abstract要約: 我々は、自然言語テキストコーパスにおいて、その次の単語の予測が人間の読書時間をどのように予測するかを、2ダース以上のモデルで検証する。 これらのモデルの特徴が、その心理測定的予測能力や、人間の読書行動を予測する能力をどのように決定するかを評価する。 任意の難易度に対して、ディープトランスフォーマーモデルとn-gramモデルはLSTMや構造的に制御されたニューラルモデルよりも優れた心理測定予測力を示す。
• 参考スコア（独自算出の注目度）: 29.260666424382446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human reading behavior is tuned to the statistics of natural language: the time it takes human subjects to read a word can be predicted from estimates of the word's probability in context. However, it remains an open question what computational architecture best characterizes the expectations deployed in real time by humans that determine the behavioral signatures of reading. Here we test over two dozen models, independently manipulating computational architecture and training dataset size, on how well their next-word expectations predict human reading time behavior on naturalistic text corpora. We find that across model architectures and training dataset sizes the relationship between word log-probability and reading time is (near-)linear. We next evaluate how features of these models determine their psychometric predictive power, or ability to predict human reading behavior. In general, the better a model's next-word expectations, the better its psychometric predictive power. However, we find nontrivial differences across model architectures. For any given perplexity, deep Transformer models and n-gram models generally show superior psychometric predictive power over LSTM or structurally supervised neural models, especially for eye movement data. Finally, we compare models' psychometric predictive power to the depth of their syntactic knowledge, as measured by a battery of syntactic generalization tests developed using methods from controlled psycholinguistic experiments. Once perplexity is controlled for, we find no significant relationship between syntactic knowledge and predictive power. These results suggest that different approaches may be required to best model human real-time language comprehension behavior in naturalistic reading versus behavior for controlled linguistic materials designed for targeted probing of syntactic knowledge.
• Abstract（参考訳）: 人間の読み動作は、自然言語の統計に調整される: 単語を読むのに人間の被験者が要する時間は、文脈における単語の確率の推定から予測できる。 しかしながら、計算アーキテクチャーは、人間の読み取りの行動的シグネチャを決定する人間によってリアルタイムで展開される期待を最も特徴付けるか、という未解決の疑問が残る。 ここでは,計算アーキテクチャとデータセットサイズを独立に操作し,自然主義的なテキストコーパス上での人間の読み時間挙動を,次の単語の期待がいかにうまく予測できるかを検証した。 モデルアーキテクチャとトレーニングデータセットのサイズによって、単語のログ確率と読み込み時間の関係は(ほぼ)線形であることが分かりました。 次に、これらのモデルの特徴が、心理測定予測能力や人間の読書行動を予測する能力をどのように決定するかを評価する。 一般に、モデルが次の単語に期待するほど、その精神測定予測能力は向上する。 しかし、モデルアーキテクチャにまたがる非自明な違いが見つかる。 任意のパープレキシティに対して、深層トランスフォーマモデルとn-gramモデルは通常、lstmや構造的に教師付き神経モデル、特に眼球運動データよりも優れた心理測定予測能力を示す。 最後に,制御された心理言語学的実験の手法を用いて開発した構文一般化テストのバッテリを用いて,モデルの心理計測予測パワーと構文知識の深さを比較した。 パープレキシティが制御されると、構文知識と予測力の間に有意な関係は見つからない。 これらの結果から,自然読解における人間のリアルタイム言語理解行動と,統語論的知識の探索を目的とした制御的言語教材の行動の最適なモデル化には,異なるアプローチが必要であることが示唆された。

関連論文リスト

• Reverse-Engineering the Reader [43.26660964074272]
  本稿では,線形回帰器のパラメータを暗黙的に最適化するために,言語モデルを微調整する新しいアライメント手法を提案する。 単語をテストケースとして使用し、複数のモデルサイズとデータセットにわたる手法を評価する。 ダウンストリームNLPタスクにおける心理測定パワーとモデルの性能の逆関係と、ホールドアウトテストデータにおけるその難易度を見出した。
  論文  参考訳（メタデータ） (2024-10-16T23:05:01Z)
• Beyond Text: Leveraging Multi-Task Learning and Cognitive Appraisal Theory for Post-Purchase Intention Analysis [10.014248704653]
  本研究では,ユーザの行動を予測するための認知評価理論に基づくマルチタスク学習フレームワークを評価する。 実験の結果, ユーザの言語や特徴は, テキストのみから予測するモデル以上の予測を改善することがわかった。
  論文  参考訳（メタデータ） (2024-07-11T04:57:52Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Humans and language models diverge when predicting repeating text [52.03471802608112]
  我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。 人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。 このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
  論文  参考訳（メタデータ） (2023-10-10T08:24:28Z)
• Meta predictive learning model of languages in neural circuits [2.5690340428649328]
  本稿では,予測符号化フレームワークにおける平均場学習モデルを提案する。 我々のモデルでは、ほとんどの接続は学習後に決定論的になる。 本モデルは,脳計算,次点予測,一般知能の関連性を調べるための出発点となる。
  論文  参考訳（メタデータ） (2023-09-08T03:58:05Z)
• Transformer-Based Language Model Surprisal Predicts Human Reading Times Best with About Two Billion Training Tokens [17.80735287413141]
  本研究では,トランスフォーマーをベースとした言語モデル変種から,人間の読解時間を予測する能力に基づいて推定した推定値について検討した。 その結果、現代のモデル能力を持つほとんどの変種からの推定は、約20億のトレーニングトークンを見た後、最も適していることがわかった。 新たに訓練されたより小さなモデル変種は収束時に「転換点」を示し、その後言語モデルの難易度が低下し始め、人間の読解時間に適合する。
  論文  参考訳（メタデータ） (2023-04-22T12:50:49Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)
• Probabilistic Predictions of People Perusing: Evaluating Metrics of Language Model Performance for Psycholinguistic Modeling [0.8668211481067458]
  我々は、Goodkind と Bicknell による主張を再評価し、言語モデルが読み出し時間をモデル化する能力は、その難易度の線形関数であると主張した。 提案手法は,Long Short-Term Memory Network, Transformer, および事前学習モデルに必ずしも適用されないことを示す。
  論文  参考訳（メタデータ） (2020-09-08T19:12:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。