論文の概要: So Cloze yet so Far: N400 Amplitude is Better Predicted by Distributional Information than Human Predictability Judgements

• arxiv url: http://arxiv.org/abs/2109.01226v1
• Date: Thu, 2 Sep 2021 22:00:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-06 14:07:55.792894
• Title: So Cloze yet so Far: N400 Amplitude is Better Predicted by Distributional Information than Human Predictability Judgements
• Title（参考訳）: N400振幅は人間の予測可能性判定より分布情報の方が優れている
• Authors: James A. Michaelov and Seana Coulson and Benjamin K. Bergen
• Abstract要約: 我々は,自然言語刺激がN400の振幅を変調する方法を,計算言語モデルや人間の言語予測がよく反映するかどうかを検討する。 3つの最上位の現代言語モデルの予測は、人間の予測よりもN400と密接に一致していることがわかった。 このことは、N400の下の予測過程が、以前考えられていたよりも言語の表面レベル統計に敏感であることを示している。
• 参考スコア（独自算出の注目度）: 0.6445605125467573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: More predictable words are easier to process - they are read faster and elicit smaller neural signals associated with processing difficulty, most notably, the N400 component of the event-related brain potential. Thus, it has been argued that prediction of upcoming words is a key component of language comprehension, and that studying the amplitude of the N400 is a valuable way to investigate the predictions that we make. In this study, we investigate whether the linguistic predictions of computational language models or humans better reflect the way in which natural language stimuli modulate the amplitude of the N400. One important difference in the linguistic predictions of humans versus computational language models is that while language models base their predictions exclusively on the preceding linguistic context, humans may rely on other factors. We find that the predictions of three top-of-the-line contemporary language models - GPT-3, RoBERTa, and ALBERT - match the N400 more closely than human predictions. This suggests that the predictive processes underlying the N400 may be more sensitive to the surface-level statistics of language than previously thought.
• Abstract（参考訳）: より予測可能な単語は処理が容易であり、より速く読み上げられ、処理困難に関連するより小さな神経信号、特にイベント関連脳電位のn400成分を誘発する。 したがって、今後の単語の予測は言語理解の重要な要素であり、N400の振幅を研究することは、我々が行う予測を調査するための貴重な方法である、と論じられている。 本研究では,自然言語刺激がN400の振幅を変調する方法を,計算言語モデルや人間の言語予測がよく反映するかどうかを検討する。 人間の言語モデルと計算言語モデルの言語予測における重要な違いの1つは、言語モデルは以前の言語コンテキストのみに基づくが、人間は他の要因に依存する可能性があることである。 GPT-3、RoBERTa、ALBERTの3つの最上位の現代言語モデルの予測は、人間の予測よりもN400と密接に一致している。 これは、N400の下の予測過程が以前考えられていたよりも言語の表面レベル統計に敏感であることを示している。

関連論文リスト

• Causal Graph in Language Model Rediscovers Cortical Hierarchy in Human Narrative Processing [0.0]
  これまでの研究では、言語モデルの特徴がfMRI脳活動にマッピングできることが示されている。 これは、言語モデルにおける情報処理と人間の脳の間に共通点があるのだろうか? 言語モデルにおける情報フローパターンを推定するために,異なる層間の因果関係について検討した。
  論文  参考訳（メタデータ） (2023-11-17T10:09:12Z)
• Humans and language models diverge when predicting repeating text [52.03471802608112]
  我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。 人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。 このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
  論文  参考訳（メタデータ） (2023-10-10T08:24:28Z)
• Meta predictive learning model of languages in neural circuits [2.5690340428649328]
  本稿では,予測符号化フレームワークにおける平均場学習モデルを提案する。 我々のモデルでは、ほとんどの接続は学習後に決定論的になる。 本モデルは,脳計算,次点予測,一般知能の関連性を調べるための出発点となる。
  論文  参考訳（メタデータ） (2023-09-08T03:58:05Z)
• Collateral facilitation in humans and language models [0.6091702876917281]
  人間は、非常に異常な単語に対して、同様の処理の利点を示す。 本稿では、人間の言語理解と言語モデルによる予測の両方を理解することの意味について論じる。
  論文  参考訳（メタデータ） (2022-11-09T21:08:08Z)
• What Artificial Neural Networks Can Tell Us About Human Language Acquisition [47.761188531404066]
  自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。 計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
  論文  参考訳（メタデータ） (2022-08-17T00:12:37Z)
• Training Language Models with Natural Language Feedback [51.36137482891037]
  3段階学習アルゴリズムを用いてモデル出力の言語フィードバックから学習する。 合成実験において、まず言語モデルがフィードバックを正確に組み込んで改良を行うかどうかを評価する。 人間の手書きフィードバックのサンプルは100程度しかなく, 学習アルゴリズムはGPT-3モデルを微調整し, ほぼ人間レベルの要約を行う。
  論文  参考訳（メタデータ） (2022-04-29T15:06:58Z)
• Long-range and hierarchical language predictions in brains and algorithms [82.81964713263483]
  深層言語アルゴリズムは隣接した単語の予測に最適化されているが、人間の脳は長距離で階層的な予測を行うように調整されている。 本研究は、予測符号化理論を強化し、自然言語処理における長距離および階層的予測の重要な役割を示唆する。
  論文  参考訳（メタデータ） (2021-11-28T20:26:07Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Different kinds of cognitive plausibility: why are transformers better than RNNs at predicting N400 amplitude? [0.5735035463793008]
  トランスフォーマー言語モデルは、他のアーキテクチャを持つ言語モデルよりも、人間の言語理解を評価するのに使用されるメトリクスを予測するのに優れていることが判明した。 本研究では,人間における意味的ファシリテーションの効果に類似した,先行した文脈の予測が影響していることを示す。
  論文  参考訳（メタデータ） (2021-07-20T17:33:13Z)
• Emergent Communication Pretraining for Few-Shot Machine Translation [66.48990742411033]
  我々は、参照ゲームからの創発的コミュニケーションを介してニューラルネットワークを事前訓練する。 私たちの重要な前提は、実世界の環境の粗悪な近似として、画像に基づくコミュニケーションを基盤にすることで、帰納的に自然言語学習のモデルに偏りが生じる、ということです。
  論文  参考訳（メタデータ） (2020-11-02T10:57:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。