論文の概要: Different kinds of cognitive plausibility: why are transformers better than RNNs at predicting N400 amplitude?

• arxiv url: http://arxiv.org/abs/2107.09648v1
• Date: Tue, 20 Jul 2021 17:33:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 16:04:38.277882
• Title: Different kinds of cognitive plausibility: why are transformers better than RNNs at predicting N400 amplitude?
• Title（参考訳）: なぜトランスフォーマーはN400振幅を予測するのにRNNより優れているのか?
• Authors: James A. Michaelov, Megan D. Bardolph, Seana Coulson, Benjamin K. Bergen
• Abstract要約: トランスフォーマー言語モデルは、他のアーキテクチャを持つ言語モデルよりも、人間の言語理解を評価するのに使用されるメトリクスを予測するのに優れていることが判明した。 本研究では,人間における意味的ファシリテーションの効果に類似した,先行した文脈の予測が影響していることを示す。
• 参考スコア（独自算出の注目度）: 0.5735035463793008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite being designed for performance rather than cognitive plausibility, transformer language models have been found to be better at predicting metrics used to assess human language comprehension than language models with other architectures, such as recurrent neural networks. Based on how well they predict the N400, a neural signal associated with processing difficulty, we propose and provide evidence for one possible explanation - their predictions are affected by the preceding context in a way analogous to the effect of semantic facilitation in humans.
• Abstract（参考訳）: 認知的妥当性よりもパフォーマンスのために設計されたにもかかわらず、トランスフォーマー言語モデルは、リカレントニューラルネットワークのような他のアーキテクチャの言語モデルよりも、人間の言語理解を評価するのに使用されるメトリクスを予測するのに優れていることが判明した。 処理困難に関連する神経信号であるn400の予測の程度に基づいて,その予測は,人間の意味的ファシリテーションの効果に類似した方法で,先行する文脈によって影響を受けるという,一つの説明の証拠を提示し,提示する。

関連論文リスト

• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Meta predictive learning model of languages in neural circuits [2.5690340428649328]
  本稿では,予測符号化フレームワークにおける平均場学習モデルを提案する。 我々のモデルでは、ほとんどの接続は学習後に決定論的になる。 本モデルは,脳計算,次点予測,一般知能の関連性を調べるための出発点となる。
  論文  参考訳（メタデータ） (2023-09-08T03:58:05Z)
• Why can neural language models solve next-word prediction? A mathematical perspective [53.807657273043446]
  本研究では,英語文の実例をモデル化するための形式言語群について検討する。 我々の証明は、ニューラルネットワークモデルにおける埋め込み層と完全に接続されたコンポーネントの異なる役割を強調します。
  論文  参考訳（メタデータ） (2023-06-20T10:41:23Z)
• A Comprehensive Comparison of Neural Networks as Cognitive Models of Inflection [20.977461918631928]
  未知単語の屈折に対する人間の判断とニューラルネットワークの確率の相関について検討する。 我々はトランスフォーマーがLSTMよりも人間の行動のより良い説明であることを示す。
  論文  参考訳（メタデータ） (2022-10-22T00:59:40Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• So Cloze yet so Far: N400 Amplitude is Better Predicted by Distributional Information than Human Predictability Judgements [0.6445605125467573]
  我々は,自然言語刺激がN400の振幅を変調する方法を,計算言語モデルや人間の言語予測がよく反映するかどうかを検討する。 3つの最上位の現代言語モデルの予測は、人間の予測よりもN400と密接に一致していることがわかった。 このことは、N400の下の予測過程が、以前考えられていたよりも言語の表面レベル統計に敏感であることを示している。
  論文  参考訳（メタデータ） (2021-09-02T22:00:10Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• Human Sentence Processing: Recurrence or Attention? [3.834032293147498]
  最近導入されたTransformerアーキテクチャは、多くの自然言語処理タスクにおいてRNNよりも優れています。 本研究では,トランスフォーマーとRNNをベースとした言語モデルを用いて,人間の読取力を計測する能力の比較を行った。
  論文  参考訳（メタデータ） (2020-05-19T14:17:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。