Fugu-MT 論文翻訳(概要): Human Sentence Processing: Recurrence or Attention?

論文の概要: Human Sentence Processing: Recurrence or Attention?

arxiv url: http://arxiv.org/abs/2005.09471v2
Date: Tue, 4 May 2021 12:49:14 GMT
ステータス: 処理完了
システム内更新日: 2022-12-01 13:57:29.636704
Title: Human Sentence Processing: Recurrence or Attention?
Title（参考訳）: 人間の文処理:再帰か注意か?
Authors: Danny Merkx and Stefan L. Frank
Abstract要約: 最近導入されたTransformerアーキテクチャは、多くの自然言語処理タスクにおいてRNNよりも優れています。本研究では,トランスフォーマーとRNNをベースとした言語モデルを用いて,人間の読取力を計測する能力の比較を行った。
参考スコア（独自算出の注目度）: 3.834032293147498
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recurrent neural networks (RNNs) have long been an architecture of interest for computational models of human sentence processing. The recently introduced Transformer architecture outperforms RNNs on many natural language processing tasks but little is known about its ability to model human language processing. We compare Transformer- and RNN-based language models' ability to account for measures of human reading effort. Our analysis shows Transformers to outperform RNNs in explaining self-paced reading times and neural activity during reading English sentences, challenging the widely held idea that human sentence processing involves recurrent and immediate processing and provides evidence for cue-based retrieval.
Abstract（参考訳）: リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、人間の文処理の計算モデルに対する関心のアーキテクチャである。最近導入されたtransformerアーキテクチャは、多くの自然言語処理タスクでrnnを上回るが、人間の言語処理をモデル化する能力についてはほとんど知られていない。トランスフォーマーとrnnに基づく言語モデルの比較を行い,人間の読解力の尺度について考察した。本研究は,英語文章の読解において,自己ペースの読解時間や神経活動を説明する上で,rnnに勝るトランスフォーマーを示し,人間の文処理には反復処理や即時処理が伴うという考えに挑戦し,手がかりに基づく検索のエビデンスを提供する。

関連論文リスト

Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
形式言語理論は、特に認識者に関するものである。代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
論文参考訳（メタデータ） (2024-11-11T16:33:25Z)
In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文参考訳（メタデータ） (2024-01-23T18:59:21Z)
Advancing Regular Language Reasoning in Linear Recurrent Neural Networks [56.11830645258106]
本稿では,リニアリカレントニューラルネットワーク(LRNN)がトレーニングシーケンスに隠された規則を学習できるかを検討する。ブロック対角および入力依存遷移行列を備えた新しいLRNNを提案する。実験結果から,提案モデルが正規言語タスクに対して長さ外挿を行うことができる唯一のLRNNであることが示唆された。
論文参考訳（メタデータ） (2023-09-14T03:36:01Z)
Deep Learning Models to Study Sentence Comprehension in the Human Brain [0.1503974529275767]
自然言語を処理する最近の人工ニューラルネットワークは、文レベルの理解を必要とするタスクにおいて、前例のないパフォーマンスを達成する。我々は、これらの人工言語モデルと人間の脳活動を比較する研究をレビューし、このアプローチが自然言語理解に関わる神経プロセスの理解をいかに改善したかを評価する。
論文参考訳（メタデータ） (2023-01-16T10:31:25Z)
Implicit N-grams Induced by Recurrence [10.053475465955794]
本稿では,隠された状態内に存在する説明可能な構成要素が実際に存在することを示す。下流感情分析課題において, 訓練されたRNNから抽出した特徴を抽出し, 興味深い言語現象のモデル化に有効であることを確認した。
論文参考訳（メタデータ） (2022-05-05T15:53:46Z)
Dependency-based Mixture Language Models [53.152011258252315]
依存性に基づく混合言語モデルを紹介する。より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
論文参考訳（メタデータ） (2022-03-19T06:28:30Z)
Dynamic Gesture Recognition [0.0]
従来のコンピュータビジョンアルゴリズムの代わりに、機械学習を使って画像や動画を分類することができる。このプロジェクトの目的は、畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の共生を構築することである。
論文参考訳（メタデータ） (2021-09-20T09:45:29Z)
Different kinds of cognitive plausibility: why are transformers better than RNNs at predicting N400 amplitude? [0.5735035463793008]
トランスフォーマー言語モデルは、他のアーキテクチャを持つ言語モデルよりも、人間の言語理解を評価するのに使用されるメトリクスを予測するのに優れていることが判明した。本研究では,人間における意味的ファシリテーションの効果に類似した,先行した文脈の予測が影響していることを示す。
論文参考訳（メタデータ） (2021-07-20T17:33:13Z)
Neuroevolution of a Recurrent Neural Network for Spatial and Working Memory in a Simulated Robotic Environment [57.91534223695695]
我々は,ラットで観察される行動と神経活動を再現する進化的アルゴリズムを用いて,生物学的に有意なリカレントニューラルネットワーク(RNN)でウェイトを進化させた。提案手法は, 進化したRNNの動的活動が, 興味深く複雑な認知行動をどのように捉えているかを示す。
論文参考訳（メタデータ） (2021-02-25T02:13:52Z)
A Token-wise CNN-based Method for Sentence Compression [31.9210679048841]
文圧縮は、原文の短縮とキー情報の保存を目的とした自然言語処理(NLP)タスクである。現在の手法は主に処理速度の悪いリカレントニューラルネットワーク(RNN)モデルに基づいている。本稿では,CNN ベースモデルであるトークンワイド・コナールニューラルネットワークと,削除に基づく文圧縮のための事前学習された双方向表現(BERT)機能を提案する。
論文参考訳（メタデータ） (2020-09-23T17:12:06Z)
Recognizing Long Grammatical Sequences Using Recurrent Networks Augmented With An External Differentiable Stack [73.48927855855219]
リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。 RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
論文参考訳（メタデータ） (2020-04-04T14:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。