論文の概要: Deep Neural Networks Evolve Human-like Attention Distribution during Reading Comprehension

• arxiv url: http://arxiv.org/abs/2107.05799v1
• Date: Tue, 13 Jul 2021 01:07:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-15 01:07:00.556359
• Title: Deep Neural Networks Evolve Human-like Attention Distribution during Reading Comprehension
• Title（参考訳）: 深層ニューラルネットワークによる読解時の人間の意識分布の解明
• Authors: Jiajie Zou and Nai Ding
• Abstract要約: 我々は,人間とディープニューラルネットワーク (DNN) が,テキストの文読解において,特定の質問に回答するために,同等の方法で注意を割り当てているかどうかを検討する。 DNNの注意分布は固定時間で測定された人間の注意分布に類似していることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention is a key mechanism for information selection in both biological brains and many state-of-the-art deep neural networks (DNNs). Here, we investigate whether humans and DNNs allocate attention in comparable ways when reading a text passage to subsequently answer a specific question. We analyze 3 transformer-based DNNs that reach human-level performance when trained to perform the reading comprehension task. We find that the DNN attention distribution quantitatively resembles human attention distribution measured by fixation times. Human readers fixate longer on words that are more relevant to the question-answering task, demonstrating that attention is modulated by top-down reading goals, on top of lower-level visual and text features of the stimulus. Further analyses reveal that the attention weights in DNNs are also influenced by both top-down reading goals and lower-level stimulus features, with the shallow layers more strongly influenced by lower-level text features and the deep layers attending more to task-relevant words. Additionally, deep layers' attention to task-relevant words gradually emerges when pre-trained DNN models are fine-tuned to perform the reading comprehension task, which coincides with the improvement in task performance. These results demonstrate that DNNs can evolve human-like attention distribution through task optimization, which suggests that human attention during goal-directed reading comprehension is a consequence of task optimization.
• Abstract（参考訳）: 注意は、生物学的脳と最先端のディープニューラルネットワーク(dnn)の両方において、情報選択の重要なメカニズムである。 そこで本研究では,人間とDNNがテキストの文読解時に,それと同等の方法で注意を割くかどうかを検討する。 読解タスクの実行訓練において,人間レベルの性能に達する3つのトランスフォーマーベースDNNを分析した。 DNNの注意分布は固定時間による人間の注意分布と定量的に類似していることがわかった。 人間の読者は、質問応答タスクにもっと関係のある単語に固執し、刺激の低レベルの視覚とテキストの特徴に加えて、トップダウンの読書目標によって注意が移されることを示している。 さらに、DNNの注意重みはトップダウン読み上げ目標と下位レベルの刺激特徴の両方の影響を受けており、浅い層は下位レベルのテキスト特徴に強く影響され、深い層はタスク関連語により強く依存することが明らかとなった。 さらに,学習済みのDNNモデルを微調整して読解タスクを実行すると,タスク関連語に対する深いレイヤの注意が徐々に高まっていく。 これらの結果は、DNNがタスク最適化によって人間のような注意分布を進化させることができることを示している。

関連論文リスト

• Fine-Grained Prediction of Reading Comprehension from Eye Movements [1.2062053320259833]
  本研究は, 視線運動からの読解理解を, 通路上の1つの質問のレベルで予測する作業に焦点をあてる。 3つの新しいマルチモーダル言語モデルと,文献から得られた先行モデルのバッテリを用いて,この課題に取り組む。 評価の結果,目の動きは,視力の把握に有用な信号を含んでいることが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T13:55:06Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  大規模言語モデル(LLM)は、実際に目に見えないタスクに一般化するか、大量の事前学習データを記憶することに依存するかという議論を引き起こしている。 本稿では,LLMの出力確率と事前学習データ頻度との相関を計測する,メモリ化,分散メモリ化という拡張された概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 暗記がより大きな役割を果たすことを示した。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• Previously on the Stories: Recap Snippet Identification for Story Reading [51.641565531840186]
  本稿では,手作り評価データセットを用いたRecap Snippet Identificationと呼ばれる,この有用なタスクに関する最初のベンチマークを提案する。 本実験により,提案課題は,提案課題がスニペット間のプロット相関の深い理解を必要とするため,PLM,LSM,および提案手法に難題であることが判明した。
  論文  参考訳（メタデータ） (2024-02-11T18:27:14Z)
• Understanding Attention for Vision-and-Language Tasks [4.752823994295959]
  本研究では,アテンションスコア計算手法を検討することで,アテンションアライメントの役割を理解するための包括的な分析を行う。 また、注目スコア計算機構がより(あるいはそれ以下)解釈可能な条件も分析する。 我々の分析は,VLタスクの学習段階に適用した場合の,各アテンションアライメントスコア計算の重要性に関する有用な知見を提供する。
  論文  参考訳（メタデータ） (2022-08-17T06:45:07Z)
• LadRa-Net: Locally-Aware Dynamic Re-read Attention Net for Sentence Semantic Matching [66.65398852962177]
  文意味マッチングのための新しい動的再読ネットワーク(DRr-Net)を開発した。 DRr-Netをローカルに認識する動的再読み取り注意ネット(LadRa-Net)に拡張する 2つの一般的な文意味マッチングタスクの実験により、DRr-Netは文意味マッチングの性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-08-06T02:07:04Z)
• Variational Structured Attention Networks for Deep Visual Representation Learning [49.80498066480928]
  空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。 具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。 ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
  論文  参考訳（メタデータ） (2021-03-05T07:37:24Z)
• Narrative Incoherence Detection [76.43894977558811]
  本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。 複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
  論文  参考訳（メタデータ） (2020-12-21T07:18:08Z)
• Bridging Information-Seeking Human Gaze and Machine Reading Comprehension [23.153841344989143]
  読解時の人間の視線が、所定の読解質問に対してどのように条件付けられているかを分析する。 本研究では,人間の情報探索行動の模倣によって,より人間らしく読みやすい読み方を実現することを提案する。
  論文  参考訳（メタデータ） (2020-09-30T16:34:27Z)
• Attention based Writer Independent Handwriting Verification [0.0]
  我々は,2次元入力の特徴空間における有意点を捉えるために,クロスアテンション機構とソフトアテンション機構を実装し,統合する。 ネットワークの複数のレベルからアテンションマップを抽出することにより、提案した決定に対して意味のある説明を生成する。
  論文  参考訳（メタデータ） (2020-09-07T16:28:16Z)
• Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization [86.45110800123216]
  テキスト要約のタスクでは、単語、フレーズ、文のサリエンス推定が重要な要素である。 本稿では,サラレンス推定のための2つの新しい注目学習要素を含むマルチアテンション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T02:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。