論文の概要: Human Attention during Goal-directed Reading Comprehension Relies on Task Optimization

• arxiv url: http://arxiv.org/abs/2107.05799v2
• Date: Sun, 23 Apr 2023 01:50:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-26 01:14:12.814776
• Title: Human Attention during Goal-directed Reading Comprehension Relies on Task Optimization
• Title（参考訳）: タスク最適化におけるゴール指向読解における人間の注意
• Authors: Jiajie Zou, Yuran Zhang, Jialu Li, Xing Tian, and Nai Ding
• Abstract要約: ゴール指向読書(Goal-directed reading)、すなわち、質問を念頭に置いて回答する一節を読むことは、注目を集める一般的な現実世界の課題である。 そこで本研究では,各単語の読解時間は,変圧器ベースディープニューラルネットワーク(DNN)の注意重みによって予測され,同じ読解タスクを実行するように最適化されていることを示す。
• 参考スコア（独自算出の注目度）: 8.337095123148186
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The computational principles underlying attention allocation in complex goal-directed tasks remain elusive. Goal-directed reading, i.e., reading a passage to answer a question in mind, is a common real-world task that strongly engages attention. Here, we investigate what computational models can explain attention distribution in this complex task. We show that the reading time on each word is predicted by the attention weights in transformer-based deep neural networks (DNNs) optimized to perform the same reading task. Eye-tracking further reveals that readers separately attend to basic text features and question-relevant information during first-pass reading and rereading, respectively. Similarly, text features and question relevance separately modulate attention weights in shallow and deep DNN layers. Furthermore, when readers scan a passage without a question in mind, their reading time is predicted by DNNs optimized for a word prediction task. Therefore, attention during real-world reading can be interpreted as the consequence of task optimization.
• Abstract（参考訳）: 複雑な目標指向タスクにおける注意配置の基礎となる計算原理はいまだに解明されていない。 ゴール指向読書(goal-directed reading)、すなわち、質問に答えるために一節を読むことは、注意をひく一般的な現実世界のタスクである。 本稿では,この複雑なタスクにおける注意分布を説明する計算モデルについて検討する。 そこで本研究では,同一読解タスクに最適化されたトランスフォーマー型深層ニューラルネットワーク (dnns) において,各単語の読解時間が注意重みによって予測されることを示す。 さらにアイトラッキングにより,初回読解時と再読解時において,読者は基本テキスト特徴と質問関連情報に別々に対応できることが判明した。 同様に、テキストの特徴と質問関連性は、浅いDNN層と深いDNN層の注意重みを別々に調節する。 さらに、読者が質問を念頭に置いて通路をスキャンすると、単語予測タスクに最適化されたDNNによってその読み時間が予測される。 したがって、実世界の読書における注意はタスク最適化の結果として解釈できる。

関連論文リスト

• Recycled Attention: Efficient inference for long-context language models [54.00118604124301]
  本稿では,入力トークンのサブセットに対して,フルコンテキストアテンションとアテンションを交互に切り替える推論時間手法であるRecycled Attentionを提案する。 部分的に注意を払っていると、全注意を払っている前のトークンの注意パターンをリサイクルし、最も出席しているトークンの上位Kにのみ出席する。 提案手法は,局所的な文脈や注目スコアの高いトークンにのみ参加する推論時加速度法と比較して,現在の復号ステップに関連するトークンを柔軟に選択する。
  論文  参考訳（メタデータ） (2024-11-08T18:57:07Z)
• Fine-Grained Prediction of Reading Comprehension from Eye Movements [1.2062053320259833]
  本研究は, 視線運動からの読解理解を, 通路上の1つの質問のレベルで予測する作業に焦点をあてる。 3つの新しいマルチモーダル言語モデルと,文献から得られた先行モデルのバッテリを用いて,この課題に取り組む。 評価の結果,目の動きは,視力の把握に有用な信号を含んでいることが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T13:55:06Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 記憶がより大きな役割を担い, 一般化が, より困難で推論に基づくタスクの鍵であることを示す。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• Understanding Attention for Vision-and-Language Tasks [4.752823994295959]
  本研究では,アテンションスコア計算手法を検討することで,アテンションアライメントの役割を理解するための包括的な分析を行う。 また、注目スコア計算機構がより(あるいはそれ以下)解釈可能な条件も分析する。 我々の分析は,VLタスクの学習段階に適用した場合の,各アテンションアライメントスコア計算の重要性に関する有用な知見を提供する。
  論文  参考訳（メタデータ） (2022-08-17T06:45:07Z)
• LadRa-Net: Locally-Aware Dynamic Re-read Attention Net for Sentence Semantic Matching [66.65398852962177]
  文意味マッチングのための新しい動的再読ネットワーク(DRr-Net)を開発した。 DRr-Netをローカルに認識する動的再読み取り注意ネット(LadRa-Net)に拡張する 2つの一般的な文意味マッチングタスクの実験により、DRr-Netは文意味マッチングの性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-08-06T02:07:04Z)
• Variational Structured Attention Networks for Deep Visual Representation Learning [49.80498066480928]
  空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。 具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。 ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
  論文  参考訳（メタデータ） (2021-03-05T07:37:24Z)
• Narrative Incoherence Detection [76.43894977558811]
  本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。 複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
  論文  参考訳（メタデータ） (2020-12-21T07:18:08Z)
• Bridging Information-Seeking Human Gaze and Machine Reading Comprehension [23.153841344989143]
  読解時の人間の視線が、所定の読解質問に対してどのように条件付けられているかを分析する。 本研究では,人間の情報探索行動の模倣によって,より人間らしく読みやすい読み方を実現することを提案する。
  論文  参考訳（メタデータ） (2020-09-30T16:34:27Z)
• Attention based Writer Independent Handwriting Verification [0.0]
  我々は,2次元入力の特徴空間における有意点を捉えるために,クロスアテンション機構とソフトアテンション機構を実装し,統合する。 ネットワークの複数のレベルからアテンションマップを抽出することにより、提案した決定に対して意味のある説明を生成する。
  論文  参考訳（メタデータ） (2020-09-07T16:28:16Z)
• Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization [86.45110800123216]
  テキスト要約のタスクでは、単語、フレーズ、文のサリエンス推定が重要な要素である。 本稿では,サラレンス推定のための2つの新しい注目学習要素を含むマルチアテンション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T02:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。