論文の概要: Attention in Reasoning: Dataset, Analysis, and Modeling

• arxiv url: http://arxiv.org/abs/2204.09774v1
• Date: Wed, 20 Apr 2022 20:32:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-23 04:27:49.128961
• Title: Attention in Reasoning: Dataset, Analysis, and Modeling
• Title（参考訳）: 推論における注意:データセット、分析、モデリング
• Authors: Shi Chen, Ming Jiang, Jinhui Yang and Qi Zhao
• Abstract要約: 本稿では,タスクの成果につながるプロセスを理解し,改善するために注意を向けたAttention with Reasoning(AiR)フレームワークを提案する。 まず,原子推論操作のシーケンスに基づいて評価基準を定義し,注意度を定量的に測定する。 次に、人間の視線追跡と正当性データを収集し、その推論能力に基づいて、様々な機械および人間の注意機構を解析する。
• 参考スコア（独自算出の注目度）: 31.3104693230952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While attention has been an increasingly popular component in deep neural networks to both interpret and boost the performance of models, little work has examined how attention progresses to accomplish a task and whether it is reasonable. In this work, we propose an Attention with Reasoning capability (AiR) framework that uses attention to understand and improve the process leading to task outcomes. We first define an evaluation metric based on a sequence of atomic reasoning operations, enabling a quantitative measurement of attention that considers the reasoning process. We then collect human eye-tracking and answer correctness data, and analyze various machine and human attention mechanisms on their reasoning capability and how they impact task performance. To improve the attention and reasoning ability of visual question answering models, we propose to supervise the learning of attention progressively along the reasoning process and to differentiate the correct and incorrect attention patterns. We demonstrate the effectiveness of the proposed framework in analyzing and modeling attention with better reasoning capability and task performance. The code and data are available at https://github.com/szzexpoi/AiR
• Abstract（参考訳）: モデルのパフォーマンスを解釈し向上させるため、深層ニューラルネットワークでは注目がますます高まっているが、タスクを達成するために注意がいかに進行するか、それが妥当であるかについては、ほとんど研究されていない。 本研究では,タスク成果につながるプロセスの理解と改善に注意を払うために,AiR(Attention with Reasoning capabilities)フレームワークを提案する。 まず,原子推論操作の系列に基づく評価指標を定義し,推論過程を考慮した注意の定量的測定を可能にした。 次に、人間の視線追跡と正当性データを収集し、その推論能力とそれがタスクパフォーマンスに与える影響について、様々なマシンおよび人間の注意機構を解析する。 視覚的質問応答モデルの注意と推論能力を向上させるために,推論過程に沿って徐々に注意の学習を監督し,正しい注意パターンと不正確な注意パターンを区別することを提案する。 提案フレームワークは,推論能力とタスク性能が向上した注意分析とモデリングにおいて有効であることを示す。 コードとデータはhttps://github.com/szzexpoi/airで入手できる。

関連論文リスト

• PhD Thesis: Exploring the role of (self-)attention in cognitive and computer vision architecture [0.0]
  トランスフォーマーをベースとした自己アテンションをモデルとして分析し,メモリで拡張する。 本稿では,アクティブビジョン理論に触発された注意と記憶を組み合わせた認知アーキテクチャGAMRを提案する。
  論文  参考訳（メタデータ） (2023-06-26T12:40:12Z)
• Guiding Visual Question Answering with Attention Priors [76.21671164766073]
  本稿では,言語・視覚的接地による注意機構の導出について述べる。 この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。 このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
  論文  参考訳（メタデータ） (2022-05-25T09:53:47Z)
• Attention cannot be an Explanation [99.37090317971312]
  私たちは、人間の信頼と信頼を高める上で、注意に基づく説明がどの程度効果的か尋ねる。 我々は,注意に基づく説明が適している程度を質的かつ定量的に評価することを目的とした広範囲な人間実験を行った。 実験の結果,注意は説明として利用できないことが明らかとなった。
  論文  参考訳（メタデータ） (2022-01-26T21:34:05Z)
• Alignment Attention by Matching Key and Query Distributions [48.93793773929006]
  本稿では,各ヘッダ内のキーとクエリの分布を一致させる自己注意を促すアライメントアテンションアテンションアテンションアテンションアテンションを導入している。 事前学習したモデルを含む自己注意のモデルはすべて、提案したアライメントアテンションアテンションアテンションに変換することが簡単である。 様々な言語理解タスクにおいて, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃に対する堅牢性などの手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-10-25T00:54:57Z)
• Counterfactual Attention Learning for Fine-Grained Visual Categorization and Re-identification [101.49122450005869]
  本稿では,因果推論に基づくより効果的な注意力学習法を提案する。 具体的には,学習した視覚的注意がネットワーク予測に与える影響を分析する。 本手法は,広範囲の粒度認識タスクにおいて評価する。
  論文  参考訳（メタデータ） (2021-08-19T14:53:40Z)
• Understanding top-down attention using task-oriented ablation design [0.22940141855172028]
  トップダウンの注目により、ニューラルネットワークは、人工的および生物学的の両方において、与えられたタスクに最も関連性の高い情報に集中することができる。 我々は,タスク指向アブレーション設計と呼ばれる一般的なフレームワークに基づく計算実験により,この問題に対処することを目指している。 2つのニューラルネットワークの性能を比較する。
  論文  参考訳（メタデータ） (2021-06-08T21:01:47Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• AiR: Attention with Reasoning Capability [31.3104693230952]
  本稿では,タスクの成果につながるプロセスを理解し,改善するために注意を向けたAttention with Reasoning(AiR)フレームワークを提案する。 まず,原子的推論処理のシーケンスに基づいて評価基準を定義し,推論過程を考慮した注意度の測定を可能にする。 次に、人間の視線追跡と正当性データを収集し、その推論能力とそれがタスクパフォーマンスに与える影響について、さまざまなマシンおよび人間の注意を解析する。
  論文  参考訳（メタデータ） (2020-07-28T18:09:45Z)
• Cost-effective Interactive Attention Learning with Neural Attention Processes [79.8115563067513]
  対話型注意学習(Interactive Attention Learning, IAL)と呼ばれる対話型学習フレームワークを提案する。 IALは、人間のアノテーションが不足しているため、過度に適合する傾向がある。 我々は,サンプル効率のよい注意機構と,コスト効率のよいインスタンスと機能の再ランクアルゴリズムを提案することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2020-06-09T17:36:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。