論文の概要: AiR: Attention with Reasoning Capability
- arxiv url: http://arxiv.org/abs/2007.14419v1
- Date: Tue, 28 Jul 2020 18:09:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-06 02:39:15.759935
- Title: AiR: Attention with Reasoning Capability
- Title（参考訳）: AiR: キャパビリティの推論による注意
- Authors: Shi Chen, Ming Jiang, Jinhui Yang, Qi Zhao
- Abstract要約: 本稿では,タスクの成果につながるプロセスを理解し,改善するために注意を向けたAttention with Reasoning(AiR)フレームワークを提案する。
まず,原子的推論処理のシーケンスに基づいて評価基準を定義し,推論過程を考慮した注意度の測定を可能にする。
次に、人間の視線追跡と正当性データを収集し、その推論能力とそれがタスクパフォーマンスに与える影響について、さまざまなマシンおよび人間の注意を解析する。
- 参考スコア（独自算出の注目度）: 31.3104693230952
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While attention has been an increasingly popular component in deep neural
networks to both interpret and boost performance of models, little work has
examined how attention progresses to accomplish a task and whether it is
reasonable. In this work, we propose an Attention with Reasoning capability
(AiR) framework that uses attention to understand and improve the process
leading to task outcomes. We first define an evaluation metric based on a
sequence of atomic reasoning operations, enabling quantitative measurement of
attention that considers the reasoning process. We then collect human
eye-tracking and answer correctness data, and analyze various machine and human
attentions on their reasoning capability and how they impact task performance.
Furthermore, we propose a supervision method to jointly and progressively
optimize attention, reasoning, and task performance so that models learn to
look at regions of interests by following a reasoning process. We demonstrate
the effectiveness of the proposed framework in analyzing and modeling attention
with better reasoning capability and task performance. The code and data are
available at https://github.com/szzexpoi/AiR
- Abstract（参考訳）: 深層ニューラルネットワークでは、モデルの性能の解釈と向上の両方に注目が集まっているが、タスクを達成するために注意がどのように進行するか、それが妥当かどうかを調査する研究はほとんどない。
本研究では,タスク成果につながるプロセスの理解と改善に注意を払うために,AiR(Attention with Reasoning capabilities)フレームワークを提案する。
まず,原子推論操作の系列に基づく評価指標を定義し,推論過程を考慮した注意の定量的測定を可能にした。
次に、人間の視線追跡と正解データを収集し、その推論能力とそれがタスクパフォーマンスに与える影響について、さまざまなマシンおよび人間の注意を解析する。
さらに,協調的かつ漸進的に注意,推論,タスクパフォーマンスを最適化し,モデルが推論プロセスに従うことで関心領域を見ることを学ぶための監督手法を提案する。
提案フレームワークは,推論能力とタスク性能が向上した注意分析とモデリングにおいて有効であることを示す。
コードとデータはhttps://github.com/szzexpoi/airで入手できる。
関連論文リスト
- Does the Order of Fine-tuning Matter and Why? [11.975836356680855]
本研究では,複数の中間タスクの微調整とその順序がタスク性能に及ぼす影響について検討する。
実験の結果,タスクオーダリングが目標タスクのパフォーマンスに与える影響は,パフォーマンスの最大6%,パフォーマンスの最大4%であることがわかった。
論文 参考訳（メタデータ） (2024-10-03T19:07:14Z) - PhD Thesis: Exploring the role of (self-)attention in cognitive and
computer vision architecture [0.0]
トランスフォーマーをベースとした自己アテンションをモデルとして分析し,メモリで拡張する。
本稿では,アクティブビジョン理論に触発された注意と記憶を組み合わせた認知アーキテクチャGAMRを提案する。
論文 参考訳（メタデータ） (2023-06-26T12:40:12Z) - Top-Down Visual Attention from Analysis by Synthesis [87.47527557366593]
我々は、古典的分析・合成(AbS)の視覚的視点からトップダウンの注意を考察する。
本稿では,AbSを変動的に近似したトップダウン変調ViTモデルであるAbSViT(Analytic-by-Synthesis Vision Transformer)を提案する。
論文 参考訳（メタデータ） (2023-03-23T05:17:05Z) - Attention in Reasoning: Dataset, Analysis, and Modeling [31.3104693230952]
本稿では,タスクの成果につながるプロセスを理解し,改善するために注意を向けたAttention with Reasoning(AiR)フレームワークを提案する。
まず,原子推論操作のシーケンスに基づいて評価基準を定義し,注意度を定量的に測定する。
次に、人間の視線追跡と正当性データを収集し、その推論能力に基づいて、様々な機械および人間の注意機構を解析する。
論文 参考訳（メタデータ） (2022-04-20T20:32:31Z) - Attention cannot be an Explanation [99.37090317971312]
私たちは、人間の信頼と信頼を高める上で、注意に基づく説明がどの程度効果的か尋ねる。
我々は,注意に基づく説明が適している程度を質的かつ定量的に評価することを目的とした広範囲な人間実験を行った。
実験の結果,注意は説明として利用できないことが明らかとなった。
論文 参考訳（メタデータ） (2022-01-26T21:34:05Z) - Alignment Attention by Matching Key and Query Distributions [48.93793773929006]
本稿では,各ヘッダ内のキーとクエリの分布を一致させる自己注意を促すアライメントアテンションアテンションアテンションアテンションアテンションを導入している。
事前学習したモデルを含む自己注意のモデルはすべて、提案したアライメントアテンションアテンションアテンションに変換することが簡単である。
様々な言語理解タスクにおいて, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃に対する堅牢性などの手法の有効性を示す。
論文 参考訳（メタデータ） (2021-10-25T00:54:57Z) - Counterfactual Attention Learning for Fine-Grained Visual Categorization
and Re-identification [101.49122450005869]
本稿では,因果推論に基づくより効果的な注意力学習法を提案する。
具体的には,学習した視覚的注意がネットワーク予測に与える影響を分析する。
本手法は,広範囲の粒度認識タスクにおいて評価する。
論文 参考訳（メタデータ） (2021-08-19T14:53:40Z) - Understanding top-down attention using task-oriented ablation design [0.22940141855172028]
トップダウンの注目により、ニューラルネットワークは、人工的および生物学的の両方において、与えられたタスクに最も関連性の高い情報に集中することができる。
我々は,タスク指向アブレーション設計と呼ばれる一般的なフレームワークに基づく計算実験により,この問題に対処することを目指している。
2つのニューラルネットワークの性能を比較する。
論文 参考訳（メタデータ） (2021-06-08T21:01:47Z) - SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。
事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。
本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-25T14:13:44Z) - Cost-effective Interactive Attention Learning with Neural Attention
Processes [79.8115563067513]
対話型注意学習(Interactive Attention Learning, IAL)と呼ばれる対話型学習フレームワークを提案する。
IALは、人間のアノテーションが不足しているため、過度に適合する傾向がある。
我々は,サンプル効率のよい注意機構と,コスト効率のよいインスタンスと機能の再ランクアルゴリズムを提案することで,これらの課題に対処する。
論文 参考訳（メタデータ） (2020-06-09T17:36:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。