論文の概要: The Costs and Benefits of Goal-Directed Attention in Deep Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2002.02342v3
• Date: Thu, 1 Oct 2020 11:25:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 09:35:56.743052
• Title: The Costs and Benefits of Goal-Directed Attention in Deep Convolutional Neural Networks
• Title（参考訳）: 深部畳み込みニューラルネットワークにおけるゴール指向注意のコストとメリット
• Authors: Xiaoliang Luo, Brett D. Roads, Bradley C. Love
• Abstract要約: 人々は、失われたキーを見つけるなどのタスクを達成するために、トップダウンでゴール指向の注意を配置します。 分類モデルにおける選択的注意を動機として、自然主義的(写真的)刺激を処理できる目標指向の注意機構を開発した。 我々の注意機構は、前頭前皮質(PFC)からトップダウンの影響を取り入れ、ゴール指向行動を支援する。
• 参考スコア（独自算出の注目度）: 6.445605125467574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: People deploy top-down, goal-directed attention to accomplish tasks, such as finding lost keys. By tuning the visual system to relevant information sources, object recognition can become more efficient (a benefit) and more biased toward the target (a potential cost). Motivated by selective attention in categorisation models, we developed a goal-directed attention mechanism that can process naturalistic (photographic) stimuli. Our attention mechanism can be incorporated into any existing deep convolutional neural network (DCNNs). The processing stages in DCNNs have been related to ventral visual stream. In that light, our attentional mechanism incorporates top-down influences from prefrontal cortex (PFC) to support goal-directed behaviour. Akin to how attention weights in categorisation models warp representational spaces, we introduce a layer of attention weights to the mid-level of a DCNN that amplify or attenuate activity to further a goal. We evaluated the attentional mechanism using photographic stimuli, varying the attentional target. We found that increasing goal-directed attention has benefits (increasing hit rates) and costs (increasing false alarm rates). At a moderate level, attention improves sensitivity (i.e., increases $d^\prime$) at only a moderate increase in bias for tasks involving standard images, blended images, and natural adversarial images chosen to fool DCNNs. These results suggest that goal-directed attention can reconfigure general-purpose DCNNs to better suit the current task goal, much like PFC modulates activity along the ventral stream. In addition to being more parsimonious and brain consistent, the mid-level attention approach performed better than a standard machine learning approach for transfer learning, namely retraining the final network layer to accommodate the new task.
• Abstract（参考訳）: 人々は、失われたキーを見つけるなどのタスクを達成するために、トップダウンでゴール指向の注意を配置します。 視覚システムを関連する情報ソースにチューニングすることで、オブジェクト認識はより効率的(利益)になり、ターゲット(潜在的コスト)に偏りが強くなる。 分類モデルにおける選択的注意に動機づけられ,自然主義的(フォトグラフィック)刺激を処理可能な目標指向注意機構を開発した。 我々は既存の深層畳み込みニューラルネットワーク(dcnns)に注目機構を組み込むことができる。 DCNNの処理段階は腹側視覚ストリームと関連している。 この観点からは,前頭前野(pfc)からのトップダウンの影響を取り入れ,目標指向行動を支援する。 分類モデルにおける注意重み付けが表現空間を乱すのと同様に、目標を達成するために活動の増幅や減衰を行うdcnnの中間レベルに注意重みの層を導入する。 注意対象の異なる写真刺激を用いて注意機構を評価した。 目標指向の注意の増加は、利益(ヒット率の増加)とコスト(誤ったアラーム率の増加)をもたらします。 適度なレベルでは、標準画像、ブレンド画像、およびdnnを騙すために選択された自然敵画像を含むタスクに対するバイアスをわずかに増加させるだけで、注意は感度(すなわち$d^\prime$を増加)する。 これらの結果は,PFCが腹側の流れに沿って活動を調整するのと同じように,目標指向の注意が現在の課題目標に適合するように汎用DCNNを再構成できることを示唆している。 より控えめで頭脳に一貫性があるだけでなく、中間レベルのアテンションアプローチは、トランスファーラーニングのための標準的な機械学習アプローチ、すなわち新しいタスクに対応するために最終ネットワーク層をリトレーニングするよりも優れていた。

関連論文リスト

• A Primal-Dual Framework for Transformers and Neural Networks [52.814467832108875]
  自己注意は、シーケンスモデリングタスクにおけるトランスフォーマーの顕著な成功の鍵である。 自己アテンションは、支持ベクトル回帰問題から導かれる支持ベクトル展開に対応することを示す。 Batch Normalized Attention (Attention-BN) と Scaled Head (Attention-SH) の2つの新しい注意点を提案する。
  論文  参考訳（メタデータ） (2024-06-19T19:11:22Z)
• Visual Attention Network [90.0753726786985]
  本稿では,自己アテンションにおける自己適応性および長距離相関を実現するために,新しいカーネルアテンション(LKA)モジュールを提案する。 また、LKAに基づく新しいニューラルネットワーク、すなわちVisual Attention Network (VAN)を導入する。 VANは、最先端のビジョントランスフォーマーと畳み込みニューラルネットワークを、広範な実験において大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-02-20T06:35:18Z)
• TDAN: Top-Down Attention Networks for Enhanced Feature Selectivity in CNNs [18.24779045808196]
  本稿では,トップダウンチャネルと空間変調を行うために,視覚検索ライトを反復的に生成する軽量なトップダウンアテンションモジュールを提案する。 我々のモデルは、推論中の入力解像度の変化に対してより堅牢であり、個々のオブジェクトや特徴を明示的な監督なしに各計算ステップでローカライズすることで、注意を"シフト"することを学ぶ。
  論文  参考訳（メタデータ） (2021-11-26T12:35:17Z)
• Learning to ignore: rethinking attention in CNNs [87.01305532842878]
  我々は,CNNの注意機構を再構築し,出席する学習ではなく無視することを学ぶことを提案する。 具体的には、シーン内で無関係な情報を明示的に学習し、生成した表現でそれを抑えることを提案する。
  論文  参考訳（メタデータ） (2021-11-10T13:47:37Z)
• Alignment Attention by Matching Key and Query Distributions [48.93793773929006]
  本稿では,各ヘッダ内のキーとクエリの分布を一致させる自己注意を促すアライメントアテンションアテンションアテンションアテンションアテンションを導入している。 事前学習したモデルを含む自己注意のモデルはすべて、提案したアライメントアテンションアテンションアテンションに変換することが簡単である。 様々な言語理解タスクにおいて, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃に対する堅牢性などの手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-10-25T00:54:57Z)
• An Attention Module for Convolutional Neural Networks [5.333582981327498]
  本稿では,AW-畳み込みを開発することで,畳み込みニューラルネットワークのためのアテンションモジュールを提案する。 画像分類とオブジェクト検出タスクのための複数のデータセットの実験により,提案した注目モジュールの有効性が示された。
  論文  参考訳（メタデータ） (2021-08-18T15:36:18Z)
• Deep Reinforced Attention Learning for Quality-Aware Visual Recognition [73.15276998621582]
  我々は,任意の畳み込みニューラルネットワークにおける中間注意マップの弱教師付き生成機構を構築した。 メタ批評家ネットワークを導入し、メインネットワークにおける注目マップの質を評価する。
  論文  参考訳（メタデータ） (2020-07-13T02:44:38Z)
• Ventral-Dorsal Neural Networks: Object Detection via Selective Attention [51.79577908317031]
  我々はVDNet(Ventral-Dorsal Networks)と呼ばれる新しいフレームワークを提案する。 人間の視覚システムの構造にインスパイアされた我々は「Ventral Network」と「Dorsal Network」の統合を提案する。 実験の結果,提案手法は最先端の物体検出手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-05-15T23:57:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。