論文の概要: Selective Particle Attention: Visual Feature-Based Attention in Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2008.11491v1
• Date: Wed, 26 Aug 2020 11:07:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 20:46:04.633278
• Title: Selective Particle Attention: Visual Feature-Based Attention in Deep Reinforcement Learning
• Title（参考訳）: 選択的粒子注意:深い強化学習における視覚的特徴に基づく注意
• Authors: Sam Blakeman, Denis Mareschal
• Abstract要約: 特徴に基づく注意として知られる、視覚的な注意の特定の形態に焦点を当てる。 視覚的特徴に基づく注意は強化学習の効率を改善するために提案されている。 本稿では,SPA(Selective Particle Attention)と呼ばれる新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The human brain uses selective attention to filter perceptual input so that only the components that are useful for behaviour are processed using its limited computational resources. We focus on one particular form of visual attention known as feature-based attention, which is concerned with identifying features of the visual input that are important for the current task regardless of their spatial location. Visual feature-based attention has been proposed to improve the efficiency of Reinforcement Learning (RL) by reducing the dimensionality of state representations and guiding learning towards relevant features. Despite achieving human level performance in complex perceptual-motor tasks, Deep RL algorithms have been consistently criticised for their poor efficiency and lack of flexibility. Visual feature-based attention therefore represents one option for addressing these criticisms. Nevertheless, it is still an open question how the brain is able to learn which features to attend to during RL. To help answer this question we propose a novel algorithm, termed Selective Particle Attention (SPA), which imbues a Deep RL agent with the ability to perform selective feature-based attention. SPA learns which combinations of features to attend to based on their bottom-up saliency and how accurately they predict future reward. We evaluate SPA on a multiple choice task and a 2D video game that both involve raw pixel input and dynamic changes to the task structure. We show various benefits of SPA over approaches that naively attend to either all or random subsets of features. Our results demonstrate (1) how visual feature-based attention in Deep RL models can improve their learning efficiency and ability to deal with sudden changes in task structure and (2) that particle filters may represent a viable computational account of how visual feature-based attention occurs in the brain.
• Abstract（参考訳）: 人間の脳は選択的注意を用いて知覚入力をフィルタリングし、行動に有用なコンポーネントのみをその限られた計算資源で処理する。 空間的位置に関わらず,現在の作業において重要な視覚入力の特徴を識別することを目的とした,特徴的注意と呼ばれる視覚的注意の一形態に注目した。 状態表現の次元性を低減し,関連する特徴に学習を導くことにより,強化学習(RL)の効率を向上させるために,視覚的特徴に基づく注意が提案されている。 複雑な知覚運動タスクにおいて人間レベルの性能を達成するにもかかわらず、Deep RLアルゴリズムは、その効率の低下と柔軟性の欠如を一貫して批判されてきた。 したがって、視覚的な特徴に基づく注意は、これらの批判に対処する一つの選択肢である。 それでも、RL中のどの特徴を脳が学べるかは、まだ明らかな疑問である。 そこで我々は,この疑問に答えるために,選択的粒子注意 (spa) と呼ばれる新しいアルゴリズムを提案する。 SPAは、ボトムアップの正当性と将来の報酬の正確な予測に基づいて、どの機能の組み合わせに参加するかを学ぶ。 SPAを複数選択タスクと2Dビデオゲームで評価し、実際の画素入力とタスク構造への動的変化を両立させる。 特徴のすべてのサブセットやランダムなサブセットに鼻で参加するアプローチに対して,SPAの様々な利点を示す。 その結果,(1)深層rlモデルにおける視覚的特徴に基づく注目が学習効率とタスク構造の変化にどう対処できるか,(2)視覚的特徴に基づく注意が脳内でどのように起こるかという現実的な計算的説明を粒子フィルタが表現できることを示した。

関連論文リスト

• Shifting Focus with HCEye: Exploring the Dynamics of Visual Highlighting and Cognitive Load on User Attention and Saliency Prediction [3.2873782624127834]
  本稿では,視覚強調(永続的・動的)と両タスクによる認知負荷が視線行動に及ぼす影響について検討する。 認知負荷の異なる場合、最先端のサリエンシモデルにより、その性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-04-22T14:45:30Z)
• ResMatch: Residual Attention Learning for Local Feature Matching [51.07496081296863]
  従来の特徴マッチングとフィルタリングの観点から、クロスアテンションとセルフアテンションを再考する。 我々は,記述者と相対的な位置の類似性を,クロスアテンションスコアとセルフアテンションスコアに注入する。 我々は、記述子と相対的な位置の類似性に応じて隣人内および隣人間を採掘する。
  論文  参考訳（メタデータ） (2023-07-11T11:32:12Z)
• Learning Task-relevant Representations for Generalization via Characteristic Functions of Reward Sequence Distributions [63.773813221460614]
  同じタスクで異なる環境にまたがる一般化は、視覚的強化学習の成功に不可欠である。 本稿では,タスク関連情報を抽出する手法として,特徴逆列予測(CRESP)を提案する。 実験により、CRESPは目に見えない環境での一般化性能を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2022-05-20T14:52:03Z)
• Dual Cross-Attention Learning for Fine-Grained Visual Categorization and Object Re-Identification [19.957957963417414]
  本稿では,自己意図学習と協調する2つのクロスアテンション学習(DCAL)アルゴリズムを提案する。 まず,グローバル・ローカル・クロスアテンション(GLCA)を提案する。 第2に、画像ペア間の相互作用を確立するために、ペアワイズ・クロスアテンション(PWCA)を提案する。
  論文  参考訳（メタデータ） (2022-05-04T16:14:26Z)
• Counterfactual Attention Learning for Fine-Grained Visual Categorization and Re-identification [101.49122450005869]
  本稿では,因果推論に基づくより効果的な注意力学習法を提案する。 具体的には,学習した視覚的注意がネットワーク予測に与える影響を分析する。 本手法は,広範囲の粒度認識タスクにおいて評価する。
  論文  参考訳（メタデータ） (2021-08-19T14:53:40Z)
• Understanding top-down attention using task-oriented ablation design [0.22940141855172028]
  トップダウンの注目により、ニューラルネットワークは、人工的および生物学的の両方において、与えられたタスクに最も関連性の高い情報に集中することができる。 我々は,タスク指向アブレーション設計と呼ばれる一般的なフレームワークに基づく計算実験により,この問題に対処することを目指している。 2つのニューラルネットワークの性能を比較する。
  論文  参考訳（メタデータ） (2021-06-08T21:01:47Z)
• Unlocking Pixels for Reinforcement Learning via Implicit Attention [61.666538764049854]
  我々は最近,トランスフォーマーに非常に有効であることが示されている,新しい効率的なアテンションアルゴリズムを利用している。 これにより、注意に基づくコントローラは、より大きな視覚入力にスケールでき、より小さなパッチの使用が容易になります。 さらに,ソフトマックスの注目度をハイブリッドランダム特徴量で近似するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-08T17:00:26Z)
• Deep Reinforced Attention Learning for Quality-Aware Visual Recognition [73.15276998621582]
  我々は,任意の畳み込みニューラルネットワークにおける中間注意マップの弱教師付き生成機構を構築した。 メタ批評家ネットワークを導入し、メインネットワークにおける注目マップの質を評価する。
  論文  参考訳（メタデータ） (2020-07-13T02:44:38Z)
• Attention or memory? Neurointerpretable agents in space and time [0.0]
  本研究では,意味的特徴空間にタスク状態表現を実装する自己認識機構を組み込んだモデルの設計を行う。 エージェントの選択的特性を評価するために,多数のタスク非関連特徴を観察に付加する。 神経科学の予測に従って、自己注意は、ベンチマークモデルと比較してノイズに対する堅牢性を高める。
  論文  参考訳（メタデータ） (2020-07-09T15:04:26Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。