論文の概要: Neuroevolution of Self-Interpretable Agents
- arxiv url: http://arxiv.org/abs/2003.08165v2
- Date: Thu, 2 Apr 2020 09:00:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-22 09:24:39.963142
- Title: Neuroevolution of Self-Interpretable Agents
- Title（参考訳）: 自己解釈剤の神経進化
- Authors: Yujin Tang, Duong Nguyen, David Ha
- Abstract要約: 不注意の盲目は、普通の視界で物事を見逃す心理的現象である。
選択的な注意を払って,自己注意ボトルネックのレンズを通して世界を知覚する人工エージェントの特性について検討した。
- 参考スコア（独自算出の注目度）: 11.171154483167514
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inattentional blindness is the psychological phenomenon that causes one to
miss things in plain sight. It is a consequence of the selective attention in
perception that lets us remain focused on important parts of our world without
distraction from irrelevant details. Motivated by selective attention, we study
the properties of artificial agents that perceive the world through the lens of
a self-attention bottleneck. By constraining access to only a small fraction of
the visual input, we show that their policies are directly interpretable in
pixel space. We find neuroevolution ideal for training self-attention
architectures for vision-based reinforcement learning (RL) tasks, allowing us
to incorporate modules that can include discrete, non-differentiable operations
which are useful for our agent. We argue that self-attention has similar
properties as indirect encoding, in the sense that large implicit weight
matrices are generated from a small number of key-query parameters, thus
enabling our agent to solve challenging vision based tasks with at least 1000x
fewer parameters than existing methods. Since our agent attends to only task
critical visual hints, they are able to generalize to environments where task
irrelevant elements are modified while conventional methods fail. Videos of our
results and source code available at https://attentionagent.github.io/
- Abstract（参考訳）: 不注意の盲目は、普通の視界で物事を見逃す心理的現象である。
これは、無関係な詳細に気を散らすことなく、世界の重要な部分に集中できるという認識における選択的な注意の結果である。
選択的注意に動機づけられ,自己着床ボトルネックのレンズを通して世界を知覚する人工エージェントの特性について検討した。
視覚入力のごく一部にのみアクセスを制限することにより、それらのポリシーがピクセル空間で直接解釈可能であることを示す。
視覚ベースの強化学習(rl)タスクのための自己定着アーキテクチャをトレーニングするために、神経進化は理想的であり、エージェントに有用な離散的で非微分可能操作を含むモジュールを組み込むことを可能にする。
自己アテンションは、少数のキークエリパラメータから大きな暗黙の重み行列が生成されるという意味で、間接符号化と同様の性質を持つため、エージェントは、少なくとも既存のメソッドよりも1000倍少ないパラメータで、挑戦的な視覚ベースのタスクを解決できると主張している。
我々のエージェントはタスククリティカルな視覚的ヒントにのみ出席するため、従来の手法が失敗しながらタスク非関連要素が修正される環境に一般化することができる。
結果のビデオとソースコードはhttps://attentionagent.github.io/で閲覧できます。
関連論文リスト
- Rotating Features for Object Discovery [74.1465486264609]
本稿では,複雑な特徴を高次元に一般化した回転特徴と,分散表現からオブジェクトを抽出する新たな評価手法を提案する。
これらの進歩により、分散オブジェクト中心の表現を単純な玩具から現実世界のデータに拡張することが可能になります。
論文 参考訳（メタデータ） (2023-06-01T12:16:26Z) - Stochastic Coherence Over Attention Trajectory For Continuous Learning
In Video Streams [64.82800502603138]
本稿では,映像ストリーム中のピクセルワイズ表現を段階的かつ自律的に開発するための,ニューラルネットワークに基づく新しいアプローチを提案する。
提案手法は, 参加者の入場地を観察することで, エージェントが学習できる, 人間の様の注意機構に基づく。
実験では,3次元仮想環境を利用して,映像ストリームを観察することで,エージェントが物体の識別を学べることを示す。
論文 参考訳（メタデータ） (2022-04-26T09:52:31Z) - Visual Attention Network [90.0753726786985]
本稿では,自己アテンションにおける自己適応性および長距離相関を実現するために,新しいカーネルアテンション(LKA)モジュールを提案する。
また、LKAに基づく新しいニューラルネットワーク、すなわちVisual Attention Network (VAN)を導入する。
VANは、最先端のビジョントランスフォーマーと畳み込みニューラルネットワークを、広範な実験において大きなマージンで上回ります。
論文 参考訳（メタデータ） (2022-02-20T06:35:18Z) - Learning to ignore: rethinking attention in CNNs [87.01305532842878]
我々は,CNNの注意機構を再構築し,出席する学習ではなく無視することを学ぶことを提案する。
具体的には、シーン内で無関係な情報を明示的に学習し、生成した表現でそれを抑えることを提案する。
論文 参考訳（メタデータ） (2021-11-10T13:47:37Z) - Alignment Attention by Matching Key and Query Distributions [48.93793773929006]
本稿では,各ヘッダ内のキーとクエリの分布を一致させる自己注意を促すアライメントアテンションアテンションアテンションアテンションアテンションを導入している。
事前学習したモデルを含む自己注意のモデルはすべて、提案したアライメントアテンションアテンションアテンションに変換することが簡単である。
様々な言語理解タスクにおいて, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃に対する堅牢性などの手法の有効性を示す。
論文 参考訳（メタデータ） (2021-10-25T00:54:57Z) - Improving Robot Localisation by Ignoring Visual Distraction [34.8860186009308]
我々はニューラル・ブラインドネスを導入し、エージェントは邪魔者と見なされるオブジェクトやクラスを完全に無視することができる。
より明確に言えば、ニューラルネットワークが潜在空間内で特定の選択されたクラスを表現できないようにすることを目指している。
非常に現実的な意味で、これはネットワークを特定のクラスに"盲目"させ、与えられたタスクにとって重要なものに集中させ、それがローカライゼーションを改善するためにどのように使用できるかを実証する。
論文 参考訳（メタデータ） (2021-07-25T17:45:17Z) - Understanding top-down attention using task-oriented ablation design [0.22940141855172028]
トップダウンの注目により、ニューラルネットワークは、人工的および生物学的の両方において、与えられたタスクに最も関連性の高い情報に集中することができる。
我々は,タスク指向アブレーション設計と呼ばれる一般的なフレームワークに基づく計算実験により,この問題に対処することを目指している。
2つのニューラルネットワークの性能を比較する。
論文 参考訳（メタデータ） (2021-06-08T21:01:47Z) - Object Based Attention Through Internal Gating [4.941630596191806]
本稿では,物体に基づく注目のニューラルネットワークモデルを提案する。
私たちのモデルは、トップダウンとリカレントの両方に注意が向けられる方法を捉えています。
我々のモデルは神経科学からのさまざまな発見を再現している。
論文 参考訳（メタデータ） (2021-06-08T17:20:50Z) - Unlocking Pixels for Reinforcement Learning via Implicit Attention [61.666538764049854]
我々は最近,トランスフォーマーに非常に有効であることが示されている,新しい効率的なアテンションアルゴリズムを利用している。
これにより、注意に基づくコントローラは、より大きな視覚入力にスケールでき、より小さなパッチの使用が容易になります。
さらに,ソフトマックスの注目度をハイブリッドランダム特徴量で近似するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-08T17:00:26Z) - Attention or memory? Neurointerpretable agents in space and time [0.0]
本研究では,意味的特徴空間にタスク状態表現を実装する自己認識機構を組み込んだモデルの設計を行う。
エージェントの選択的特性を評価するために,多数のタスク非関連特徴を観察に付加する。
神経科学の予測に従って、自己注意は、ベンチマークモデルと比較してノイズに対する堅牢性を高める。
論文 参考訳（メタデータ） (2020-07-09T15:04:26Z) - The Costs and Benefits of Goal-Directed Attention in Deep Convolutional
Neural Networks [6.445605125467574]
人々は、失われたキーを見つけるなどのタスクを達成するために、トップダウンでゴール指向の注意を配置します。
分類モデルにおける選択的注意を動機として、自然主義的(写真的)刺激を処理できる目標指向の注意機構を開発した。
我々の注意機構は、前頭前皮質(PFC)からトップダウンの影響を取り入れ、ゴール指向行動を支援する。
論文 参考訳（メタデータ） (2020-02-06T16:42:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。