論文の概要: Attention Schema in Neural Agents

• arxiv url: http://arxiv.org/abs/2305.17375v3
• Date: Fri, 14 Jul 2023 01:43:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-17 16:38:05.516252
• Title: Attention Schema in Neural Agents
• Title（参考訳）: 神経エージェントの注意スキーマ
• Authors: Dianbo Liu, Samuele Bolotta, He Zhu, Yoshua Bengio, Guillaume Dumas
• Abstract要約: 認知神経科学において、注意理論(AST)は、注意をASと区別する考え方を支持している。 ASTは、エージェントが自身のASを使用して他のエージェントの注意の状態を推測できると予測する。 我々は、注意とASが相互に相互作用する様々な方法を探求する。
• 参考スコア（独自算出の注目度）: 66.43628974353683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention has become a common ingredient in deep learning architectures. It adds a dynamical selection of information on top of the static selection of information supported by weights. In the same way, we can imagine a higher-order informational filter built on top of attention: an Attention Schema (AS), namely, a descriptive and predictive model of attention. In cognitive neuroscience, Attention Schema Theory (AST) supports this idea of distinguishing attention from AS. A strong prediction of this theory is that an agent can use its own AS to also infer the states of other agents' attention and consequently enhance coordination with other agents. As such, multi-agent reinforcement learning would be an ideal setting to experimentally test the validity of AST. We explore different ways in which attention and AS interact with each other. Our preliminary results indicate that agents that implement the AS as a recurrent internal control achieve the best performance. In general, these exploratory experiments suggest that equipping artificial agents with a model of attention can enhance their social intelligence.
• Abstract（参考訳）: ディープラーニングアーキテクチャでは、注意が一般的な要素になっている。 重み付けによってサポートされている情報の静的な選択の上に、情報の動的選択を追加している。 同様に、注意の上に構築された高次情報フィルタを想像することができる:注意スキーマ(as)、すなわち注意の記述と予測モデル。 認知神経科学において、注意スキーマ理論(AST)は、注意をASと区別するこの考え方を支持している。 この理論の強い予測は、エージェントが自身のASを使用して他のエージェントの注意を推論し、結果として他のエージェントとの協調を強化することができるということである。 このように、多エージェント強化学習は、ASTの有効性を実験的に検証するのに理想的な設定である。 我々は、注意とアソシエーションが互いに相互作用する方法を探究する。 予備結果は,asをリカレント内部制御として実装したエージェントが最高の性能を得ることを示す。 一般に、これらの探索実験は、注意モデルによる人工エージェントの装備が、彼らの社会的知性を高めることを示唆している。

関連論文リスト

• Improving How Agents Cooperate: Attention Schemas in Artificial Neural Networks [0.0]
  増大する証拠は、脳が注意を監視、予測、制御するために「注意スキーマ」を使用していることを示唆している。 また、注意スキーマは、ある人物が別の人物をよりよく予測できるようにすることで、社会的知性を改善することが示唆されている。 潜在的なアドバンテージを考えると、機械学習では注目スキーマがますますテストされている。
  論文  参考訳（メタデータ） (2024-11-01T19:18:07Z)
• Inverse Attention Agent for Multi-Agent System [6.196239958087161]
  マルチエージェントシステムにとって大きな課題は、エージェントが対戦相手やチームメイトが継続的に変化する様々な環境に動的に適応できるようにすることである。 本稿では、心の理論から概念を取り入れた逆注意エージェントを導入し、注意機構を用いてアルゴリズムで実装し、エンドツーエンドで訓練する。 逆アテンションネットワークが他のエージェントのアテンションを推測することに成功し、この情報によってエージェントのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-10-29T06:59:11Z)
• Interactive Autonomous Navigation with Internal State Inference and Interactivity Estimation [58.21683603243387]
  本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。 これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。 提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-11-27T18:57:42Z)
• Revisiting Attention Weights as Explanations from an Information Theoretic Perspective [4.499369811647602]
  注意機構は、他のモデル要素と慎重に組み合わせた場合、説明をモデル化するためのショートカットとして機能する可能性があることを示す。 本研究により,注意機構は,他のモデル要素と慎重に組み合わせた場合,モデル説明のためのショートカットとして機能する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-31T12:53:20Z)
• Be Your Own Neighborhood: Detecting Adversarial Example by the Neighborhood Relations Built on Self-Supervised Learning [64.78972193105443]
  本稿では,予測に有効な新しいAE検出フレームワークを提案する。 AEの異常な関係と拡張バージョンを区別して検出を行う。 表現を抽出し、ラベルを予測するために、既製の自己監視学習(SSL)モデルが使用される。
  論文  参考訳（メタデータ） (2022-08-31T08:18:44Z)
• Guiding Visual Question Answering with Attention Priors [76.21671164766073]
  本稿では,言語・視覚的接地による注意機構の導出について述べる。 この基礎は、クエリ内の構造化言語概念を視覚オブジェクト間の参照物に接続することで導かれる。 このアルゴリズムは、注意に基づく推論モデルを調べ、関連する連想的知識を注入し、コア推論プロセスを制御する。
  論文  参考訳（メタデータ） (2022-05-25T09:53:47Z)
• Joint Attention for Multi-Agent Coordination and Social Learning [108.31232213078597]
  共同注意がマルチエージェント協調とソーシャルラーニングを改善するメカニズムとして有用であることを示す。 共同の注意は、複数の環境にまたがる競争集中型批評家のベースラインよりも高いパフォーマンスをもたらす。 これらの結果から,共同注意は多エージェント学習に有用な帰納的バイアスである可能性が示唆された。
  論文  参考訳（メタデータ） (2021-04-15T20:14:19Z)
• Hard Attention Control By Mutual Information Maximization [4.56877715768796]
  生物エージェントは、環境からの情報の受信率を制限するために注意の原則を採用してきた。 本稿では,各ステップにおける環境状態と注目位置の相互情報を最大化することにより,ハードアテンションウィンドウの制御方法を学ぶためのアプローチを提案する。
  論文  参考訳（メタデータ） (2021-03-10T22:38:28Z)
• Noisy Agents: Self-supervised Exploration by Predicting Auditory Events [127.82594819117753]
  本稿では, エージェントが行動の因果的影響を理解することを奨励する, 強化学習(Reinforcement Learning, RL)の本質的なモチベーションを提案する。 ニューラルネットワークを用いて聴覚事象を予測し、予測誤差を本質的な報奨として利用し、RL探索を誘導する。 Atariゲームの実験結果から、我々の新しい本質的な動機は、最先端のベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2020-07-27T17:59:08Z)
• Attention or memory? Neurointerpretable agents in space and time [0.0]
  本研究では,意味的特徴空間にタスク状態表現を実装する自己認識機構を組み込んだモデルの設計を行う。 エージェントの選択的特性を評価するために,多数のタスク非関連特徴を観察に付加する。 神経科学の予測に従って、自己注意は、ベンチマークモデルと比較してノイズに対する堅牢性を高める。
  論文  参考訳（メタデータ） (2020-07-09T15:04:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。