論文の概要: Testing Components of the Attention Schema Theory in Artificial Neural Networks
- arxiv url: http://arxiv.org/abs/2411.00983v2
- Date: Fri, 15 Aug 2025 18:55:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-19 14:49:09.700874
- Title: Testing Components of the Attention Schema Theory in Artificial Neural Networks
- Title（参考訳）: ニューラルネットワークにおける注意スキーマ理論の試験成分
- Authors: Kathryn T. Farrell, Kirsten Ziman, Michael S. A. Graziano,
- Abstract要約: 成長する証拠は、脳が注意スキーマ(注意の簡易なモデル)を使用して、その参加者を制御していることを示唆している。
注意スキーマの効果は、人工エージェントで調べることができる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Growing evidence suggests that the brain uses an attention schema, or a simplified model of attention, to help control what it attends to. One proposed benefit of this model is to allow agents to model the attention states of other agents, and thus predict and interact with other agents. The effects of an attention schema may be examined in artificial agents. Although attention mechanisms in artificial agents are different from in biological brains, there may be some principles in common. In both cases, select features or representations are emphasized for better performance. Here, using neural networks with transformer attention mechanisms, we asked whether the addition of an attention schema affected the ability of agents to make judgements about and cooperate with each other. First, we found that an agent with an attention schema is better at categorizing the attention states of other agents (higher accuracy). Second, an agent with an attention schema develops a pattern of attention that is easier for other agents to categorize. Third, in a joint task where two agents must predict each other to paint a scene together, adding an attention schema improves performance. Finally, the performance improvements are not caused by a general increase in network complexity. Instead, improvement is specific to tasks involving judging, categorizing, or predicting the attention of other agents. These results support the hypothesis that an attention schema has computational properties beneficial to mutual interpretability and interactive behavior. We speculate that the same principles might pertain to biological attention and attention schemas in people.
- Abstract（参考訳）: 成長する証拠は、脳が注意スキーマ(注意の簡易なモデル)を使用して、その参加者を制御していることを示唆している。
このモデルの利点の一つは、エージェントが他のエージェントの注意状態をモデル化し、他のエージェントと予測し、相互作用できるようにすることである。
注意スキーマの効果は、人工エージェントで調べることができる。
人工エージェントの注意機構は生物学的脳と異なるが、共通する原理があるかもしれない。
どちらの場合も、より良いパフォーマンスのために、特定の機能や表現が強調されます。
ここでは、トランスフォーマーのアテンション機構を備えたニューラルネットワークを用いて、アテンションスキーマの追加がエージェントの判断に影響を及ぼし、互いに協力するかどうかを問うた。
まず、アテンションスキーマを持つエージェントが、他のエージェントのアテンション状態(高い精度)を分類するのに優れていることを発見した。
第二に、注意スキーマを持つエージェントは、他のエージェントが分類しやすい注意パターンを発達させる。
第3に、2つのエージェントが互いに予測してシーンを描画しなければならない共同タスクにおいて、アテンションスキーマを追加することでパフォーマンスが向上する。
最後に、パフォーマンスの改善は、ネットワークの複雑さの全般的な増加によるものではない。
むしろ改善は、他のエージェントの注意を判断、分類、予測するタスクに特化している。
これらの結果は、アテンションスキーマが相互解釈可能性および対話的行動に有益であるという仮説を支持する。
我々は、同じ原則が人々の生物学的注意と注意スキーマに関係しているのではないかと推測する。
関連論文リスト
- Attention Schema in Neural Agents [66.43628974353683]
認知神経科学において、注意理論(AST)は、注意をASと区別する考え方を支持している。
ASTは、エージェントが自身のASを使用して他のエージェントの注意の状態を推測できると予測する。
我々は、注意とASが相互に相互作用する様々な方法を探求する。
論文 参考訳（メタデータ） (2023-05-27T05:40:34Z) - Attention in Reasoning: Dataset, Analysis, and Modeling [31.3104693230952]
本稿では,タスクの成果につながるプロセスを理解し,改善するために注意を向けたAttention with Reasoning(AiR)フレームワークを提案する。
まず,原子推論操作のシーケンスに基づいて評価基準を定義し,注意度を定量的に測定する。
次に、人間の視線追跡と正当性データを収集し、その推論能力に基づいて、様々な機械および人間の注意機構を解析する。
論文 参考訳（メタデータ） (2022-04-20T20:32:31Z) - Alignment Attention by Matching Key and Query Distributions [48.93793773929006]
本稿では,各ヘッダ内のキーとクエリの分布を一致させる自己注意を促すアライメントアテンションアテンションアテンションアテンションアテンションを導入している。
事前学習したモデルを含む自己注意のモデルはすべて、提案したアライメントアテンションアテンションアテンションに変換することが簡単である。
様々な言語理解タスクにおいて, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃に対する堅牢性などの手法の有効性を示す。
論文 参考訳（メタデータ） (2021-10-25T00:54:57Z) - Counterfactual Attention Learning for Fine-Grained Visual Categorization
and Re-identification [101.49122450005869]
本稿では,因果推論に基づくより効果的な注意力学習法を提案する。
具体的には,学習した視覚的注意がネットワーク予測に与える影響を分析する。
本手法は,広範囲の粒度認識タスクにおいて評価する。
論文 参考訳（メタデータ） (2021-08-19T14:53:40Z) - Understanding top-down attention using task-oriented ablation design [0.22940141855172028]
トップダウンの注目により、ニューラルネットワークは、人工的および生物学的の両方において、与えられたタスクに最も関連性の高い情報に集中することができる。
我々は,タスク指向アブレーション設計と呼ばれる一般的なフレームワークに基づく計算実験により,この問題に対処することを目指している。
2つのニューラルネットワークの性能を比較する。
論文 参考訳（メタデータ） (2021-06-08T21:01:47Z) - Joint Attention for Multi-Agent Coordination and Social Learning [108.31232213078597]
共同注意がマルチエージェント協調とソーシャルラーニングを改善するメカニズムとして有用であることを示す。
共同の注意は、複数の環境にまたがる競争集中型批評家のベースラインよりも高いパフォーマンスをもたらす。
これらの結果から,共同注意は多エージェント学習に有用な帰納的バイアスである可能性が示唆された。
論文 参考訳（メタデータ） (2021-04-15T20:14:19Z) - AiR: Attention with Reasoning Capability [31.3104693230952]
本稿では,タスクの成果につながるプロセスを理解し,改善するために注意を向けたAttention with Reasoning(AiR)フレームワークを提案する。
まず,原子的推論処理のシーケンスに基づいて評価基準を定義し,推論過程を考慮した注意度の測定を可能にする。
次に、人間の視線追跡と正当性データを収集し、その推論能力とそれがタスクパフォーマンスに与える影響について、さまざまなマシンおよび人間の注意を解析する。
論文 参考訳（メタデータ） (2020-07-28T18:09:45Z) - Deep Reinforced Attention Learning for Quality-Aware Visual Recognition [73.15276998621582]
我々は,任意の畳み込みニューラルネットワークにおける中間注意マップの弱教師付き生成機構を構築した。
メタ批評家ネットワークを導入し、メインネットワークにおける注目マップの質を評価する。
論文 参考訳（メタデータ） (2020-07-13T02:44:38Z) - Exploring Self-attention for Image Recognition [151.12000247183636]
画像認識における自己注意の2つの形態について考察する。
ひとつは、標準的なドット積の注意を一般化する、ペアワイズな自己注意である。
もう1つはパッチワイドな自己認識であり、畳み込みよりも厳格に強力です。
論文 参考訳（メタデータ） (2020-04-28T16:01:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。