論文の概要: Coordination Among Neural Modules Through a Shared Global Workspace
- arxiv url: http://arxiv.org/abs/2103.01197v1
- Date: Mon, 1 Mar 2021 18:43:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 17:33:37.534825
- Title: Coordination Among Neural Modules Through a Shared Global Workspace
- Title（参考訳）: 共有グローバルワークスペースによる神経モジュール間の協調
- Authors: Anirudh Goyal, Aniket Didolkar, Alex Lamb, Kartikeya Badola, Nan
Rosemary Ke, Nasim Rahaman, Jonathan Binas, Charles Blundell, Michael Mozer,
Yoshua Bengio
- Abstract要約: 認知科学において、機能的に特殊なコンポーネントが情報を共有するグローバルなワークスペースアーキテクチャが提案されている。
キャパシティ制限は、特殊化と構成性を奨励する合理的な基礎を持つことを示す。
- 参考スコア（独自算出の注目度）: 78.08062292790109
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning has seen a movement away from representing examples with a
monolithic hidden state towards a richly structured state. For example,
Transformers segment by position, and object-centric architectures decompose
images into entities. In all these architectures, interactions between
different elements are modeled via pairwise interactions: Transformers make use
of self-attention to incorporate information from other positions;
object-centric architectures make use of graph neural networks to model
interactions among entities. However, pairwise interactions may not achieve
global coordination or a coherent, integrated representation that can be used
for downstream tasks. In cognitive science, a global workspace architecture has
been proposed in which functionally specialized components share information
through a common, bandwidth-limited communication channel. We explore the use
of such a communication channel in the context of deep learning for modeling
the structure of complex environments. The proposed method includes a shared
workspace through which communication among different specialist modules takes
place but due to limits on the communication bandwidth, specialist modules must
compete for access. We show that capacity limitations have a rational basis in
that (1) they encourage specialization and compositionality and (2) they
facilitate the synchronization of otherwise independent specialists.
- Abstract（参考訳）: ディープラーニングは、モノリシックな隠蔽状態の例を、リッチな構造化状態へと表現する動きから遠ざかっている。
例えば、Transformerは位置ごとにセグメンテーションし、オブジェクト中心アーキテクチャはイメージをエンティティに分解する。
これらのすべてのアーキテクチャでは、異なる要素間の相互作用はペアワイズインタラクションによってモデル化される。トランスフォーマーは、他の位置からの情報を取り入れるために自己意識を利用し、オブジェクト中心アーキテクチャは、エンティティ間の相互作用をモデル化するグラフニューラルネットワークを利用する。
しかしながら、ペアワイズ相互作用は、ダウンストリームタスクに使用できるグローバルコーディネーションやコヒーレントな統合表現を達成できない場合がある。
認知科学において、機能的に特殊なコンポーネントが共通の帯域制限された通信チャネルを介して情報を共有するグローバルワークスペースアーキテクチャが提案されている。
複雑な環境の構造をモデル化するための深層学習の文脈におけるそのようなコミュニケーションチャネルの利用について検討する。
提案手法は、異なる専門家モジュール間の通信を行う共有ワークスペースを含むが、通信帯域に制限があるため、専門家モジュールはアクセスを競う必要がある。
キャパシティ制限は,(1)専門化と構成性を奨励し,(2)独立した専門家の同期を促進するという合理的な根拠を持つことを示す。
関連論文リスト
- DeepInteraction++: Multi-Modality Interaction for Autonomous Driving [80.8837864849534]
我々は,モダリティごとの個別表現を学習し,維持することのできる,新しいモダリティインタラクション戦略を導入する。
DeepInteraction++はマルチモーダルなインタラクション・フレームワークであり、マルチモーダルな表現型インタラクション・エンコーダとマルチモーダルな予測型インタラクション・デコーダを特徴とする。
実験では,3次元物体検出とエンドツーエンドの自律走行の両方において,提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2024-08-09T14:04:21Z) - LoginMEA: Local-to-Global Interaction Network for Multi-modal Entity Alignment [18.365849722239865]
マルチモーダルなエンティティアライメント(MMEA)は、2つのマルチモーダルな知識グラフ間で等価なエンティティを識別することを目的としている。
我々は、ロギンメAと呼ばれるMMEAのための新しいローカル・グローバル・インタラクション・ネットワークを提案する。
論文 参考訳（メタデータ） (2024-07-29T01:06:45Z) - REACT: Recognize Every Action Everywhere All At Once [8.10024991952397]
グループ・アクティビティ・デコーダ(GAR)はコンピュータビジョンにおける基本的な問題であり、スポーツ分析、監視、社会場面の理解に様々な応用がある。
本稿では,変換器エンコーダ・デコーダモデルにインスパイアされたREACTアーキテクチャを提案する。
提案手法は,グループ活動の認識と理解において優れた精度を示すとともに,最先端のGAR手法よりも優れた性能を示す。
論文 参考訳（メタデータ） (2023-11-27T20:48:54Z) - Collective Relational Inference for learning heterogeneous interactions [8.215734914005845]
本稿では,従来の手法と比較して2つの特徴を持つ関係推論の確率的手法を提案する。
提案手法を複数のベンチマークデータセットで評価し,既存の手法よりも精度良く対話型を推定できることを実証した。
全体として、提案モデルはデータ効率が高く、より小さなシステムで訓練された場合、大規模システムに対して一般化可能である。
論文 参考訳（メタデータ） (2023-04-30T19:45:04Z) - Global-and-Local Collaborative Learning for Co-Salient Object Detection [162.62642867056385]
Co-Salient Object Detection (CoSOD)の目標は、2つ以上の関連する画像を含むクエリグループに一般的に現れる有能なオブジェクトを見つけることである。
本稿では,グローバル対応モデリング(GCM)とローカル対応モデリング(LCM)を含む,グローバル・ローカル協調学習アーキテクチャを提案する。
提案したGLNetは3つの一般的なCoSODベンチマークデータセットに基づいて評価され、我々のモデルが小さなデータセット(約3k画像)でトレーニングされた場合、一部の大規模データセット(約8k-200k画像)でトレーニングされた11の最先端の競合製品(約8k-200k画像)を上回っていることを示す。
論文 参考訳（メタデータ） (2022-04-19T14:32:41Z) - Bidirectional Graph Reasoning Network for Panoptic Segmentation [126.06251745669107]
本稿では,BGRNet(Bidirectional Graph Reasoning Network)を導入し,前景物と背景物間のモジュラー内およびモジュラー間関係について検討する。
BGRNetはまず、インスタンスとセマンティックセグメンテーションの両方でイメージ固有のグラフを構築し、提案レベルとクラスレベルで柔軟な推論を可能にする。
論文 参考訳（メタデータ） (2020-04-14T02:32:10Z) - Cascaded Human-Object Interaction Recognition [175.60439054047043]
マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。
各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。
慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
論文 参考訳（メタデータ） (2020-03-09T17:05:04Z) - Learning Structured Communication for Multi-agent Reinforcement Learning [104.64584573546524]
本研究では,マルチエージェント強化学習(MARL)環境下での大規模マルチエージェント通信機構について検討する。
本稿では、より柔軟で効率的な通信トポロジを用いて、LSC(Learning Structured Communication)と呼ばれる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-11T07:19:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。