論文の概要: The Sensory Neuron as a Transformer: Permutation-Invariant Neural Networks for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2109.02869v2
• Date: Wed, 29 Sep 2021 00:59:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 22:57:42.690648
• Title: The Sensory Neuron as a Transformer: Permutation-Invariant Neural Networks for Reinforcement Learning
• Title（参考訳）: トランスフォーマーとしての知覚ニューロン : 強化学習のための置換不変ニューラルネットワーク
• Authors: Yujin Tang and David Ha
• Abstract要約: 私たちは、各感覚入力を環境から異なるが同一のニューラルネットワークに供給するシステムを構築します。 これらのセンサネットワークは、ローカルに受信した情報を統合するための訓練が可能であり、アテンションメカニズムによるコミュニケーションにより、グローバルな一貫性を持つポリシーをまとめて作成できることが示される。
• 参考スコア（独自算出の注目度）: 11.247894240593691
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In complex systems, we often observe complex global behavior emerge from a collection of agents interacting with each other in their environment, with each individual agent acting only on locally available information, without knowing the full picture. Such systems have inspired development of artificial intelligence algorithms in areas such as swarm optimization and cellular automata. Motivated by the emergence of collective behavior from complex cellular systems, we build systems that feed each sensory input from the environment into distinct, but identical neural networks, each with no fixed relationship with one another. We show that these sensory networks can be trained to integrate information received locally, and through communication via an attention mechanism, can collectively produce a globally coherent policy. Moreover, the system can still perform its task even if the ordering of its inputs is randomly permuted several times during an episode. These permutation invariant systems also display useful robustness and generalization properties that are broadly applicable. Interactive demo and videos of our results: https://attentionneuron.github.io/
• Abstract（参考訳）: 複雑なシステムでは、各エージェントが全体像を知らずに、各エージェントがローカルに利用可能な情報のみに作用し、互いに相互作用するエージェントの集合から生じる複雑なグローバルな振る舞いをよく観察する。 このようなシステムは、スウォーム最適化やセルオートマトンといった分野における人工知能アルゴリズムの開発に影響を与えた。 複雑な細胞系からの集団行動の出現により、我々は環境からの感覚入力をそれぞれ異なるが同一のニューラルネットワークに供給するシステムを構築し、それぞれが互いに固定的な関係を持たない。 これらのセンサネットワークは、ローカルに受信した情報を統合するための訓練が可能であり、アテンションメカニズムによるコミュニケーションにより、グローバルな一貫性を持つポリシーを集合的に作成できることを示す。 さらに、システムは、エピソード中に入力の順序がランダムに変更されても、そのタスクを実行できる。 これらの置換不変量系はまた、広く適用可能な有用なロバスト性と一般化性を示す。 結果のインタラクティブなデモとビデオ: https://attentionneuron.github.io/

関連論文リスト

• Evolving Neural Networks Reveal Emergent Collective Behavior from Minimal Agent Interactions [0.0]
  ニューラルネットワークが動的環境におけるエージェントの行動を制御するためにどのように進化するかを検討する。 レーン形成や層流のような単純な挙動は、より線形なネットワーク操作によって特徴づけられる。 中程度のノイズ、広い視野、低いエージェント密度といった特定の環境パラメータは、非線形ネットワークの進化を促進する。
  論文  参考訳（メタデータ） (2024-10-25T17:43:00Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Inferring Relational Potentials in Interacting Systems [56.498417950856904]
  このような相互作用を発見する代替手法として、ニューラル・インタラクション・推論(NIIP)を提案する。 NIIPは観測された関係制約を尊重する軌道のサブセットに低エネルギーを割り当てる。 別々に訓練されたモデル間での相互作用の型を交換するなどの軌道操作や、軌道予測を可能にする。
  論文  参考訳（メタデータ） (2023-10-23T00:44:17Z)
• Unsupervised Learning of Invariance Transformations [105.54048699217668]
  近似グラフ自己同型を見つけるためのアルゴリズムフレームワークを開発する。 重み付きグラフにおける近似自己同型を見つけるために、このフレームワークをどのように利用できるかについて議論する。
  論文  参考訳（メタデータ） (2023-07-24T17:03:28Z)
• Seeing the forest and the tree: Building representations of both individual and collective dynamics with transformers [6.543007700542191]
  時間変化データから学習するトランスフォーマーアーキテクチャを提案する。 本モデルは,多体システムにおける複雑な相互作用や力学の回復に有効であることを示す。 実験の結果, ある動物の脳のニューロンから学習し, 異なる動物の脳のニューロンにモデルを移すことが可能であることが確認された。
  論文  参考訳（メタデータ） (2022-06-10T07:14:57Z)
• Neurosymbolic hybrid approach to driver collision warning [64.02492460600905]
  自律運転システムには2つの主要なアルゴリズムアプローチがある。 ディープラーニングだけでは、多くの分野で最先端の結果が得られています。 しかし、ディープラーニングモデルが機能しない場合、デバッグが非常に難しい場合もあります。
  論文  参考訳（メタデータ） (2022-03-28T20:29:50Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• POPPINS : A Population-Based Digital Spiking Neuromorphic Processor with Integer Quadratic Integrate-and-Fire Neurons [50.591267188664666]
  2つの階層構造を持つ180nmプロセス技術において,集団に基づくディジタルスパイキングニューロモルフィックプロセッサを提案する。 提案手法は,生体模倣型ニューロモルフィックシステム,低消費電力,低遅延推論処理アプリケーションの開発を可能にする。
  論文  参考訳（メタデータ） (2022-01-19T09:26:34Z)
• A Framework for Learning Invariant Physical Relations in Multimodal Sensory Processing [0.0]
  我々は、教師なしの方法で、知覚的手がかり間の関係を学習できる新しいニューラルネットワークアーキテクチャを設計する。 低次元知覚データにおける任意の非線形関係を学習する際のコアシステム機能について述べる。 我々は、標準的なRGBカメラフレームから物理量間の関係を学習する現実世界の学習問題を通してこれを実証する。
  論文  参考訳（メタデータ） (2020-06-30T08:42:48Z)
• Teaching Recurrent Neural Networks to Modify Chaotic Memories by Example [14.91507266777207]
  繰り返しニューラルネットワークは,実例のみを用いて複雑な情報の表現を変更できることが示される。 我々は,これらの計算を学習するためのメカニズムを提供し,一つのネットワークが同時に複数の計算を学習できることを実証する。
  論文  参考訳（メタデータ） (2020-05-03T20:51:46Z)
• Deep learning reveals hidden interactions in complex systems [0.0]
  AgentNetは、複雑なシステムに隠されたインタラクションを明らかにするために、ディープニューラルネットワークで構成されるモデルフリーのデータ駆動フレームワークである。 鳥の群れから得られた実証データにより、AgentNetは本物の鳥が提示する隠れた相互作用範囲を特定できることを示した。
  論文  参考訳（メタデータ） (2020-01-03T02:25:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。