論文の概要: Emergence of Grid-like Representations by Training Recurrent Networks with Conformal Normalization

• arxiv url: http://arxiv.org/abs/2310.19192v2
• Date: Tue, 20 Feb 2024 04:47:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 20:28:33.297109
• Title: Emergence of Grid-like Representations by Training Recurrent Networks with Conformal Normalization
• Title（参考訳）: 共形正規化を伴うリカレントネットワークの訓練によるグリッド状表現の出現
• Authors: Dehong Xu, Ruiqi Gao, Wen-Hao Zhang, Xue-Xin Wei, Ying Nian Wu
• Abstract要約: ニューラルネットワークモデルに基づくグリッドセルの六角形格子パターンの出現について検討した。 本稿では、RNNの入力速度の単純かつ一般的な等角正規化を提案する。 我々は、六角形格子パターンの出現に共形正規化が不可欠であることを示す広範な実験を行う。
• 参考スコア（独自算出の注目度）: 48.99772993899573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Grid cells in the entorhinal cortex of mammalian brains exhibit striking hexagon grid firing patterns in their response maps as the animal (e.g., a rat) navigates in a 2D open environment. In this paper, we study the emergence of the hexagon grid patterns of grid cells based on a general recurrent neural network (RNN) model that captures the navigation process. The responses of grid cells collectively form a high dimensional vector, representing the 2D self-position of the agent. As the agent moves, the vector is transformed by an RNN that takes the velocity of the agent as input. We propose a simple yet general conformal normalization of the input velocity of the RNN, so that the local displacement of the position vector in the high-dimensional neural space is proportional to the local displacement of the agent in the 2D physical space, regardless of the direction of the input velocity. We apply this mechanism to both a linear RNN and nonlinear RNNs. Theoretically, we provide an understanding that explains the connection between conformal normalization and the emergence of hexagon grid patterns. Empirically, we conduct extensive experiments to verify that conformal normalization is crucial for the emergence of hexagon grid patterns, across various types of RNNs. The learned patterns share similar profiles to biological grid cells, and the topological properties of the patterns also align with our theoretical understanding.
• Abstract（参考訳）: 哺乳類の脳内皮質の格子状細胞は、動物(例えばネズミ)が2次元の開放された環境で移動すると、その反応マップに六角形格子状発火パターンを示す。 本稿では, 一般的なリカレントニューラルネットワーク(RNN)モデルを用いて, グリッドセルの六角形格子パターンの出現について検討する。 格子細胞の応答は、エージェントの2次元自己配置を表す高次元ベクトルを集合的に形成する。 エージェントが移動すると、ベクトルはエージェントの速度を入力として取るRNNによって変換される。 本研究では,入力速度の方向に関わらず,高次元の神経空間における位置ベクトルの局所的変位が2次元の物理的空間におけるエージェントの局所的変位に比例するように,rnnの入力速度の単純かつ一般的な共形正規化を提案する。 この機構を線形RNNと非線形RNNの両方に適用する。 理論的には、共形正規化と六角形格子パターンの出現との関係を説明する理解を提供する。 実験により,多種多様なRNNにおける六角格子パターンの出現に共形正規化が重要であることを示す。 学習されたパターンは生体格子細胞と類似のプロファイルを共有しており、そのトポロジカルな性質も我々の理論的理解と一致している。

関連論文リスト

• An Investigation of Conformal Isometry Hypothesis for Grid Cells [45.67079714578615]
  本稿では、格子細胞の応答マップにおける六角形周期パターンの出現の潜在的説明として、共形アイソメトリ仮説を考察する。 我々は,この仮説が格子細胞の六角形周期パターンの下にあることを示す数値実験を行った。 さらに、格子セルの繰り返しニューラルネットワークが共形等尺性仮説を自動で満たすように、エージェントの入力速度の共形変調を提案する。
  論文  参考訳（メタデータ） (2024-05-27T06:31:39Z)
• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• Semisupervised regression in latent structure networks on unknown manifolds [7.5722195869569]
  ランダムドット積グラフは、それぞれの潜在位置の内積によって与えられる確率を持つ2つのノードの間にエッジを形成する。 本稿では,サンプル外ノードの応答変数を予測するために,多様体学習およびグラフ埋め込み手法を提案する。
  論文  参考訳（メタデータ） (2023-05-04T00:41:04Z)
• Conformal Isometry of Lie Group Representation in Recurrent Network of Grid Cells [52.425628028229156]
  本稿では,リカレントネットワークモデルを用いたグリッドセルの特性について検討する。 グリッドセルの連続的誘引ニューラルネットワークの基盤となる,単純な非線形リカレントモデルに着目する。
  論文  参考訳（メタデータ） (2022-10-06T05:26:49Z)
• VNT-Net: Rotational Invariant Vector Neuron Transformers [3.04585143845864]
  本稿では,最近導入されたベクトルニューロンと自己注意層を組み合わせた回転不変ニューラルネットワークを提案する。 実験により、我々のネットワークは任意のポーズで3Dポイントのクラウドオブジェクトを効率的に処理することを示した。
  論文  参考訳（メタデータ） (2022-05-19T16:51:56Z)
• On Path Integration of Grid Cells: Group Representation and Isotropic Scaling [135.0473739504851]
  格子セルによる経路積分の一般的な表現モデルの理論的解析を行う。 我々は、歯列脳の格子細胞の同様の性質を共有する六角形格子パターンを学習する。 学習したモデルは、正確な長距離経路積分を行うことができる。
  論文  参考訳（メタデータ） (2020-06-18T03:44:35Z)
• Gauge Equivariant Mesh CNNs: Anisotropic convolutions on geometric graphs [81.12344211998635]
  メッシュ上の畳み込みを定義する一般的なアプローチは、それらをグラフとして解釈し、グラフ畳み込みネットワーク(GCN)を適用することである。 本稿では、GCNを一般化して異方性ゲージ同変カーネルを適用するGauge Equivariant Mesh CNNを提案する。 本実験は,従来のGCNおよび他の手法と比較して,提案手法の表現性を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-03-11T17:21:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。