論文の概要: Self-Supervised Learning of Representations for Space Generates Multi-Modular Grid Cells

• arxiv url: http://arxiv.org/abs/2311.02316v1
• Date: Sat, 4 Nov 2023 03:59:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 18:23:18.361024
• Title: Self-Supervised Learning of Representations for Space Generates Multi-Modular Grid Cells
• Title（参考訳）: 空間表現の自己教師あり学習によるマルチモジュラーグリッドセルの生成
• Authors: Rylan Schaeffer, Mikail Khona, Tzuhsuan Ma, Crist\'obal Eyzaguirre, Sanmi Koyejo, Ila Rani Fiete
• Abstract要約: 哺乳類の系統は 顕著な空間表現を発達させました 重要な空間表現の一つがノーベル賞受賞格子細胞である。 ノーベル賞受賞時のグリッド細胞は、自己位置、局所的および周期的な量を表す。
• 参考スコア（独自算出の注目度）: 16.208253624969142
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: To solve the spatial problems of mapping, localization and navigation, the mammalian lineage has developed striking spatial representations. One important spatial representation is the Nobel-prize winning grid cells: neurons that represent self-location, a local and aperiodic quantity, with seemingly bizarre non-local and spatially periodic activity patterns of a few discrete periods. Why has the mammalian lineage learnt this peculiar grid representation? Mathematical analysis suggests that this multi-periodic representation has excellent properties as an algebraic code with high capacity and intrinsic error-correction, but to date, there is no satisfactory synthesis of core principles that lead to multi-modular grid cells in deep recurrent neural networks. In this work, we begin by identifying key insights from four families of approaches to answering the grid cell question: coding theory, dynamical systems, function optimization and supervised deep learning. We then leverage our insights to propose a new approach that combines the strengths of all four approaches. Our approach is a self-supervised learning (SSL) framework - including data, data augmentations, loss functions and a network architecture - motivated from a normative perspective, without access to supervised position information or engineering of particular readout representations as needed in previous approaches. We show that multiple grid cell modules can emerge in networks trained on our SSL framework and that the networks and emergent representations generalize well outside their training distribution. This work contains insights for neuroscientists interested in the origins of grid cells as well as machine learning researchers interested in novel SSL frameworks.
• Abstract（参考訳）: マッピング,局所化,ナビゲーションの空間的問題を解決するために,哺乳類の系統は顕著な空間的表現を発達させた。 1つの重要な空間的表現はノーベル賞受賞の格子細胞である: 自己位置を表すニューロン、局所的および周期的な量、そしていくつかの離散的な周期的な非局所的および空間的活動パターンのように見える。 哺乳類の系統はなぜこの特異なグリッド表現を学んでいるのか? 数学的解析により、この多周期表現は高いキャパシティと本質的な誤り補正を持つ代数的符号として優れた性質を持つことが示唆されるが、今のところ、深いリカレントニューラルネットワークにおいて多モジュラーグリッド細胞に繋がるコア原理の十分な合成は行われていない。 本研究は,符号化理論,動的システム,関数最適化,教師付きディープラーニングという,グリッドセル問題に答える4つのアプローチのファミリーから,重要な洞察を抽出することから始める。 次に、洞察を活用して、4つのアプローチの長所を組み合わせた新しいアプローチを提案します。 我々のアプローチは、データ、データ拡張、損失関数、ネットワークアーキテクチャを含む自己教師あり学習(ssl)フレームワークであり、従来のアプローチで必要とされる特定の読み出し表現の教師あり位置情報やエンジニアリングにアクセスせずに、規範的な観点から動機づけられる。 SSLフレームワーク上でトレーニングされたネットワークに複数のグリッドセルモジュールが出現し,ネットワークと初期表現がトレーニングディストリビューションの外部でうまく一般化できることが示される。 この研究には、グリッド細胞の起源に関心を持つ神経科学者や、新しいSSLフレームワークに関心を持つ機械学習研究者のための洞察が含まれている。

関連論文リスト

• The Dynamic Net Architecture: Learning Robust and Holistic Visual Representations Through Self-Organizing Networks [3.9848584845601014]
  動的ネットアーキテクチャ(DNA)と呼ばれる新しいインテリジェントシステムアーキテクチャを提案する。 DNAは繰り返し安定化されたネットワークに依存し、それを視覚に応用するために議論する。
  論文  参考訳（メタデータ） (2024-07-08T06:22:10Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Multiway Multislice PHATE: Visualizing Hidden Dynamics of RNNs through Training [6.326396282553267]
  リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、シーケンシャルなデータ分析に広く使われているツールであるが、計算のブラックボックスとしてよく見られる。 本稿では,RNNの隠れ状態の進化を可視化する新しい手法であるMultiway Multislice PHATE(MM-PHATE)を提案する。
  論文  参考訳（メタデータ） (2024-06-04T05:05:27Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Supervised Learning with First-to-Spike Decoding in Multilayer Spiking Neural Networks [0.0]
  本稿では,多層スパイキングニューラルネットワークを学習して分類問題を解くための教師あり学習手法を提案する。 提案した学習規則は、隠れニューロンが発する複数のスパイクをサポートし、決定論的出力層によって生成された最初のスパイク応答に依存することにより安定である。 また、入力データのコンパクト表現を形成するために、いくつかの異なるスパイクベースの符号化戦略についても検討する。
  論文  参考訳（メタデータ） (2020-08-16T15:34:48Z)
• Grid Cells Are Ubiquitous in Neural Networks [0.0]
  格子細胞は空間的および非空間的認知タスクにおいて重要な役割を果たしていると考えられている。 最近の研究では、LSTMの経路積分のための格子細胞の出現が観察されている。
  論文  参考訳（メタデータ） (2020-03-07T01:40:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。