論文の概要: Nonlinear dynamics of localization in neural receptive fields

• arxiv url: http://arxiv.org/abs/2501.17284v1
• Date: Tue, 28 Jan 2025 20:34:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 15:53:42.073838
• Title: Nonlinear dynamics of localization in neural receptive fields
• Title（参考訳）: 神経受容領域における局在の非線形ダイナミクス
• Authors: Leon Lufkin, Andrew M. Saxe, Erin Grant,
• Abstract要約: 局所受容野は哺乳類の脳の初期の感覚領域に分布する。 局所的受容場が明らかにトップダウン効率の制約を伴わずに出現する代替モデルを考える。
• 参考スコア（独自算出の注目度）: 9.803789535350647
• License:
• Abstract: Localized receptive fields -- neurons that are selective for certain contiguous spatiotemporal features of their input -- populate early sensory regions of the mammalian brain. Unsupervised learning algorithms that optimize explicit sparsity or independence criteria replicate features of these localized receptive fields, but fail to explain directly how localization arises through learning without efficient coding, as occurs in early layers of deep neural networks and might occur in early sensory regions of biological systems. We consider an alternative model in which localized receptive fields emerge without explicit top-down efficiency constraints -- a feedforward neural network trained on a data model inspired by the structure of natural images. Previous work identified the importance of non-Gaussian statistics to localization in this setting but left open questions about the mechanisms driving dynamical emergence. We address these questions by deriving the effective learning dynamics for a single nonlinear neuron, making precise how higher-order statistical properties of the input data drive emergent localization, and we demonstrate that the predictions of these effective dynamics extend to the many-neuron setting. Our analysis provides an alternative explanation for the ubiquity of localization as resulting from the nonlinear dynamics of learning in neural circuits.
• Abstract（参考訳）: 局所受容野 -- 入力の連続した時空間的特徴に選択的に選択されたニューロン -- は、哺乳類の脳の初期の感覚領域に出現する。 明示的な空間性や独立性の基準を最適化する教師なし学習アルゴリズムは、これらの局所受容領域の特徴を再現するが、ディープニューラルネットワークの初期層で発生し、生物学的システムの初期の知覚領域で発生するような、効率的なコーディングなしで学習によって局所化がどのように起こるかを直接説明できない。 自然画像の構造にインスパイアされたデータモデルに基づいてトレーニングされたフィードフォワードニューラルネットワークである。 以前の研究は、この設定において非ガウス統計学がローカライゼーションに重要であることを特定したが、動的出現を駆動するメカニズムについてオープンな疑問を残した。 単一非線形ニューロンに対する効果的な学習力学を導出し、入力データの高次統計特性が創発的局所化をいかに促進するかを正確に評価することにより、これらの問題に対処する。 我々の分析は、ニューラルネットワークにおける学習の非線形ダイナミクスから生じる局所化の普遍性について、代替的な説明を提供する。

関連論文リスト

• Interpretable statistical representations of neural population dynamics and geometry [4.459704414303749]
  そこで我々は,manifold dynamics を局所流れ場に分解し,それらを共通潜在空間にマッピングする表現学習手法 MARBLE を提案する。 シミュレーションされた非線形力学系,リカレントニューラルネットワーク,および霊長類および歯列類からの実験的単一ニューロン記録において,創発的低次元潜伏表現が発見された。 これらの表現はニューラルネットワークや動物間で一貫性があり、認知計算の堅牢な比較を可能にする。
  論文  参考訳（メタデータ） (2023-04-06T21:11:04Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• STNDT: Modeling Neural Population Activity with a Spatiotemporal Transformer [19.329190789275565]
  我々は、個々のニューロンの応答を明示的にモデル化するNDTベースのアーキテクチャであるSpatioTemporal Neural Data Transformer (STNDT)を紹介する。 本モデルは,4つのニューラルデータセット間での神経活動の推定において,アンサンブルレベルでの最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-06-09T18:54:23Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Overcoming the Domain Gap in Contrastive Learning of Neural Action Representations [60.47807856873544]
  神経科学の基本的な目標は、神経活動と行動の関係を理解することである。 我々は,ハエが自然に生み出す行動からなる新しいマルチモーダルデータセットを作成した。 このデータセットと新しい拡張セットは、神経科学における自己教師あり学習手法の適用を加速することを約束します。
  論文  参考訳（メタデータ） (2021-11-29T15:27:51Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Factorized Neural Processes for Neural Processes: $K$-Shot Prediction of Neural Responses [9.792408261365043]
  我々は,小さな刺激応答対からニューロンのチューニング関数を推定するファクトリズ・ニューラル・プロセスを開発した。 本稿では,ニューラルプロセスからの予測および再構成された受容場が,試行数の増加とともに真理に近づいたことをシミュレートした応答を示す。 この新しいディープラーニングシステム識別フレームワークは、ニューラルネットワークモデリングを神経科学実験にリアルタイムに組み込むのに役立つと信じている。
  論文  参考訳（メタデータ） (2020-10-22T15:43:59Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。