論文の概要: Spatial embedding promotes a specific form of modularity with low entropy and heterogeneous spectral dynamics
- arxiv url: http://arxiv.org/abs/2409.17693v1
- Date: Thu, 26 Sep 2024 10:00:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-28 20:46:02.577607
- Title: Spatial embedding promotes a specific form of modularity with low entropy and heterogeneous spectral dynamics
- Title（参考訳）: 空間埋め込みは低エントロピーおよび不均一スペクトルダイナミクスを持つ特異なモジュラリティを促進する
- Authors: Cornelia Sheeran, Andrew S. Ham, Duncan E. Astle, Jascha Achterberg, Danyal Akarca,
- Abstract要約: 空間的に埋め込まれたリカレントニューラルネットワークは、学習よりもネットワークの構造と機能を組み合わせた組織をどのように形成するかを研究するための有望な道を提供する。
我々は,これらの制約を,速度とスパイクニューラルネットワークの両面にわたって,ニューラルウェイトと固有スペクトルのエントロピー測定によって研究することが可能であることを示す。
この作業は、ニューラルネットワークにおける制約付き学習の理解を深め、コーディングスキームやタスクを越えて、同時に構造的および機能的目的に対するソリューションをタンデムで達成する必要がある。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding how biological constraints shape neural computation is a central goal of computational neuroscience. Spatially embedded recurrent neural networks provide a promising avenue to study how modelled constraints shape the combined structural and functional organisation of networks over learning. Prior work has shown that spatially embedded systems like this can combine structure and function into single artificial models during learning. But it remains unclear precisely how, in general, structural constraints bound the range of attainable configurations. In this work, we show that it is possible to study these restrictions through entropic measures of the neural weights and eigenspectrum, across both rate and spiking neural networks. Spatial embedding, in contrast to baseline models, leads to networks with a highly specific low entropy modularity where connectivity is readily interpretable given the known spatial and communication constraints acting on them. Crucially, these networks also demonstrate systematically modulated spectral dynamics, revealing how they exploit heterogeneity in their function to overcome the constraints imposed on their structure. This work deepens our understanding of constrained learning in neural networks, across coding schemes and tasks, where solutions to simultaneous structural and functional objectives must be accomplished in tandem.
- Abstract（参考訳）: 生物学的制約がどのように神経計算を形成するかを理解することは、計算神経科学の中心的な目標である。
空間的に埋め込まれたリカレントニューラルネットワークは、学習よりもネットワークの構造と機能を組み合わせた組織をどのように形成するかを研究するための有望な道を提供する。
これまでの研究では、このような空間的に埋め込まれたシステムは、学習中に構造と機能を単一の人工モデルに組み合わせることができることが示されていた。
しかし、構造的制約が到達可能な構成の範囲をどのように制限するかは、正確には分かっていない。
本研究では,これらの制約を,速度とスパイクニューラルネットワークの両面にわたって,ニューラルウェイトと固有スペクトルのエントロピー測定によって研究することが可能であることを示す。
空間埋め込みは、ベースラインモデルとは対照的に、既知の空間的および通信的制約がそれらに作用するので、接続性は容易に解釈できる、非常に特異な低エントロピーモジュラリティのネットワークにつながる。
重要なことに、これらのネットワークは体系的に変調されたスペクトル力学を実証し、それらの構造に課される制約を克服するために関数の不均一性をどのように活用するかを明らかにした。
この研究は、ニューラルネットワークにおける制約付き学習の理解を深め、コーディングスキームやタスクを越えて、同時に構造的および機能的目的に対するソリューションをタンデムで達成する必要がある。
関連論文リスト
- The Dynamic Net Architecture: Learning Robust and Holistic Visual Representations Through Self-Organizing Networks [3.9848584845601014]
動的ネットアーキテクチャ(DNA)と呼ばれる新しいインテリジェントシステムアーキテクチャを提案する。
DNAは繰り返し安定化されたネットワークに依存し、それを視覚に応用するために議論する。
論文 参考訳（メタデータ） (2024-07-08T06:22:10Z) - Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。
記号の配置に非依存であり、それによって表現される意味論にのみ依存する。
識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
論文 参考訳（メタデータ） (2024-05-12T22:18:25Z) - Growing Brains: Co-emergence of Anatomical and Functional Modularity in
Recurrent Neural Networks [18.375521792153112]
構成タスクで訓練されたリカレントニューラルネットワーク(RNN)は、機能的なモジュラリティを示すことができる。
我々は、脳に触発されたモジュラートレーニングという最近の機械学習手法を、合成認知タスクの集合を解決するためにトレーニングされているネットワークに適用する。
機能的および解剖学的クラスタリングが同時に出現し、機能的に類似したニューロンが空間的局所化および相互接続されるようになる。
論文 参考訳（メタデータ） (2023-10-11T17:58:25Z) - Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。
我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
論文 参考訳（メタデータ） (2023-03-30T02:40:28Z) - Building artificial neural circuits for domain-general cognition: a
primer on brain-inspired systems-level architecture [0.0]
本稿では,生体神経ネットワークにフレキシブル認知に必要な機能を持たせることの意義について概説する。
機械学習モデルがより複雑になるにつれて、これらの原則は、可能なアーキテクチャの広大な領域において、価値ある方向を提供するかもしれない。
論文 参考訳（メタデータ） (2023-03-21T18:36:17Z) - Gaussian Process Surrogate Models for Neural Networks [6.8304779077042515]
科学と工学において、モデリング(英: modeling)とは、内部プロセスが不透明な複雑なシステムを理解するために用いられる方法論である。
本稿では,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築する。
提案手法は,ニューラルネットワークのスペクトルバイアスに関連する既存の現象を捕捉し,サロゲートモデルを用いて現実的な問題を解決することを実証する。
論文 参考訳（メタデータ） (2022-08-11T20:17:02Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳（メタデータ） (2022-03-30T21:47:32Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Developing Constrained Neural Units Over Time [81.19349325749037]
本稿では,既存のアプローチと異なるニューラルネットワークの定義方法に焦点をあてる。
ニューラルネットワークの構造は、データとの相互作用にも拡張される制約の特別なクラスによって定義される。
提案した理論は時間領域にキャストされ, データを順序づけられた方法でネットワークに提示する。
論文 参考訳（メタデータ） (2020-09-01T09:07:25Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Complexity for deep neural networks and other characteristics of deep
feature representations [0.0]
ニューラルネットワークの計算の非線形性を定量化する複雑性の概念を定義する。
トレーニング対象ネットワークとトレーニング対象ネットワークの動的特性の両面から,これらのオブザーバブルについて検討する。
論文 参考訳（メタデータ） (2020-06-08T17:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。