論文の概要: A normative framework for deriving neural networks with
multi-compartmental neurons and non-Hebbian plasticity
- arxiv url: http://arxiv.org/abs/2302.10051v1
- Date: Mon, 20 Feb 2023 15:57:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-21 14:56:09.509646
- Title: A normative framework for deriving neural networks with
multi-compartmental neurons and non-Hebbian plasticity
- Title(参考訳): マルチコンパートメントニューロンと非ヘビアン可塑性を有するニューラルネットワークの導出のための規範的枠組み
- Authors: David Lipshutz, Yanis Bahroun, Siavash Golkar, Anirvan M. Sengupta,
Dmitri B. Chklovskii
- Abstract要約: 我々は、より複雑な目的に対処するために、類似性マッチングアプローチの最近の拡張をレビューし、統一する。
これらの目的から導かれたオンラインアルゴリズムは、自然にマルチセクションのニューロンと局所的に非ヘビーンの学習規則を持つNNにマップされる。
- 参考スコア(独自算出の注目度): 12.940770779756482
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An established normative approach for understanding the algorithmic basis of
neural computation is to derive online algorithms from principled computational
objectives and evaluate their compatibility with anatomical and physiological
observations. Similarity matching objectives have served as successful starting
points for deriving online algorithms that map onto neural networks (NNs) with
point neurons and Hebbian/anti-Hebbian plasticity. These NN models account for
many anatomical and physiological observations; however, the objectives have
limited computational power and the derived NNs do not explain
multi-compartmental neuronal structures and non-Hebbian forms of plasticity
that are prevalent throughout the brain. In this article, we review and unify
recent extensions of the similarity matching approach to address more complex
objectives, including a broad range of unsupervised and self-supervised
learning tasks that can be formulated as generalized eigenvalue problems or
nonnegative matrix factorization problems. Interestingly, the online algorithms
derived from these objectives naturally map onto NNs with multi-compartmental
neurons and local, non-Hebbian learning rules. Therefore, this unified
extension of the similarity matching approach provides a normative framework
that facilitates understanding the multi-compartmental neuronal structures and
non-Hebbian plasticity found throughout the brain.
- Abstract(参考訳): 神経計算のアルゴリズム的基礎を理解するための確立された規範的アプローチは、原理計算の目的からオンラインアルゴリズムを導出し、解剖学的および生理学的観察との適合性を評価することである。
類似性マッチングの目標は、ニューラルネットワーク(nns)に点ニューロンとヘビアン/反ヘビアン可塑性をマップするオンラインアルゴリズムを導出する成功の出発点となった。
これらのNNモデルは解剖学および生理学的な観察を多く含んでいるが、目的は計算能力に限られており、派生したNNは脳全体に広く分布する多部分神経構造や非ヘビーンの可塑性を説明できない。
本稿では,汎用固有値問題や非負行列分解問題として定式化できる非教師なし・自己教師あり学習タスクを含む,より複雑な目的に対処するための類似性マッチングアプローチの最近の拡張を概観し,統一する。
興味深いことに、これらの目的から導かれるオンラインアルゴリズムは、自然にマルチセクションのニューロンとローカルな非ヘビーンの学習ルールを持つNNにマップされる。
したがって、この類似性マッチングアプローチの統一的な拡張は、脳全体に見られる多部分神経構造と非ヘビアン可塑性の理解を容易にする規範的な枠組みを提供する。
関連論文リスト
- Reasoning Algorithmically in Graph Neural Networks [1.8130068086063336]
ニューラルネットワークの適応学習能力にアルゴリズムの構造的および規則に基づく推論を統合することを目的としている。
この論文は、この領域の研究に理論的および実践的な貢献を提供する。
論文 参考訳(メタデータ) (2024-02-21T12:16:51Z) - Probing Biological and Artificial Neural Networks with Task-dependent
Neural Manifolds [12.037840490243603]
本稿では,ニューラルネットワークの内部機構について,ニューラル集団幾何学のレンズを用いて検討する。
学習目的の違いが,これらのモデルの組織戦略の違いにどのように影響するかを定量的に評価する。
これらの分析は、ニューラルネットワークにおける機械的および規範的理論を神経集団幾何学を通してブリッジする強力な方向を示す。
論文 参考訳(メタデータ) (2023-12-21T20:40:51Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳(メタデータ) (2023-12-01T05:20:57Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳(メタデータ) (2022-09-16T06:36:06Z) - Neural population geometry: An approach for understanding biological and
artificial neural networks [3.4809730725241605]
生体および人工ニューラルネットワークの機能に関する洞察を提供する幾何学的アプローチの例を概観する。
神経集団幾何学は、生体と人工のニューラルネットワークにおける構造と機能の理解を統一する可能性がある。
論文 参考訳(メタデータ) (2021-04-14T18:10:34Z) - Exploiting Heterogeneity in Operational Neural Networks by Synaptic
Plasticity [87.32169414230822]
最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。
本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。
高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
論文 参考訳(メタデータ) (2020-08-21T19:03:23Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - A neural network model of perception and reasoning [0.0]
生物学的に一貫した構成原理の単純なセットが神経ネットワークにこれらの能力を与えることを示す。
我々はこれらの原理を、最適化の代わりに概念構築に基づく新しい機械学習アルゴリズムで実装し、説明可能なニューロン活動で推論されるディープニューラルネットワークを設計する。
論文 参考訳(メタデータ) (2020-02-26T06:26:04Z) - Neural Rule Ensembles: Encoding Sparse Feature Interactions into Neural
Networks [3.7277730514654555]
決定木を用いて、関連する特徴とその相互作用をキャプチャし、抽出した関係をニューラルネットワークにエンコードするマッピングを定義する。
同時に、機能選択により、アートツリーベースのアプローチの状況と比較して、コンパクトな表現の学習が可能になる。
論文 参考訳(メタデータ) (2020-02-11T11:22:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。