論文の概要: Normative framework for deriving neural networks with
multi-compartmental neurons and non-Hebbian plasticity
- arxiv url: http://arxiv.org/abs/2302.10051v2
- Date: Thu, 3 Aug 2023 12:44:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-04 17:15:46.144128
- Title: Normative framework for deriving neural networks with
multi-compartmental neurons and non-Hebbian plasticity
- Title(参考訳): マルチコンパートメントニューロンと非ヘビアン可塑性を有するニューラルネットワークの導出のための規範的枠組み
- Authors: David Lipshutz, Yanis Bahroun, Siavash Golkar, Anirvan M. Sengupta,
Dmitri B. Chklovskii
- Abstract要約: ニューラルネットワークの基礎を理解するための確立された規範的アプローチは、原理化された計算目的からオンラインアルゴリズムを導出することである。
類似性マッチングの目的は、点ニューロンとヘビアン/反ヘビアン可塑性を持つニューラルネットワーク(NN)にマップするオンラインアルゴリズムを導出するための出発点として成功している。
我々は、より複雑な目的に対処するために、類似性マッチングアプローチの最近の拡張を統一し、一般化する。
- 参考スコア(独自算出の注目度): 12.940770779756482
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An established normative approach for understanding the algorithmic basis of
neural computation is to derive online algorithms from principled computational
objectives and evaluate their compatibility with anatomical and physiological
observations. Similarity matching objectives have served as successful starting
points for deriving online algorithms that map onto neural networks (NNs) with
point neurons and Hebbian/anti-Hebbian plasticity. These NN models account for
many anatomical and physiological observations; however, the objectives have
limited computational power and the derived NNs do not explain
multi-compartmental neuronal structures and non-Hebbian forms of plasticity
that are prevalent throughout the brain. In this article, we unify and
generalize recent extensions of the similarity matching approach to address
more complex objectives, including a large class of unsupervised and
self-supervised learning tasks that can be formulated as symmetric generalized
eigenvalue problems or nonnegative matrix factorization problems.
Interestingly, the online algorithms derived from these objectives naturally
map onto NNs with multi-compartmental neurons and local, non-Hebbian learning
rules. Therefore, this unified extension of the similarity matching approach
provides a normative framework that facilitates understanding
multi-compartmental neuronal structures and non-Hebbian plasticity found
throughout the brain.
- Abstract(参考訳): 神経計算のアルゴリズム的基礎を理解するための確立された規範的アプローチは、原理計算の目的からオンラインアルゴリズムを導出し、解剖学的および生理学的観察との適合性を評価することである。
類似性マッチングの目標は、ニューラルネットワーク(nns)に点ニューロンとヘビアン/反ヘビアン可塑性をマップするオンラインアルゴリズムを導出する成功の出発点となった。
これらのNNモデルは解剖学および生理学的な観察を多く含んでいるが、目的は計算能力に限られており、派生したNNは脳全体に広く分布する多部分神経構造や非ヘビーンの可塑性を説明できない。
本稿では,非教師なし・自己教師あり学習タスクを,対称一般化固有値問題や非負行列分解問題として定式化できる大規模クラスを含む,より複雑な目的に対処するための類似性マッチングアプローチの最近の拡張を統一し,一般化する。
興味深いことに、これらの目的から導かれるオンラインアルゴリズムは、自然にマルチセクションのニューロンとローカルな非ヘビーンの学習ルールを持つNNにマップされる。
したがって、この類似性マッチングアプローチの統一的な拡張は、脳全体に見られる多部分神経構造と非ヘビアン可塑性の理解を容易にする規範的な枠組みを提供する。
関連論文リスト
- Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-03-18T18:01:01Z) - Reasoning Algorithmically in Graph Neural Networks [1.8130068086063336]
ニューラルネットワークの適応学習能力にアルゴリズムの構造的および規則に基づく推論を統合することを目的としている。
この論文は、この領域の研究に理論的および実践的な貢献を提供する。
論文 参考訳(メタデータ) (2024-02-21T12:16:51Z) - Probing Biological and Artificial Neural Networks with Task-dependent
Neural Manifolds [12.037840490243603]
本稿では,ニューラルネットワークの内部機構について,ニューラル集団幾何学のレンズを用いて検討する。
学習目的の違いが,これらのモデルの組織戦略の違いにどのように影響するかを定量的に評価する。
これらの分析は、ニューラルネットワークにおける機械的および規範的理論を神経集団幾何学を通してブリッジする強力な方向を示す。
論文 参考訳(メタデータ) (2023-12-21T20:40:51Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳(メタデータ) (2023-12-01T05:20:57Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳(メタデータ) (2022-09-16T06:36:06Z) - Neural population geometry: An approach for understanding biological and
artificial neural networks [3.4809730725241605]
生体および人工ニューラルネットワークの機能に関する洞察を提供する幾何学的アプローチの例を概観する。
神経集団幾何学は、生体と人工のニューラルネットワークにおける構造と機能の理解を統一する可能性がある。
論文 参考訳(メタデータ) (2021-04-14T18:10:34Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - A neural network model of perception and reasoning [0.0]
生物学的に一貫した構成原理の単純なセットが神経ネットワークにこれらの能力を与えることを示す。
我々はこれらの原理を、最適化の代わりに概念構築に基づく新しい機械学習アルゴリズムで実装し、説明可能なニューロン活動で推論されるディープニューラルネットワークを設計する。
論文 参考訳(メタデータ) (2020-02-26T06:26:04Z) - Neural Rule Ensembles: Encoding Sparse Feature Interactions into Neural
Networks [3.7277730514654555]
決定木を用いて、関連する特徴とその相互作用をキャプチャし、抽出した関係をニューラルネットワークにエンコードするマッピングを定義する。
同時に、機能選択により、アートツリーベースのアプローチの状況と比較して、コンパクトな表現の学習が可能になる。
論文 参考訳(メタデータ) (2020-02-11T11:22:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。