論文の概要: Natural-gradient learning for spiking neurons
- arxiv url: http://arxiv.org/abs/2011.11710v2
- Date: Wed, 23 Feb 2022 19:29:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-22 02:12:04.225961
- Title: Natural-gradient learning for spiking neurons
- Title（参考訳）: スパイキングニューロンの自然学習
- Authors: Elena Kreutzer, Walter M. Senn, Mihai A. Petrovici
- Abstract要約: シナプス可塑性に関する多くの規範的理論では、重みの更新は、選択された重みのパラメトリゼーションに暗黙的に依存する。
可塑性は自然勾配に従えばよいと提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In many normative theories of synaptic plasticity, weight updates implicitly
depend on the chosen parametrization of the weights. This problem relates, for
example, to neuronal morphology: synapses which are functionally equivalent in
terms of their impact on somatic firing can differ substantially in spine size
due to their different positions along the dendritic tree. Classical theories
based on Euclidean gradient descent can easily lead to inconsistencies due to
such parametrization dependence. The issues are solved in the framework of
Riemannian geometry, in which we propose that plasticity instead follows
natural gradient descent. Under this hypothesis, we derive a synaptic learning
rule for spiking neurons that couples functional efficiency with the
explanation of several well-documented biological phenomena such as dendritic
democracy, multiplicative scaling and heterosynaptic plasticity. We therefore
suggest that in its search for functional synaptic plasticity, evolution might
have come up with its own version of natural gradient descent.
- Abstract（参考訳）: シナプス可塑性に関する多くの規範的理論では、重みの更新は、選択された重みのパラメトリゼーションに依存する。
この問題は、例えば神経形態学に関係している: 体操射撃に対する影響で機能的に等価なシナプスは、樹状突起に沿って異なる位置にあるため、脊椎の大きさで大きく異なる可能性がある。
ユークリッド勾配降下に基づく古典理論は、そのようなパラメトリゼーション依存によって容易に矛盾を引き起こす。
この問題はリーマン幾何学の枠組みで解決され、塑性は自然勾配降下に従うことを提案している。
本仮説は, 樹状突起民主主義, 乗算スケーリング, ヘテロシナプス可塑性など, 文書化されたいくつかの生物学的現象を説明することによって, 機能効率と結合するニューロンのシナプス学習規則を導出したものである。
したがって, 機能的なシナプス塑性を求めて, 進化が自然勾配降下の独自バージョンを導出した可能性が示唆された。
関連論文リスト
- The natural stability of autonomous morphology [0.0]
本稿では自律形態学のレジリエンスについて説明する。
解離的証拠は、形態素類が崩壊することを防ぐ反発力学を生成する。
自律的な形態学(例えば citealtAronoff など)は、むしろ摂動系に適用される推論の自然な(合理的な)過程であることを示す。
論文 参考訳（メタデータ） (2024-11-06T10:14:58Z) - Automated Model Discovery for Tensional Homeostasis: Constitutive Machine Learning in Growth and Remodeling [0.0]
キネマティック成長とホメオスタティック表面を組み込むことで,非弾性構成型ニューラルネットワーク(iCANN)を拡張した。
実験により得られた組織等価データから材料点レベルで学習するネットワークの能力を評価する。
論文 参考訳（メタデータ） (2024-10-17T15:12:55Z) - Don't Cut Corners: Exact Conditions for Modularity in Biologically Inspired Representations [52.48094670415497]
我々は、生物にインスパイアされた表現が、ソース変数(ソース)に関してモジュール化されるときの理論を開発する。
我々は、最適な生物学的にインスパイアされたリニアオートエンコーダのニューロンがモジュラー化されるかどうかを判断する情報源のサンプルに対して、必要かつ十分な条件を導出する。
我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
論文 参考訳（メタデータ） (2024-10-08T17:41:37Z) - Learning with Chemical versus Electrical Synapses -- Does it Make a
Difference? [61.85704286298537]
バイオインスパイアされたニューラルネットワークは、ニューラルネットワークの理解を深め、AIシステムの最先端を改善する可能性がある。
我々は,光リアルな自律走行シミュレータを用いて自律車線維持実験を行い,その性能を種々の条件下で評価する。
論文 参考訳（メタデータ） (2023-11-21T13:07:20Z) - Synaptic Weight Distributions Depend on the Geometry of Plasticity [26.926824735306212]
シナプスの重みの分布はシナプスの可塑性の幾何学に依存することを示す。
脳のシナプス可塑性の真の幾何学を実験的に決定できるはずである。
論文 参考訳（メタデータ） (2023-05-30T20:16:23Z) - Theory of coupled neuronal-synaptic dynamics [3.626013617212667]
神経回路では、シナプス強度が神経活動に影響を及ぼす。
神経ユニットとシナプス結合が動的変数と相互作用するリカレント・ネットワークモデルについて検討する。
我々は,ヘビアン可塑性を加えることでカオスネットワークの活動が遅くなり,カオスを引き起こすことを示した。
論文 参考訳（メタデータ） (2023-02-17T16:42:59Z) - Brain Cortical Functional Gradients Predict Cortical Folding Patterns
via Attention Mesh Convolution [51.333918985340425]
我々は,脳の皮質ジャイロ-サルカル分割図を予測するための新しいアテンションメッシュ畳み込みモデルを開発した。
実験の結果,我々のモデルによる予測性能は,他の最先端モデルよりも優れていた。
論文 参考訳（メタデータ） (2022-05-21T14:08:53Z) - The Causal Neural Connection: Expressiveness, Learnability, and
Inference [125.57815987218756]
構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。
本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。
我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
論文 参考訳（メタデータ） (2021-07-02T01:55:18Z) - Continuous Learning and Adaptation with Membrane Potential and
Activation Threshold Homeostasis [91.3755431537592]
本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。
このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。
実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
論文 参考訳（メタデータ） (2021-04-22T04:01:32Z) - Formalising the Use of the Activation Function in Neural Inference [0.0]
生体ニューロンのスパイクが、統計物理学における特定の位相遷移のクラスに属するかについて議論する。
人工ニューロンは生物学的神経膜力学の平均場モデルであることが数学的に示されている。
これにより、選択的神経発射を抽象的に処理し、パーセプトロン学習における活性化機能の役割を定式化する。
論文 参考訳（メタデータ） (2021-02-02T19:42:21Z) - Learning compositional functions via multiplicative weight updates [97.9457834009578]
乗算重み更新は構成関数に合わせた降下補題を満たすことを示す。
マダムは、学習率のチューニングなしに、最先端のニューラルネットワークアーキテクチャをトレーニングできることを示す。
論文 参考訳（メタデータ） (2020-06-25T17:05:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。