論文の概要: Natural-gradient learning for spiking neurons

• arxiv url: http://arxiv.org/abs/2011.11710v2
• Date: Wed, 23 Feb 2022 19:29:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 02:12:04.225961
• Title: Natural-gradient learning for spiking neurons
• Title（参考訳）: スパイキングニューロンの自然学習
• Authors: Elena Kreutzer, Walter M. Senn, Mihai A. Petrovici
• Abstract要約: シナプス可塑性に関する多くの規範的理論では、重みの更新は、選択された重みのパラメトリゼーションに暗黙的に依存する。 可塑性は自然勾配に従えばよいと提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In many normative theories of synaptic plasticity, weight updates implicitly depend on the chosen parametrization of the weights. This problem relates, for example, to neuronal morphology: synapses which are functionally equivalent in terms of their impact on somatic firing can differ substantially in spine size due to their different positions along the dendritic tree. Classical theories based on Euclidean gradient descent can easily lead to inconsistencies due to such parametrization dependence. The issues are solved in the framework of Riemannian geometry, in which we propose that plasticity instead follows natural gradient descent. Under this hypothesis, we derive a synaptic learning rule for spiking neurons that couples functional efficiency with the explanation of several well-documented biological phenomena such as dendritic democracy, multiplicative scaling and heterosynaptic plasticity. We therefore suggest that in its search for functional synaptic plasticity, evolution might have come up with its own version of natural gradient descent.
• Abstract（参考訳）: シナプス可塑性に関する多くの規範的理論では、重みの更新は、選択された重みのパラメトリゼーションに依存する。 この問題は、例えば神経形態学に関係している: 体操射撃に対する影響で機能的に等価なシナプスは、樹状突起に沿って異なる位置にあるため、脊椎の大きさで大きく異なる可能性がある。 ユークリッド勾配降下に基づく古典理論は、そのようなパラメトリゼーション依存によって容易に矛盾を引き起こす。 この問題はリーマン幾何学の枠組みで解決され、塑性は自然勾配降下に従うことを提案している。 本仮説は, 樹状突起民主主義, 乗算スケーリング, ヘテロシナプス可塑性など, 文書化されたいくつかの生物学的現象を説明することによって, 機能効率と結合するニューロンのシナプス学習規則を導出したものである。 したがって, 機能的なシナプス塑性を求めて, 進化が自然勾配降下の独自バージョンを導出した可能性が示唆された。

関連論文リスト

• Computational models of learning and synaptic plasticity [1.0878040851638]
  生体内で観察される可塑性現象の多様性を説明するために, シナプス可塑性の数学的モデルが提案されている。 本稿では,いくつかの基本的な学習パラダイムと,それらの実装に使用されるシナプス的可塑性規則について論じる。
  論文  参考訳（メタデータ） (2024-12-07T02:03:05Z)
• The natural stability of autonomous morphology [0.0]
  本稿では自律形態学のレジリエンスについて説明する。 解離的証拠は、形態素類が崩壊することを防ぐ反発力学を生成する。 自律的な形態学(例えば citealtAronoff など)は、むしろ摂動系に適用される推論の自然な(合理的な)過程であることを示す。
  論文  参考訳（メタデータ） (2024-11-06T10:14:58Z)
• Automated Model Discovery for Tensional Homeostasis: Constitutive Machine Learning in Growth and Remodeling [0.0]
  キネマティック成長とホメオスタティック表面を組み込むことで,非弾性構成型ニューラルネットワーク(iCANN)を拡張した。 実験により得られた組織等価データから材料点レベルで学習するネットワークの能力を評価する。
  論文  参考訳（メタデータ） (2024-10-17T15:12:55Z)
• Range, not Independence, Drives Modularity in Biological Inspired Representation [52.48094670415497]
  我々は、生物学的にインスピレーションを受けたネットワークが、ソース変数(ソース)の表現をモジュール化する理論を開発する。 我々は、最適な線形オートエンコーダのニューロンがモジュラー化するかどうかを決定するソースのサンプルに対して、必要かつ十分な条件を導出する。 我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
  論文  参考訳（メタデータ） (2024-10-08T17:41:37Z)
• Learning with Chemical versus Electrical Synapses -- Does it Make a Difference? [61.85704286298537]
  バイオインスパイアされたニューラルネットワークは、ニューラルネットワークの理解を深め、AIシステムの最先端を改善する可能性がある。 我々は,光リアルな自律走行シミュレータを用いて自律車線維持実験を行い,その性能を種々の条件下で評価する。
  論文  参考訳（メタデータ） (2023-11-21T13:07:20Z)
• Synaptic Weight Distributions Depend on the Geometry of Plasticity [26.926824735306212]
  シナプスの重みの分布はシナプスの可塑性の幾何学に依存することを示す。 脳のシナプス可塑性の真の幾何学を実験的に決定できるはずである。
  論文  参考訳（メタデータ） (2023-05-30T20:16:23Z)
• Theory of coupled neuronal-synaptic dynamics [3.626013617212667]
  神経回路では、シナプス強度が神経活動に影響を及ぼす。 神経ユニットとシナプス結合が動的変数と相互作用するリカレント・ネットワークモデルについて検討する。 我々は,ヘビアン可塑性を加えることでカオスネットワークの活動が遅くなり,カオスを引き起こすことを示した。
  論文  参考訳（メタデータ） (2023-02-17T16:42:59Z)
• Brain Cortical Functional Gradients Predict Cortical Folding Patterns via Attention Mesh Convolution [51.333918985340425]
  我々は,脳の皮質ジャイロ-サルカル分割図を予測するための新しいアテンションメッシュ畳み込みモデルを開発した。 実験の結果,我々のモデルによる予測性能は,他の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-05-21T14:08:53Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)
• Learning compositional functions via multiplicative weight updates [97.9457834009578]
  乗算重み更新は構成関数に合わせた降下補題を満たすことを示す。 マダムは、学習率のチューニングなしに、最先端のニューラルネットワークアーキテクチャをトレーニングできることを示す。
  論文  参考訳（メタデータ） (2020-06-25T17:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。