論文の概要: Tensor decomposition of higher-order correlations by nonlinear Hebbian
plasticity
- arxiv url: http://arxiv.org/abs/2106.15685v1
- Date: Tue, 29 Jun 2021 19:24:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-02 01:43:49.277853
- Title: Tensor decomposition of higher-order correlations by nonlinear Hebbian
plasticity
- Title(参考訳): 非線形ヘビアン塑性による高次相関のテンソル分解
- Authors: Gabriel Koch Ocker and Michael A. Buice
- Abstract要約: 一般化された非線形ヘビアン学習規則の単純なファミリーを導入する。
これらの非線形ヘビアン規則は、ニューロンがその高次入力相関のテンソル分解を学習することができることを示す。
次に、任意の学習規則を学習し、神経入力と出力への有限展開を許容する学習規則が、安定な平衡を持つことを発見する。
- 参考スコア(独自算出の注目度): 2.0305676256390934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Biological synaptic plasticity exhibits nonlinearities that are not accounted
for by classic Hebbian learning rules. Here, we introduce a simple family of
generalized, nonlinear Hebbian learning rules. We study the computations
implemented by their dynamics in the simple setting of a neuron receiving
feedforward inputs. We show that these nonlinear Hebbian rules allow a neuron
to learn tensor decompositions of its higher-order input correlations. The
particular input correlation decomposed, and the form of the decomposition,
depend on the location of nonlinearities in the plasticity rule. For simple,
biologically motivated parameters, the neuron learns tensor eigenvectors of
higher-order input correlations. We prove that each tensor eigenvector is an
attractor and determine their basins of attraction. We calculate the volume of
those basins, showing that the dominant eigenvector has the largest basin of
attraction. We then study arbitrary learning rules, and find that any learning
rule that admits a finite Taylor expansion into the neural input and output
also has stable equilibria at tensor eigenvectors of its higher-order input
correlations. Nonlinearities in synaptic plasticity thus allow a neuron to
encode higher-order input correlations in a simple fashion.
- Abstract(参考訳): 生物学的シナプス可塑性は、古典的なヘッブの学習規則によって説明されない非線形性を示す。
ここでは、一般化された非線形ヘビアン学習規則の単純な族を紹介する。
本研究では,ニューロンがフィードフォワード入力を受信する簡単な設定で,それらのダイナミクスによって実現される計算について検討する。
これらの非線形ヘビー則により、ニューロンはその高次入力相関のテンソル分解を学ぶことができる。
特定の入力相関は分解され、分解の形式は可塑性則における非線形性の位置に依存する。
単純な生物学的に動機付けられたパラメータに対して、ニューロンは高次入力相関のテンソル固有ベクトルを学ぶ。
各テンソル固有ベクトルがアトラクターであることを証明し、アトラクションの盆地を決定する。
我々はこれらの流域の体積を計算し、支配的な固有ベクトルが最大のアトラクションの流域を持つことを示す。
任意の学習規則を学習し、ニューラルネットワークと出力へのテイラーの有限展開を許容する学習規則もまた、その高次入力相関のテンソル固有ベクトルにおいて安定な平衡性を持つことを示した。
シナプス可塑性の非線形性により、ニューロンは単純な方法で高次入力相関を符号化することができる。
関連論文リスト
- Weak Correlations as the Underlying Principle for Linearization of
Gradient-Based Learning Systems [1.0878040851638]
本稿では,パラメータの動的構造を線形に表示する勾配降下に基づく学習アルゴリズムについて述べる。
この明らかな線型性は、仮説関数の第一階微分と高階微分の間の弱い相関によるものである。
線形性と弱相関の関係を爆発させることにより,勾配降下の訓練軌道中に観測された線形性から偏差を導出する。
論文 参考訳(メタデータ) (2024-01-08T16:44:23Z) - More is Less: Inducing Sparsity via Overparameterization [2.885175627590247]
ディープラーニングでは、ニューラルネットワークを過度にパラメータ化する、すなわち、トレーニングサンプルよりも多くのパラメータを使用することが一般的である。
驚くほど驚くべきことに、(確率的な)勾配勾配によるニューラルネットワークを一般化すると、それは非常にうまく行く。
我々の証明は、流れのあるブレグマンの発散を分析することに依存している。
論文 参考訳(メタデータ) (2021-12-21T07:55:55Z) - Convolutional Filtering and Neural Networks with Non Commutative
Algebras [153.20329791008095]
本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。
非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
論文 参考訳(メタデータ) (2021-08-23T04:22:58Z) - Adaptive Rational Activations to Boost Deep Reinforcement Learning [72.16798866331152]
我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。
人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
論文 参考訳(メタデータ) (2021-02-18T14:53:12Z) - On the Theory of Implicit Deep Learning: Global Convergence with
Implicit Layers [6.548580592686076]
深い平衡モデルは、計算の平衡点列を通じて暗黙的に定義される暗黙的な数値列を用いる。
本研究では,深い暗黙のダイナミックスと浅い信頼層のダイナミックス法のダイナミックスの関係を実証する。
論文 参考訳(メタデータ) (2021-02-15T05:08:11Z) - Learning Recurrent Neural Net Models of Nonlinear Systems [10.5811404306981]
双曲型タンジェント活性化機能を持つ連続時間リカレントニューラルネットは,基礎となるi/oの挙動をほぼ再現し,信頼性が高い。
学習モデルの極北リスクを、ニューロン数、サンプルサイズ、一致する導関数数、入力の正則性、出力、未知のi/oマップの観点から定量的に保証する。
論文 参考訳(メタデータ) (2020-11-18T22:53:41Z) - Fourier Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
積分カーネルを直接フーリエ空間でパラメータ化することで、新しいニューラル演算子を定式化する。
バーガースの方程式、ダーシー流、ナビエ・ストークス方程式の実験を行う。
従来のPDEソルバに比べて最大3桁高速である。
論文 参考訳(メタデータ) (2020-10-18T00:34:21Z) - A thermodynamically consistent chemical spiking neuron capable of
autonomous Hebbian learning [0.5874142059884521]
我々は、スパイキングニューロンを実装する完全自律的、熱力学的に一貫した化学反応のセットを提案する。
この化学ニューロンはヘビアン方式で入力パターンを学習することができる。
CNの熱力学的に一貫したモデルに加えて、合成生物学の文脈で設計できる生物学的にもっともらしいバージョンも提案する。
論文 参考訳(メタデータ) (2020-09-28T10:43:13Z) - Algebraic Neural Networks: Stability to Deformations [179.55535781816343]
可換代数を用いた代数ニューラルネットワーク(AlgNN)について検討する。
AlgNNはユークリッド畳み込みニューラルネットワーク、グラフニューラルネットワーク、グループニューラルネットワークなどの多様なアーキテクチャを統合する。
論文 参考訳(メタデータ) (2020-09-03T03:41:38Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳(メタデータ) (2020-06-16T07:38:06Z) - Parsimonious neural networks learn interpretable physical laws [77.34726150561087]
本稿では、ニューラルネットワークと進化的最適化を組み合わせたパシモニクスニューラルネットワーク(PNN)を提案し、精度とパシモニクスのバランスをとるモデルを求める。
アプローチのパワーと汎用性は、古典力学のモデルを開発し、基本特性から材料の融解温度を予測することによって実証される。
論文 参考訳(メタデータ) (2020-05-08T16:15:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。