論文の概要: Tensor decomposition of higher-order correlations by nonlinear Hebbian
plasticity
- arxiv url: http://arxiv.org/abs/2106.15685v1
- Date: Tue, 29 Jun 2021 19:24:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-02 01:43:49.277853
- Title: Tensor decomposition of higher-order correlations by nonlinear Hebbian
plasticity
- Title（参考訳）: 非線形ヘビアン塑性による高次相関のテンソル分解
- Authors: Gabriel Koch Ocker and Michael A. Buice
- Abstract要約: 一般化された非線形ヘビアン学習規則の単純なファミリーを導入する。
これらの非線形ヘビアン規則は、ニューロンがその高次入力相関のテンソル分解を学習することができることを示す。
次に、任意の学習規則を学習し、神経入力と出力への有限展開を許容する学習規則が、安定な平衡を持つことを発見する。
- 参考スコア（独自算出の注目度）: 2.0305676256390934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Biological synaptic plasticity exhibits nonlinearities that are not accounted
for by classic Hebbian learning rules. Here, we introduce a simple family of
generalized, nonlinear Hebbian learning rules. We study the computations
implemented by their dynamics in the simple setting of a neuron receiving
feedforward inputs. We show that these nonlinear Hebbian rules allow a neuron
to learn tensor decompositions of its higher-order input correlations. The
particular input correlation decomposed, and the form of the decomposition,
depend on the location of nonlinearities in the plasticity rule. For simple,
biologically motivated parameters, the neuron learns tensor eigenvectors of
higher-order input correlations. We prove that each tensor eigenvector is an
attractor and determine their basins of attraction. We calculate the volume of
those basins, showing that the dominant eigenvector has the largest basin of
attraction. We then study arbitrary learning rules, and find that any learning
rule that admits a finite Taylor expansion into the neural input and output
also has stable equilibria at tensor eigenvectors of its higher-order input
correlations. Nonlinearities in synaptic plasticity thus allow a neuron to
encode higher-order input correlations in a simple fashion.
- Abstract（参考訳）: 生物学的シナプス可塑性は、古典的なヘッブの学習規則によって説明されない非線形性を示す。
ここでは、一般化された非線形ヘビアン学習規則の単純な族を紹介する。
本研究では,ニューロンがフィードフォワード入力を受信する簡単な設定で,それらのダイナミクスによって実現される計算について検討する。
これらの非線形ヘビー則により、ニューロンはその高次入力相関のテンソル分解を学ぶことができる。
特定の入力相関は分解され、分解の形式は可塑性則における非線形性の位置に依存する。
単純な生物学的に動機付けられたパラメータに対して、ニューロンは高次入力相関のテンソル固有ベクトルを学ぶ。
各テンソル固有ベクトルがアトラクターであることを証明し、アトラクションの盆地を決定する。
我々はこれらの流域の体積を計算し、支配的な固有ベクトルが最大のアトラクションの流域を持つことを示す。
任意の学習規則を学習し、ニューラルネットワークと出力へのテイラーの有限展開を許容する学習規則もまた、その高次入力相関のテンソル固有ベクトルにおいて安定な平衡性を持つことを示した。
シナプス可塑性の非線形性により、ニューロンは単純な方法で高次入力相関を符号化することができる。
関連論文リスト
- Don't Cut Corners: Exact Conditions for Modularity in Biologically Inspired Representations [52.48094670415497]
我々は、生物にインスパイアされた表現が、ソース変数(ソース)に関してモジュール化されるときの理論を開発する。
我々は、最適な生物学的にインスパイアされたリニアオートエンコーダのニューロンがモジュラー化されるかどうかを判断する情報源のサンプルに対して、必要かつ十分な条件を導出する。
我々の理論はどんなデータセットにも当てはまり、以前の研究で研究された統計的な独立性よりもはるかに長い。
論文 参考訳（メタデータ） (2024-10-08T17:41:37Z) - Confidence Regulation Neurons in Language Models [91.90337752432075]
本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。
エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。
ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
論文 参考訳（メタデータ） (2024-06-24T01:31:03Z) - Feature learning as alignment: a structural property of gradient descent in non-linear neural networks [13.032185349152492]
トレーニング中にNFA (Neural Feature Ansatz) が相関することが明らかとなった。
このアライメントは,SGDによって誘導される重量変化と,前活性化機能との相互作用によって引き起こされることが確認された。
我々は、微分アライメントが特定の高次元設定でほぼ確実に起こることを証明した。
論文 参考訳（メタデータ） (2024-02-07T21:31:53Z) - Weak Correlations as the Underlying Principle for Linearization of
Gradient-Based Learning Systems [1.0878040851638]
本稿では,パラメータの動的構造を線形に表示する勾配降下に基づく学習アルゴリズムについて述べる。
この明らかな線型性は、仮説関数の第一階微分と高階微分の間の弱い相関によるものである。
線形性と弱相関の関係を爆発させることにより,勾配降下の訓練軌道中に観測された線形性から偏差を導出する。
論文 参考訳（メタデータ） (2024-01-08T16:44:23Z) - More is Less: Inducing Sparsity via Overparameterization [2.885175627590247]
ディープラーニングでは、ニューラルネットワークを過度にパラメータ化する、すなわち、トレーニングサンプルよりも多くのパラメータを使用することが一般的である。
驚くほど驚くべきことに、(確率的な)勾配勾配によるニューラルネットワークを一般化すると、それは非常にうまく行く。
我々の証明は、流れのあるブレグマンの発散を分析することに依存している。
論文 参考訳（メタデータ） (2021-12-21T07:55:55Z) - Convolutional Filtering and Neural Networks with Non Commutative
Algebras [153.20329791008095]
本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。
非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
論文 参考訳（メタデータ） (2021-08-23T04:22:58Z) - Adaptive Rational Activations to Boost Deep Reinforcement Learning [68.10769262901003]
我々は、合理的が適応可能なアクティベーション機能に適合する理由と、ニューラルネットワークへの含意が重要である理由を動機付けている。
人気アルゴリズムに(繰り返しの)アクティベーションを組み込むことで,アタリゲームにおいて一貫した改善がもたらされることを実証する。
論文 参考訳（メタデータ） (2021-02-18T14:53:12Z) - On the Theory of Implicit Deep Learning: Global Convergence with
Implicit Layers [6.548580592686076]
深い平衡モデルは、計算の平衡点列を通じて暗黙的に定義される暗黙的な数値列を用いる。
本研究では,深い暗黙のダイナミックスと浅い信頼層のダイナミックス法のダイナミックスの関係を実証する。
論文 参考訳（メタデータ） (2021-02-15T05:08:11Z) - Fourier Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
積分カーネルを直接フーリエ空間でパラメータ化することで、新しいニューラル演算子を定式化する。
バーガースの方程式、ダーシー流、ナビエ・ストークス方程式の実験を行う。
従来のPDEソルバに比べて最大3桁高速である。
論文 参考訳（メタデータ） (2020-10-18T00:34:21Z) - A thermodynamically consistent chemical spiking neuron capable of
autonomous Hebbian learning [0.5874142059884521]
我々は、スパイキングニューロンを実装する完全自律的、熱力学的に一貫した化学反応のセットを提案する。
この化学ニューロンはヘビアン方式で入力パターンを学習することができる。
CNの熱力学的に一貫したモデルに加えて、合成生物学の文脈で設計できる生物学的にもっともらしいバージョンも提案する。
論文 参考訳（メタデータ） (2020-09-28T10:43:13Z) - Algebraic Neural Networks: Stability to Deformations [179.55535781816343]
可換代数を用いた代数ニューラルネットワーク(AlgNN)について検討する。
AlgNNはユークリッド畳み込みニューラルネットワーク、グラフニューラルネットワーク、グループニューラルネットワークなどの多様なアーキテクチャを統合する。
論文 参考訳（メタデータ） (2020-09-03T03:41:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。