Fugu-MT 論文翻訳(概要): Constraints on Hebbian and STDP learned weights of a spiking neuron

論文の概要: Constraints on Hebbian and STDP learned weights of a spiking neuron

arxiv url: http://arxiv.org/abs/2012.07664v1
Date: Mon, 14 Dec 2020 16:09:12 GMT
ステータス: 処理完了
システム内更新日: 2021-05-08 22:04:06.351642
Title: Constraints on Hebbian and STDP learned weights of a spiking neuron
Title（参考訳）: ヘビアンとSTDPの制限はスパイキングニューロンの体重を学習する
Authors: Dominique Chu and Huy Le Nguyen
Abstract要約: 体重正規化を伴うスパイキングニューロンに適用されるヒュービアンおよびstdp学習規則による重みの制約を解析した。純粋なヘブリアン学習の場合、正規化された重みは補正項までの重みの促進確率に等しいことがわかります。同様の関係はSTDPアルゴリズムでも得られ、正規化された重み値は重みの促進と移動確率の差を反映している。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We analyse mathematically the constraints on weights resulting from Hebbian and STDP learning rules applied to a spiking neuron with weight normalisation. In the case of pure Hebbian learning, we find that the normalised weights equal the promotion probabilities of weights up to correction terms that depend on the learning rate and are usually small. A similar relation can be derived for STDP algorithms, where the normalised weight values reflect a difference between the promotion and demotion probabilities of the weight. These relations are practically useful in that they allow checking for convergence of Hebbian and STDP algorithms. Another application is novelty detection. We demonstrate this using the MNIST dataset.
Abstract（参考訳）: 体重正規化を伴うスパイキングニューロンに適用されるヒュービアンおよびstdp学習規則による重みの制約を数学的に解析する。純粋なヘビアン学習の場合、正規化重みは学習速度に依存し、通常は小さい修正項まで重みの促進確率に等しいことが分かる。同様の関係をSTDPアルゴリズムで導き出すことができ、そこでは正規化された重み値が重みの促進と脱落確率の差を反映する。これらの関係は、ヘビーアルゴリズムとstdpアルゴリズムの収束をチェックできるという点で実際に有用である。もう1つの応用は新規性検出である。 MNISTデータセットを用いてこれを実証する。

関連論文リスト

Improving Convergence for Quantum Variational Classifiers using Weight Re-Mapping [60.086820254217336]
近年、量子機械学習は変分量子回路(VQC)の利用が大幅に増加した。重みを2pi$の間隔に不明瞭にマッピングするために、VQCの重み再マッピングを導入する。修正されていないウェイトを用いて、Wineデータセットの重量再マッピングにより、テスト精度が10%向上したことを実証した。
論文参考訳（メタデータ） (2022-12-22T13:23:19Z)
PathProx: A Proximal Gradient Algorithm for Weight Decay Regularized Deep Neural Networks [25.114642281756495]
ウェイト崩壊(Weight decay)は、ディープラーニングにおいて最も広く使われている正規化形式の一つである。本稿では、勾配勾配勾配は、この目的に対して非効率なアルゴリズムであると主張している。 ReLUアクティベーションを持つニューラルネットワークの場合、重み劣化対象に対する解は異なる目的の解と等価である。
論文参考訳（メタデータ） (2022-10-06T17:22:40Z)
Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing [58.401504709365284]
非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
論文参考訳（メタデータ） (2022-08-08T19:11:03Z)
SGD and Weight Decay Secretly Minimize the Rank of Your Neural Network [8.79431718760617]
ミニバッチSGDとウェイト崩壊によるトレーニングは、ウェイト行列のランク最小化へのバイアスを引き起こす。このバイアスは、より小さなバッチサイズ、より高い学習率、より強いウェイト崩壊によってより顕著になる。このバイアスと一般化の関係を実証的に検討し、テスト性能に限界効果があることを見出した。
論文参考訳（メタデータ） (2022-06-12T17:06:35Z)
How does Weight Correlation Affect the Generalisation Ability of Deep Neural Networks [30.818443196258904]
重み相関は、ニューラルネットワークの一般化のためのPACベイズフレームワークに組み込むことができる。我々は、PACベイズ測度を重み相関で引き上げる新しい複雑性測度を定式化し、既存の測度よりも正確に一連のネットワークの一般化誤差をランク付けできることを実験的に確認する。
論文参考訳（メタデータ） (2020-10-12T19:18:27Z)
Neural networks with late-phase weights [66.72777753269658]
学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
論文参考訳（メタデータ） (2020-07-25T13:23:37Z)
Reintroducing Straight-Through Estimators as Principled Methods for Stochastic Binary Networks [85.94999581306827]
2重みとアクティベーションを持つニューラルネットワークのトレーニングは、勾配の欠如と離散重みよりも最適化が難しいため、難しい問題である。多くの実験結果が経験的ストレートスルー(ST)アプローチで達成されている。同時に、ST法はベルヌーイ重みを持つバイナリネットワーク(SBN)モデルにおける推定子として真に導出することができる。
論文参考訳（メタデータ） (2020-06-11T23:58:18Z)
Accelerated Convergence for Counterfactual Learning to Rank [65.63997193915257]
IPS重み付き勾配を持つSGD手法の収束速度は、IPS重みによる大きなばらつきに悩まされることを示す。本稿では,従来のIPS重み付け勾配降下法よりも優れた収束性を有する新しい学習アルゴリズムであるCounterSampleを提案する。我々は、CounterSampleがより早く収束し、理論的な結果と経験的な結果とを補完することを証明する。
論文参考訳（メタデータ） (2020-05-21T12:53:36Z)
Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文参考訳（メタデータ） (2020-04-20T18:12:56Z)
Hierarchical Gaussian Process Priors for Bayesian Neural Network Weights [16.538973310830414]
望ましい事前分類は、重みをコンパクトに表現し、重み間の相関を捉え、事前知識を含ませることである。 i) 相関重み構造を柔軟にエンコード可能な単位埋め込みに基づくネットワーク重みのプロセスベース階層モデルと,(ii) 関数空間の規則化に便利な入力依存型の重み前のモデルを提案する。これらのモデルは、分布外データに基づいて望ましいテスト時間不確実性推定を提供し、カーネルを用いたニューラルネットワークの帰納バイアスをモデル化する事例を示し、アクティブラーニングベンチマークで競合予測性能を示す。
論文参考訳（メタデータ） (2020-02-10T07:19:52Z)
Almost Sure Convergence of Dropout Algorithms for Neural Networks [0.0]
我々は、Dropout(on et al., 2012)にインスパイアされたニューラルネットワーク(NN)の乗算学習アルゴリズムの収束と速度について検討する。本稿では,完全連結定常NNに対して,有意な有界なアクティベーション関数を持つ確率論的証明を提案する。
論文参考訳（メタデータ） (2020-02-06T13:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。