論文の概要: Effective Learning with Node Perturbation in Multi-Layer Neural Networks

• arxiv url: http://arxiv.org/abs/2310.00965v4
• Date: Mon, 27 May 2024 14:15:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 11:49:02.081931
• Title: Effective Learning with Node Perturbation in Multi-Layer Neural Networks
• Title（参考訳）: 多層ニューラルネットワークにおけるノード摂動による効果的な学習
• Authors: Sander Dalm, Marcel van Gerven, Nasir Ahmad,
• Abstract要約: node perturbation (NP) は、ネットワークアクティベーションにノイズを注入することで学習を提案する。 NPは、非誘導ノイズに基づく探索プロセスのため、データ非効率で不安定である。 各層での入力デコリレーションと指向性デリバティブとの密接なアライメントはNP学習の性能を強く向上させる。
• 参考スコア（独自算出の注目度）: 2.1168858935852013
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backpropagation (BP) remains the dominant and most successful method for training parameters of deep neural network models. However, BP relies on two computationally distinct phases, does not provide a satisfactory explanation of biological learning, and can be challenging to apply for training of networks with discontinuities or noisy node dynamics. By comparison, node perturbation (NP) proposes learning by the injection of noise into network activations, and subsequent measurement of the induced loss change. NP relies on two forward (inference) passes, does not make use of network derivatives, and has been proposed as a model for learning in biological systems. However, standard NP is highly data inefficient and unstable due to its unguided noise-based search process. In this work, we investigate different formulations of NP and relate it to the concept of directional derivatives as well as combining it with a decorrelating mechanism for layer-wise inputs. We find that a closer alignment with directional derivatives together with input decorrelation at every layer strongly enhances performance of NP learning with large improvements in parameter convergence and much higher performance on the test data, approaching that of BP. Furthermore, our novel formulation allows for application to noisy systems in which the noise process itself is inaccessible.
• Abstract（参考訳）: バックプロパゲーション(BP)は、ディープニューラルネットワークモデルのパラメータをトレーニングするための支配的かつ最も成功した方法である。 しかし、BPは2つの計算的に異なるフェーズに依存しており、生物学的学習の十分な説明を提供しておらず、不連続性やノイズのあるノードダイナミクスを持つネットワークのトレーニングに応用することは困難である。 ノード摂動(NP)は,ネットワークアクティベーションへのノイズ注入による学習を提案し,その後の損失変化の測定を行う。 NPは2つの前方(推論)パスに依存し、ネットワークデリバティブを使用しず、生物学的システムにおける学習のモデルとして提案されている。 しかし、標準NPは、非誘導ノイズベースの探索プロセスのため、データ非効率で不安定である。 本研究では、NPの異なる定式化について検討し、指向性微分の概念と関連づけるとともに、レイヤーワイズ入力のデコレーション機構と組み合わせる。 各層での入力デコリレーションと指向性デリバティブとの密接な整合性は、パラメータ収束の大幅な向上とテストデータの性能向上によりNP学習の性能を強く向上させ、BPに近づいた。 さらに、新しい定式化により、ノイズプロセス自体がアクセス不能なノイズシステムへの適用が可能となる。

関連論文リスト

• Online Pseudo-Zeroth-Order Training of Neuromorphic Spiking Neural Networks [69.2642802272367]
  スパイクニューラルネットワーク(SNN)を用いた脳誘発ニューロモルフィックコンピューティングは、有望なエネルギー効率の計算手法である。 最近の手法では、空間的および時間的バックプロパゲーション(BP)を利用しており、ニューロモルフィックの性質に固執していない。 オンライン擬似ゼロオーダートレーニング(OPZO)を提案する。
  論文  参考訳（メタデータ） (2024-07-17T12:09:00Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• FFNB: Forgetting-Free Neural Blocks for Deep Continual Visual Learning [14.924672048447338]
  我々は、新しい忘れのないニューラルブロック(FFNB)に基づく連続学習のための動的ネットワークアーキテクチャを考案する。 FFNB機能を新しいタスクでトレーニングするには、以前のタスクのnull-スペースのパラメータを制約する新しいプロシージャを使用する。
  論文  参考訳（メタデータ） (2021-11-22T17:23:34Z)
• CAN-PINN: A Fast Physics-Informed Neural Network Based on Coupled-Automatic-Numerical Differentiation Method [17.04611875126544]
  テイラー級数展開による隣り合う支持点と自動微分(AD)を結合する新しい物理情報ニューラルネットワーク(PINN)法を提案する。 can-PINNとラベル付けされた結合型自動数値微分フレームワークは、ADとNDの利点を統一し、ADベースのPINNよりも堅牢で効率的なトレーニングを提供する。
  論文  参考訳（メタデータ） (2021-10-29T14:52:46Z)
• Training Algorithm Matters for the Performance of Neural Network Potential [4.774810604472842]
  適応モーメント推定アルゴリズム(Adam)と拡張カルマンフィルタアルゴリズム(EKF)の2つの人気トレーニングアルゴリズムの性能を比較した。 その結果,EKFで訓練したNNPは,Adamと比較して伝達性が高く,学習率に敏感ではないことがわかった。
  論文  参考訳（メタデータ） (2021-09-08T16:48:33Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)
• Belief Propagation Neural Networks [103.97004780313105]
  信念伝播ニューラルネットワーク(BPNN)を紹介する。 BPNNは因子グラフ上で動作し、信念伝播(BP)を一般化する BPNNはIsingモデル上で1.7倍高速に収束し、より厳密な境界を提供することを示す。 挑戦的なモデルカウント問題に関して、BPNNは最先端の手作り手法の100倍の速さを推定する。
  論文  参考訳（メタデータ） (2020-07-01T07:39:51Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Semi-Implicit Back Propagation [1.5533842336139065]
  ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。 ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。 MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-10T03:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。