論文の概要: Effective Learning with Node Perturbation in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2310.00965v1
• Date: Mon, 2 Oct 2023 08:12:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 23:03:47.953677
• Title: Effective Learning with Node Perturbation in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおけるノード摂動による効果的な学習
• Authors: Sander Dalm, Marcel van Gerven, Nasir Ahmad
• Abstract要約: バックプロパゲーション(BP)は、ディープニューラルネットワークモデルのパラメータをトレーニングするための支配的かつ最も成功した手法である。 node perturbation (NP) は、ネットワークアクティベーションにノイズを注入することで学習を提案する。 NPは、非誘導、ノイズベースのアクティビティサーチのため、非常に非効率で不安定である。
• 参考スコア（独自算出の注目度）: 2.3125457626961263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backpropagation (BP) is the dominant and most successful method for training parameters of deep neural network models. However, BP relies on two computationally distinct phases, does not provide a satisfactory explanation of biological learning, and can be challenging to apply for training of networks with discontinuities or noisy node dynamics. By comparison, node perturbation (NP) proposes learning by the injection of noise into the network activations, and subsequent measurement of the induced loss change. NP relies on two forward (inference) passes, does not make use of network derivatives, and has been proposed as a model for learning in biological systems. However, standard NP is highly data inefficient and unstable due to its unguided, noise-based, activity search. In this work, we investigate different formulations of NP and relate it to the concept of directional derivatives as well as combining it with a decorrelating mechanism for layer-wise inputs. We find that a closer alignment with directional derivatives, and induction of decorrelation of inputs at every layer significantly enhances performance of NP learning making it competitive with BP.
• Abstract（参考訳）: バックプロパゲーション(BP)は、ディープニューラルネットワークモデルのパラメータをトレーニングするための支配的かつ最も成功した手法である。 しかし、bpは2つの計算学的に異なるフェーズに依存しており、生物学的学習の十分な説明を提供しておらず、不連続やうるさいノードダイナミクスを持つネットワークのトレーニングに適用することが困難である。 比較して、ノード摂動(np)は、ネットワークアクティベーションへのノイズの注入による学習と、その後に誘発された損失変化の測定を提案する。 NPは2つの前方(推論)パスに依存し、ネットワークデリバティブを使用しず、生物学的システムにおける学習のモデルとして提案されている。 しかし、標準NPは、非誘導ノイズに基づく活動探索のため、データ非効率で不安定である。 本研究では,np の異なる定式化について検討し,方向微分の概念と関連づけるとともに,それと層別入力の相関機構を組み合わせる。 指向性デリバティブとの密接な整合と各層での入力のデコリレーションの誘導により,NP学習の性能が向上し,BPと競合することがわかった。

関連論文リスト

• DeepDFA: Automata Learning through Neural Probabilistic Relaxations [2.3326951882644553]
  本稿では,決定論的有限オートマタ(DFA)をトレースから識別する新しい手法であるDeepDFAを紹介する。 DFAとリカレントニューラルネットワーク(RNN)の確率的緩和にインスパイアされた当社のモデルは、複雑性の低減とトレーニング効率の向上とともに、トレーニング後の解釈可能性を提供する。
  論文  参考訳（メタデータ） (2024-08-16T09:30:36Z)
• Online Pseudo-Zeroth-Order Training of Neuromorphic Spiking Neural Networks [69.2642802272367]
  スパイクニューラルネットワーク(SNN)を用いた脳誘発ニューロモルフィックコンピューティングは、有望なエネルギー効率の計算手法である。 最近の手法では、空間的および時間的バックプロパゲーション(BP)を利用しており、ニューロモルフィックの性質に固執していない。 オンライン擬似ゼロオーダートレーニング(OPZO)を提案する。
  論文  参考訳（メタデータ） (2024-07-17T12:09:00Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• FFNB: Forgetting-Free Neural Blocks for Deep Continual Visual Learning [14.924672048447338]
  我々は、新しい忘れのないニューラルブロック(FFNB)に基づく連続学習のための動的ネットワークアーキテクチャを考案する。 FFNB機能を新しいタスクでトレーニングするには、以前のタスクのnull-スペースのパラメータを制約する新しいプロシージャを使用する。
  論文  参考訳（メタデータ） (2021-11-22T17:23:34Z)
• CAN-PINN: A Fast Physics-Informed Neural Network Based on Coupled-Automatic-Numerical Differentiation Method [17.04611875126544]
  テイラー級数展開による隣り合う支持点と自動微分(AD)を結合する新しい物理情報ニューラルネットワーク(PINN)法を提案する。 can-PINNとラベル付けされた結合型自動数値微分フレームワークは、ADとNDの利点を統一し、ADベースのPINNよりも堅牢で効率的なトレーニングを提供する。
  論文  参考訳（メタデータ） (2021-10-29T14:52:46Z)
• Solving Sparse Linear Inverse Problems in Communication Systems: A Deep Learning Approach With Adaptive Depth [51.40441097625201]
  疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。 提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
  論文  参考訳（メタデータ） (2020-10-29T06:32:53Z)
• Belief Propagation Neural Networks [103.97004780313105]
  信念伝播ニューラルネットワーク(BPNN)を紹介する。 BPNNは因子グラフ上で動作し、信念伝播(BP)を一般化する BPNNはIsingモデル上で1.7倍高速に収束し、より厳密な境界を提供することを示す。 挑戦的なモデルカウント問題に関して、BPNNは最先端の手作り手法の100倍の速さを推定する。
  論文  参考訳（メタデータ） (2020-07-01T07:39:51Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Semi-Implicit Back Propagation [1.5533842336139065]
  ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。 ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。 MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-10T03:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。