論文の概要: Sensitivity -- Local Index to Control Chaoticity or Gradient Globally
- arxiv url: http://arxiv.org/abs/2012.13134v1
- Date: Thu, 24 Dec 2020 06:35:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-25 08:06:40.878905
- Title: Sensitivity -- Local Index to Control Chaoticity or Gradient Globally
- Title（参考訳）: 感度 -- カオス性や勾配を制御するための局所指標
- Authors: Katsunari Shibata, Takuya Ejima, Yuki Tokumaru, Toshitaka Matsuki
- Abstract要約: ニューラルネットワーク(NN)のカオス性や勾配を世界規模で制御するために、各ニューロンに「感度」という完全な局所指標を提案する。
また、「感度調整学習(SAL)」と呼ばれる学習方法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we propose a fully local index named "sensitivity" for each
neuron to control chaoticity or gradient globally in a neural network (NN), and
also propose a learning method to adjust it named "sensitivity adjustment
learning (SAL)". The index is the gradient magnitude of its output with respect
to its inputs. By adjusting it around 1.0, information transmission in the
neuron changes to moderate without shrinking or expanding for both forward and
backward computations, and the information transmission through a layer of
neurons also moderate when the weights and inputs are random. Therefore, it can
be used in a recurrent NN (RNN) to control chaoticity of its global network
dynamics, and also can be used to solve the vanishing gradient problem in error
back propagation (BP) learning in a deep feedforward NN (DFNN) or an RNN with
long-term dependency. We demonstrated that when SAL is applied to an RNN with
small random weights, the sum of log-sensitivities is almost equivalent to the
maximum Lyapunov exponent until it reaches 0.0 regardless of the network
architecture. We also show that SAL works with BP or BPTT to avoid the
vanishing gradient problem in a 300-layer DFNN or an RNN solving a problem with
300-step lag between the first input and the output. Compared with the fine
manual tuning of the spectral radius of weight matrix before learning, the
learning performance was quite better due to the continuous nonlinear learning
nature of SAL, which prevented the loss of sensitivity.
- Abstract（参考訳）: 本稿では、ニューラルネットワーク(NN)のカオス性や勾配を世界規模で制御するために、各ニューロンに「感度」という完全に局所的な指標を提案し、さらに「感度調整学習(SAL)」という学習方法を提案する。
インデックスは、その入力に対する出力の勾配の大きさである。
1.0前後に調整することで、ニューロン内の情報伝達は、前方および後方の両方の計算を縮小または拡張することなく中程度に変化し、重みと入力がランダムな場合にも、ニューロン層を通しての情報伝達も中程度に変化する。
したがって、この手法は、リカレントNN(RNN)において、そのグローバルネットワークのカオス性を制御するために使用することができ、また、ディープフィードフォワードNN(DFNN)や長期依存のRNNにおいて、エラーバック伝搬(BP)学習における消滅する勾配問題を解決するためにも使用できる。
我々は、SALを小さなランダムウェイトを持つRNNに適用した場合、対数感度の和は、ネットワークアーキテクチャに関係なく0.0に達するまで、最大リャプノフ指数とほぼ同値であることを示した。
また,SAL は BP や BPTT と連携して,300 層DFNN や RNN において,最初の入力と出力の間に300 段階の遅延が生じる問題を回避する。
学習前の重み行列のスペクトル半径の微調整と比較すると,salの連続的非線形学習特性により学習性能が改善し,感度の低下が抑制された。
関連論文リスト
- Rethinking Deep Learning: Propagating Information in Neural Networks without Backpropagation and Statistical Optimization [0.0]
本研究では,構造を模倣するニューラルネットワークとして,情報伝達機能とNNの応用の可能性について論じる。
本研究では,段差関数をアクティベーション関数として使用し,0～15層を隠蔽し,重み更新を行わない完全連結層からなるNNSアーキテクチャを提案する。
ラベル毎のトレーニングデータの平均出力ベクトルとテストデータの出力ベクトルをベクトル類似度に基づいて比較して精度を算出する。
論文 参考訳（メタデータ） (2024-08-18T09:22:24Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer
Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。
本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。
我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
論文 参考訳（メタデータ） (2022-11-10T08:32:13Z) - Ultra-low Latency Adaptive Local Binary Spiking Neural Network with
Accuracy Loss Estimator [4.554628904670269]
精度損失推定器を用いた超低レイテンシ適応型局所二元スパイクニューラルネットワーク(ALBSNN)を提案する。
実験の結果,ネットワークの精度を損なうことなく,ストレージ容量を20%以上削減できることがわかった。
論文 参考訳（メタデータ） (2022-07-31T09:03:57Z) - Converting Artificial Neural Networks to Spiking Neural Networks via
Parameter Calibration [21.117214351356765]
スパイキングニューラルネットワーク(SNN)は、次世代ニューラルネットワークの1つとして認識されている。
本研究では、ANNの重みをSNNにコピー&ペーストするだけで、必然的にアクティベーションミスマッチが発生することを論じる。
そこで本研究では,アクティベーションミスマッチを最小限に抑えるため,パラメータの調整を行う層ワイドパラメータキャリブレーションアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T18:22:09Z) - L4-Norm Weight Adjustments for Converted Spiking Neural Networks [6.417011237981518]
スパイキングニューラルネットワーク(SNN)は、その潜在的なエネルギー効率の利点について検討されている。
非スパイク人工ニューラルネットワークは通常、バックプロパゲーションを使用して勾配降下で訓練される。
一般的な手法の1つは、スパイクニューラルネットワークをトレーニングし、スパイクネットワークに変換することである。
論文 参考訳（メタデータ） (2021-11-17T23:33:20Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。
いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
論文 参考訳（メタデータ） (2021-03-01T08:25:26Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。