論文の概要: An Investigation on Deep Learning with Beta Stabilizer

• arxiv url: http://arxiv.org/abs/2008.01173v1
• Date: Fri, 31 Jul 2020 08:27:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 06:57:43.883403
• Title: An Investigation on Deep Learning with Beta Stabilizer
• Title（参考訳）: ベータスタビライザを用いたディープラーニングに関する研究
• Authors: Qi Liu, Tian Tan, Kai Yu
• Abstract要約: ベータ安定化器と呼ばれる新しいパラメータを導入し、初期学習率の感度を下げた。 ベータ安定化器を長期記憶(LSTM)に拡張し,ベータ安定化器パラメータが異なるモデルに与える影響を検討した。
• 参考スコア（独自算出の注目度）: 32.047650851924665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial neural networks (ANN) have been used in many applications such like handwriting recognition and speech recognition. It is well-known that learning rate is a crucial value in the training procedure for artificial neural networks. It is shown that the initial value of learning rate can confoundedly affect the final result and this value is always set manually in practice. A new parameter called beta stabilizer has been introduced to reduce the sensitivity of the initial learning rate. But this method has only been proposed for deep neural network (DNN) with sigmoid activation function. In this paper we extended beta stabilizer to long short-term memory (LSTM) and investigated the effects of beta stabilizer parameters on different models, including LSTM and DNN with relu activation function. It is concluded that beta stabilizer parameters can reduce the sensitivity of learning rate with almost the same performance on DNN with relu activation function and LSTM. However, it is shown that the effects of beta stabilizer on DNN with relu activation function and LSTM are fewer than the effects on DNN with sigmoid activation function.
• Abstract（参考訳）: 人工ニューラルネットワーク(ANN)は、手書き認識や音声認識などの多くのアプリケーションで使われている。 ニューラルネットワークのトレーニング手順において,学習率が重要であることはよく知られている。 学習率の初期値が最終結果に合致し得ることが示され、この値は実際に常に手動で設定される。 ベータ安定化器と呼ばれる新しいパラメータを導入し、初期学習率の感度を下げた。 しかし、この手法はシグモイド活性化機能を持つディープニューラルネットワーク(DNN)に対してのみ提案されている。 本稿では,ベータ安定化器を長期記憶(LSTM)に拡張し,LSTMとDNNを含む様々なモデルに対するベータ安定化器パラメータの効果を検討した。 ベータ安定化パラメータは、Reluアクティベーション関数とLSTMを持つDNNでほぼ同じ性能で学習率の感度を低下させることができると結論付けた。 しかし, 可溶性活性化機能を有するDNNとLSTMに対するβ安定化剤の効果は, シグモイド活性化機能を有するDNNに対する影響よりも小さいことがわかった。

関連論文リスト

• ProAct: Progressive Training for Hybrid Clipped Activation Function to Enhance Resilience of DNNs [0.4660328753262075]
  State-of-the-artメソッドは、ニューロンワイドまたは層ワイドクリッピングアクティベーション機能を提供する。 層単位で切断されたアクティベーション関数はDNNのレジリエンスを高いビット誤り率で保持することはできない。 本稿では,ニューロンワイド法とレイヤバイ層法を統合したハイブリッドクリップ型アクティベーション関数を提案する。
  論文  参考訳（メタデータ） (2024-06-10T14:31:38Z)
• TSSR: A Truncated and Signed Square Root Activation Function for Neural Networks [5.9622541907827875]
  我々は、Trncated and Signed Square Root (TSSR) 関数と呼ばれる新しいアクティベーション関数を導入する。 この関数は奇数、非線形、単調、微分可能であるため特異である。 ニューラルネットワークの数値安定性を改善する可能性がある。
  論文  参考訳（メタデータ） (2023-08-09T09:40:34Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Evaluating CNN with Oscillatory Activation Function [0.0]
  画像から高次元の複雑な特徴を学習できるCNNは、アクティベーション関数によって導入された非線形性である。 本稿では、発振活性化関数(GCU)と、ReLu、PReLu、Mishなどの一般的なアクティベーション関数を用いて、MNISTおよびCIFAR10データセット上でのCNNアーキテクチャALexNetの性能について検討する。
  論文  参考訳（メタデータ） (2022-11-13T11:17:13Z)
• Nish: A Novel Negative Stimulated Hybrid Activation Function [5.482532589225552]
  負刺激ハイブリッド活性化関数(Nish)と呼ばれる新しい非単調活性化関数を提案する。 これは、0より大きい値に対するRectified Linear Unit (ReLU)関数や、0より小さい値に対する正弦-正弦波関数のように振る舞う。 提案関数はシグモイド波と正弦波を包含し、従来のReLU活性化に対する新しいダイナミクスを可能にする。
  論文  参考訳（メタデータ） (2022-10-17T13:32:52Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• Data-Driven Learning of Feedforward Neural Networks with Different Activation Functions [0.0]
  この研究は、フィードフォワードニューラルネットワーク(FNN)学習の新しいデータ駆動手法(D-DM)の開発に寄与する。
  論文  参考訳（メタデータ） (2021-07-04T18:20:27Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。