論文の概要: Optimizing Performance of Feedforward and Convolutional Neural Networks through Dynamic Activation Functions

• arxiv url: http://arxiv.org/abs/2308.05724v1
• Date: Thu, 10 Aug 2023 17:39:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-11 11:39:16.106578
• Title: Optimizing Performance of Feedforward and Convolutional Neural Networks through Dynamic Activation Functions
• Title（参考訳）: 動的活性化関数によるフィードフォワードと畳み込みニューラルネットワークの性能最適化
• Authors: Chinmay Rane, Kanishka Tyagi, Michael Manry
• Abstract要約: ディープラーニングトレーニングアルゴリズムは近年,音声やテキスト,画像ビデオなど,多くの分野で大きな成功を収めています。 深い層と深い層が提案され、152層ほどのresnet構造で大きな成功を収めた。 浅層畳み込みニューラルネットワーク(CNN)はまだ活発な研究であり、いくつかの現象はまだ説明されていない。
• 参考スコア（独自算出の注目度）: 0.8057006406834467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning training training algorithms are a huge success in recent years in many fields including speech, text,image video etc. Deeper and deeper layers are proposed with huge success with resnet structures having around 152 layers. Shallow convolution neural networks(CNN's) are still an active research, where some phenomena are still unexplained. Activation functions used in the network are of utmost importance, as they provide non linearity to the networks. Relu's are the most commonly used activation function.We show a complex piece-wise linear(PWL) activation in the hidden layer. We show that these PWL activations work much better than relu activations in our networks for convolution neural networks and multilayer perceptrons. Result comparison in PyTorch for shallow and deep CNNs are given to further strengthen our case.
• Abstract（参考訳）: ディープラーニングトレーニングトレーニングアルゴリズムは、音声、テキスト、画像ビデオなど、多くの分野において、近年で大きな成功を収めています。 より深い層と深い層が提案され、152層ほどのresnet構造で大きな成功を収めた。 浅層畳み込みニューラルネットワーク(CNN)はまだ活発な研究であり、いくつかの現象はまだ説明されていない。 ネットワークで使用されるアクティベーション機能は、ネットワークに非線型性を提供するため、最も重要である。 Relu は最もよく使われる活性化関数であり、隠れた層に複雑なピースワイド線形(PWL)活性化を示す。 これらのpwl活性化は、畳み込みニューラルネットワークと多層パーセプトロンのためのネットワークのrelu活性化よりもはるかに優れた働きを示す。 浅部および深部CNNに対するPyTorchの結果の比較を行い,本症例をさらに強化した。

関連論文リスト

• Activations Through Extensions: A Framework To Boost Performance Of Neural Networks [6.302159507265204]
  活性化関数はニューラルネットワークの非線形性であり、入力と出力の間の複雑なマッピングを学習することができる。 本稿では,アクティベーション関数に関するいくつかの研究を統合するフレームワークを提案し,これらの成果を理論的に説明する。
  論文  参考訳（メタデータ） (2024-08-07T07:36:49Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• Network Degeneracy as an Indicator of Training Performance: Comparing Finite and Infinite Width Angle Predictions [3.04585143845864]
  ネットワークの深層化が進むにつれ、ネットワークは縮退しやすくなっている。 完全に接続されたReLUネットワークアーキテクチャのデジェネリシーのレベルを正確に予測できる単純なアルゴリズムを用いる。
  論文  参考訳（メタデータ） (2023-06-02T13:02:52Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Most Activation Functions Can Win the Lottery Without Excessive Depth [6.68999512375737]
  宝くじの仮説は、プルーニングによってディープニューラルネットワークをトレーニングする可能性を強調している。 ReLUアクティベーション関数を持つネットワークの場合、深さ$L$のターゲットネットワークは、ターゲットの深さが2L$で対数係数がより広いランダムニューラルネットワークのサブネットワークによって近似できることが証明されている。
  論文  参考訳（メタデータ） (2022-05-04T20:51:30Z)
• Optimal Learning Rates of Deep Convolutional Neural Networks: Additive Ridge Functions [19.762318115851617]
  深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。 付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
  論文  参考訳（メタデータ） (2022-02-24T14:22:32Z)
• Layer Folding: Neural Network Depth Reduction using Activation Linearization [0.0]
  現代のデバイスは高いレベルの並列性を示すが、リアルタイムレイテンシはネットワークの深さに大きく依存している。 線形でない活性化を除去できるかどうかを学習し、連続的な線形層を1つに折り畳む方法を提案する。 我々は, CIFAR-10 と CIFAR-100 で事前訓練されたネットワークに適用し, それら全てを同様の深さの浅い形に変換できることを示す。
  論文  参考訳（メタデータ） (2021-06-17T08:22:46Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。