Fugu-MT 論文翻訳(概要): Activation function impact on Sparse Neural Networks

論文の概要: Activation function impact on Sparse Neural Networks

arxiv url: http://arxiv.org/abs/2010.05943v1
Date: Mon, 12 Oct 2020 18:05:04 GMT
ステータス: 処理完了
システム内更新日: 2022-10-08 06:24:24.487034
Title: Activation function impact on Sparse Neural Networks
Title（参考訳）: スパースニューラルネットワークにおける活性化関数の影響
Authors: Adam Dubowski
Abstract要約: スパース進化的トレーニングは、完全に連結されたモデルと比較して計算の複雑さを著しく減らすことができる。本研究は, 使用したアクティベーション関数とネットワーク性能の関係に関する知見を提供する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While the concept of a Sparse Neural Network has been researched for some time, researchers have only recently made notable progress in the matter. Techniques like Sparse Evolutionary Training allow for significantly lower computational complexity when compared to fully connected models by reducing redundant connections. That typically takes place in an iterative process of weight creation and removal during network training. Although there have been numerous approaches to optimize the redistribution of the removed weights, there seems to be little or no study on the effect of activation functions on the performance of the Sparse Networks. This research provides insights into the relationship between the activation function used and the network performance at various sparsity levels.
Abstract（参考訳）: スパースニューラルネットワーク(Sparse Neural Network)という概念は、しばらく前から研究されてきたが、研究者たちは最近、この問題で顕著な進歩を遂げたばかりである。 Sparse Evolutionary Trainingのようなテクニックは、冗長な接続を減らして完全に接続されたモデルと比較して計算の複雑さを著しく低減します。通常は、ネットワークトレーニング中の重量生成と除去の反復的なプロセスで行われる。除去した重量の再分配を最適化するための多くのアプローチがあるが、スパースネットワークの性能に対する活性化関数の影響についてはほとんど、あるいは全く研究されていないようである。本研究は, 使用したアクティベーション関数とネットワーク性能の関係に関する知見を提供する。

関連論文リスト

Quantifying Emergence in Neural Networks: Insights from Pruning and Training Dynamics [0.0]
ネットワーク内の単純なコンポーネントの相互作用から複雑な振る舞いが発達する創発性は、機能強化において重要な役割を担います。本稿では,トレーニングプロセス中の出現を計測し,ネットワーク性能に与える影響を定量的に検討する枠組みを提案する。我々の仮説は、アクティブノードと非アクティブノードの接続によって定義される出現度が、ネットワークにおける創発的行動の発生を予測することができることを示唆している。
論文参考訳（メタデータ） (2024-09-03T03:03:35Z)
Activity Sparsity Complements Weight Sparsity for Efficient RNN Inference [2.0822643340897273]
本研究では、繰り返しニューラルネットワークモデルにおいて、活動空間がパラメータ空間と乗算的に構成可能であることを示す。私たちはPenn Treebank言語モデリングタスクで60ドル以下の難易度を維持しながら、最大20ドルまで計算の削減を実現しています。
論文参考訳（メタデータ） (2023-11-13T08:18:44Z)
Learning Discrete Weights and Activations Using the Local Reparameterization Trick [21.563618480463067]
コンピュータビジョンと機械学習では、ニューラルネットワーク推論の計算とメモリ要求を減らすことが重要な課題である。ネットワークの重みとアクティベーションをバイナライズすることで、計算の複雑さを大幅に減らすことができる。これにより、低リソースデバイスにデプロイ可能な、より効率的なニューラルネットワーク推論が可能になる。
論文参考訳（メタデータ） (2023-07-04T12:27:10Z)
Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文参考訳（メタデータ） (2023-06-14T01:24:42Z)
Stimulative Training++: Go Beyond The Performance Limits of Residual Networks [91.5381301894899]
残余のネットワークは大きな成功を収め、最近のディープニューラルネットワークモデルでは欠かせないものになっている。従来の研究では、残余ネットワークは浅いネットワークのアンサンブルと見なせることが示唆されている。残余ネットワーク内のワークは、単独で作業するよりもグループとして働く場合の労力を減らしがちである。
論文参考訳（メタデータ） (2023-05-04T02:38:11Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
A Faster Approach to Spiking Deep Convolutional Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)は、現在のディープニューラルネットワークよりも脳に近いダイナミクスを持つ。ネットワークのランタイムと精度を改善するために,従来の作業に基づくネットワーク構造を提案する。
論文参考訳（メタデータ） (2022-10-31T16:13:15Z)
Implicit recurrent networks: A novel approach to stationary input processing with recurrent neural networks in deep learning [0.0]
本研究では,ニューラルネットの新たな実装を深層学習に導入し,検証する。繰り返しネットワークの暗黙的な実装にバックプロパゲーションアルゴリズムを実装するアルゴリズムを提案する。シングルレイヤの暗黙的リカレントネットワークはXOR問題を解くことができ、一方、単調に活性化関数が増加するフィードフォワードネットワークは、このタスクで失敗する。
論文参考訳（メタデータ） (2020-10-20T18:55:32Z)
Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文参考訳（メタデータ） (2020-04-17T19:12:39Z)
Understanding the Effects of Data Parallelism and Sparsity on Neural Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文参考訳（メタデータ） (2020-03-25T10:49:22Z)
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。