論文の概要: Learning Activation Functions for Sparse Neural Networks

• arxiv url: http://arxiv.org/abs/2305.10964v2
• Date: Mon, 5 Jun 2023 09:52:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 01:08:53.834143
• Title: Learning Activation Functions for Sparse Neural Networks
• Title（参考訳）: スパースニューラルネットワークのための学習活性化関数
• Authors: Mohammad Loni, Aditya Mohan, Mehdi Asadi, Marius Lindauer
• Abstract要約: スパースニューラルネットワーク(SNN)は、密度の高いニューラルネットワークと同じようなパフォーマンスを示す可能性がある。 しかし、SNNによる精度低下、特に高い刈り込み比は、重要な配置条件において問題となる可能性がある。 スパースネットワークのためのアクティベーション関数をチューニングする新しい方法を学ぶことに集中する。
• 参考スコア（独自算出の注目度）: 12.234742322758418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse Neural Networks (SNNs) can potentially demonstrate similar performance to their dense counterparts while saving significant energy and memory at inference. However, the accuracy drop incurred by SNNs, especially at high pruning ratios, can be an issue in critical deployment conditions. While recent works mitigate this issue through sophisticated pruning techniques, we shift our focus to an overlooked factor: hyperparameters and activation functions. Our analyses have shown that the accuracy drop can additionally be attributed to (i) Using ReLU as the default choice for activation functions unanimously, and (ii) Fine-tuning SNNs with the same hyperparameters as dense counterparts. Thus, we focus on learning a novel way to tune activation functions for sparse networks and combining these with a separate hyperparameter optimization (HPO) regime for sparse networks. By conducting experiments on popular DNN models (LeNet-5, VGG-16, ResNet-18, and EfficientNet-B0) trained on MNIST, CIFAR-10, and ImageNet-16 datasets, we show that the novel combination of these two approaches, dubbed Sparse Activation Function Search, short: SAFS, results in up to 15.53%, 8.88%, and 6.33% absolute improvement in the accuracy for LeNet-5, VGG-16, and ResNet-18 over the default training protocols, especially at high pruning ratios. Our code can be found at https://github.com/automl/SAFS
• Abstract（参考訳）: スパースニューラルネットワーク(SNN)は、推論時にかなりのエネルギーとメモリを節約しながら、密度の高いニューラルネットワークと同じような性能を示す可能性がある。 しかし、SNNによる精度低下、特に高い刈り込み比は、重要な配置条件において問題となる可能性がある。 最近の研究では、高度な刈り取り技術によってこの問題を緩和していますが、私たちは、ハイパーパラメータとアクティベーション関数という見過ごされた要因に焦点を移します。 分析の結果,精度低下は付加的な原因であることがわかった。 (i)全会一致でアクティベーション関数のデフォルト選択としてreluを使用すること (II)密度の強いSNNと同じハイパーパラメータを持つ微調整SNN。 そこで我々は,スパースネットワークの活性化関数を調整し,それらをスパースネットワークの分離したハイパーパラメータ最適化(HPO)システムと組み合わせることに集中する。 一般的なDNNモデル(LeNet-5, VGG-16, ResNet-18, EfficientNet-B0)をMNIST, CIFAR-10, ImageNet-16データセットでトレーニングした結果,Sparse Activation Function Searchと呼ばれる2つの手法の新たな組み合わせにより,LeNet-5, VG-16, ResNet-18の精度を最大15.53%, 8.88%, 6.33%向上した。 私たちのコードはhttps://github.com/automl/SAFSで参照できます。

関連論文リスト

• Unveiling the Power of Sparse Neural Networks for Feature Selection [60.50319755984697]
  スパースニューラルネットワーク(SNN)は、効率的な特徴選択のための強力なツールとして登場した。 動的スパーストレーニング(DST)アルゴリズムで訓練されたSNNは、平均して50%以上のメモリと55%以上のFLOPを削減できることを示す。 以上の結果から,DSTアルゴリズムで訓練したSNNによる特徴選択は,平均して50ドル以上のメモリと55%のFLOPを削減できることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T16:48:33Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Efficient CNN Architecture Design Guided by Visualization [13.074652653088584]
  VGNetG-1.0MPは0.99Mパラメータで67.7%、ImageNet分類データセットで1.14Mパラメータで69.2%である。 我々のVGNetF-1.5MPは64.4%(-3.2%)のトップ1の精度と66.2%(-1.4%)のトップ1の精度でガウスカーネルを追加している。
  論文  参考訳（メタデータ） (2022-07-21T06:22:15Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Elastic-Link for Binarized Neural Network [9.83865304744923]
  ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。 ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。 ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
  論文  参考訳（メタデータ） (2021-12-19T13:49:29Z)
• MicroNet: Improving Image Recognition with Extremely Low FLOPs [82.54764264255505]
  疎結合性と動的アクティベーション関数の2つの要因が,精度向上に有効であることがわかった。 非線形性を改善するために動的シフトマックスと呼ばれる新しい動的アクティベーション関数を提案する。 私たちはMicroNetというネットワークのファミリに到達し、低FLOP体制下での最先端技術に対して大きなパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2021-08-12T17:59:41Z)
• Adder Neural Networks [75.54239599016535]
  我々は、ディープニューラルネットワークにおける大規模な乗算を交換するために、加算器ネットワーク(AdderNets)を提案する。 AdderNetsでは、フィルタと入力特徴の間の$ell_p$-norm距離を出力応答として取ります。 提案したAdderNetsは,ImageNetデータセット上でResNet-50を用いて,75.7%のTop-1精度92.3%のTop-5精度を達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-05-29T04:02:51Z)
• Toward Compact Deep Neural Networks via Energy-Aware Pruning [2.578242050187029]
  ネットワークにおける各フィルタの重要性を核ノルム(NN)を用いて定量化する新しいエネルギー対応プルーニング手法を提案する。 FLOPの40.4/49.8%、パラメータ還元の45.9/52.9%、トップ1の精度の94.13/94.61%、CIFAR-10のResNet-56/110で競合する結果を得た。
  論文  参考訳（メタデータ） (2021-03-19T15:33:16Z)
• A Framework For Pruning Deep Neural Networks Using Energy-Based Models [45.4796383952516]
  典型的なディープニューラルネットワーク(DNN)は、多数のトレーニング可能なパラメータを持つ。 そこで本研究では,人口統計量に基づく大域的最適化手法に基づくDNNの刈り取りフレームワークを提案する。 ResNets、AlexNet、SqueezeNetの実験では、トレーニング可能なパラメータの50ドル以上のプルーニングレートを示している。
  論文  参考訳（メタデータ） (2021-02-25T21:44:19Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)
• Pre-defined Sparsity for Low-Complexity Convolutional Neural Networks [9.409651543514615]
  この研究は、フィルタ内で定期的に繰り返されるサポートセットを持つ、事前に定義されたスパース2Dカーネルを持つ畳み込みレイヤを導入している。 周期的なスパースカーネルの効率的な保存のため、パラメータの節約はエネルギー効率を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-01-29T07:10:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。