論文の概要: Amenable Sparse Network Investigator

• arxiv url: http://arxiv.org/abs/2202.09284v1
• Date: Fri, 18 Feb 2022 16:12:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-21 15:47:27.472506
• Title: Amenable Sparse Network Investigator
• Title（参考訳）: アメナブルスパースネットワーク調査装置
• Authors: Saeed Damadi, Erfan Nouri, and Hamed Pirsiavash
• Abstract要約: 本稿では,スパースネットワークを学習するAmenable Sparse Network Investigator ASNIを提案する。 ASNIによる学習構造は、その対応する初期化もASNIによって学習されるため、アメニブルである。 パラメータのプルーニングのために,ネットワーク全体の空間的パーセンテージを特定するシグモノイド関数に基づく新しい戦略を提案する。
• 参考スコア（独自算出の注目度）: 11.680355561258429
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the optimization problem of pruning a neural network is nonconvex and the strategies are only guaranteed to find local solutions, a good initialization becomes paramount. To this end, we present the Amenable Sparse Network Investigator ASNI algorithm that learns a sparse network whose initialization is compressed. The learned sparse structure found by ASNI is amenable since its corresponding initialization, which is also learned by ASNI, consists of only 2L numbers, where L is the number of layers. Requiring just a few numbers for parameter initialization of the learned sparse network makes the sparse network amenable. The learned initialization set consists of L signed pairs that act as the centroids of parameter values of each layer. These centroids are learned by the ASNI algorithm after only one single round of training. We experimentally show that the learned centroids are sufficient to initialize the nonzero parameters of the learned sparse structure in order to achieve approximately the accuracy of non-sparse network. We also empirically show that in order to learn the centroids, one needs to prune the network globally and gradually. Hence, for parameter pruning we propose a novel strategy based on a sigmoid function that specifies the sparsity percentage across the network globally. Then, pruning is done magnitude-wise and after each epoch of training. We have performed a series of experiments utilizing networks such as ResNets, VGG-style, small convolutional, and fully connected ones on ImageNet, CIFAR10, and MNIST datasets.
• Abstract（参考訳）: ニューラルネットワークのプルーニングの最適化問題は非凸であり、戦略は局所解を見つけることのみを保証するため、優れた初期化が最重要となる。 この目的のために,初期化を圧縮したスパースネットワークを学習するAmenable Sparse Network Investigator ASNIアルゴリズムを提案する。 ASNIによって発見された学習されたスパース構造は、ASNIによってもたらされる対応する初期化は、L が層数であるような 2L 個の数のみからなるため、実現可能である。 学習したスパースネットワークのパラメータ初期化のために数個の数を必要とするため、スパースネットワークは実現可能である。 学習された初期化集合は、各層のパラメータ値のセントロイドとして機能するL符号ペアからなる。 これらのセントロイドは、1回のトレーニングでasniアルゴリズムによって学習される。 実験により,学習したセントロイドは,学習したスパース構造の非ゼロパラメータを初期化し,非スパースネットワークの精度をほぼ確保できることを示した。 また,センタロイドを学習するためには,ネットワークをグローバルかつ段階的に活用する必要があることを実証的に示す。 そこで我々は,パラメータプルーニングのために,ネットワーク全体のスパーシティ率を指定するsgmoid関数に基づく新しい戦略を提案する。 そして、訓練の各々のエポック後、等級的にプルーニングを行う。 我々は、ImageNet、CIFAR10、MNISTデータセット上で、ResNets、VGGスタイル、小さな畳み込み、完全に接続されたネットワークなどのネットワークを利用した一連の実験を行った。

関連論文リスト

• Unsupervised Learning of Initialization in Deep Neural Networks via Maximum Mean Discrepancy [74.34895342081407]
  本稿では,入力データに対する優れた初期化を求めるための教師なしアルゴリズムを提案する。 まず、パラメータ空間における各パラメータ構成が、d-way分類の特定の下流タスクに対応することに気付く。 次に、学習の成功は、初期パラメータの近傍で下流タスクがいかに多様であるかに直接関連していると推測する。
  論文  参考訳（メタデータ） (2023-02-08T23:23:28Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Robust Learning of Parsimonious Deep Neural Networks [0.0]
  本稿では,ニューラルネットワークにおける無関係構造を識別・排除できる同時学習および刈り取りアルゴリズムを提案する。 最適選択に欠かせないパラメータに対して,新しい超優先度分布を導出する。 我々は,提案アルゴリズムをMNISTデータセット上で評価し,完全連結型および畳み込み型LeNetアーキテクチャを用いた。
  論文  参考訳（メタデータ） (2022-05-10T03:38:55Z)
• Dense for the Price of Sparse: Improved Performance of Sparsely Initialized Networks via a Subspace Offset [0.0]
  我々は,0.01%のトレーニング可能なカーネルパラメータが残っている場合でも,情報伝達とトレーニング性を維持する新しいDCT+Sparse層アーキテクチャを導入する。 標準のスパース層からDCTとスパース層への切り替えは、ネットワークのストレージフットプリントを増大させず、小さな計算オーバーヘッドしか発生しません。
  論文  参考訳（メタデータ） (2021-02-12T00:05:02Z)
• PHEW: Constructing Sparse Networks that Learn Fast and Generalize Well without Training Data [10.01323660393278]
  本稿では、Synflow-L2アルゴリズムを用いて、トレーニングデータなしでより高速な収束を実現するためのスパースニューラルネットワークの設計方法を示す。 PHEW(Paths with Higher-Edge Weights)と呼ばれるトレーニングデータなしでスパースネットワークを構築する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T00:20:59Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。