論文の概要: NeuralScale: Efficient Scaling of Neurons for Resource-Constrained Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2006.12813v1
• Date: Tue, 23 Jun 2020 08:14:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 21:23:16.515178
• Title: NeuralScale: Efficient Scaling of Neurons for Resource-Constrained Deep Neural Networks
• Title（参考訳）: neuralscale: リソース制約付きディープニューラルネットワークのためのニューロンの効率的なスケーリング
• Authors: Eugene Lee and Chen-Yi Lee
• Abstract要約: 精度を最大化する固定ネットワークアーキテクチャのニューロン(フィルタ)構成を探索する。 パラメータの変化に関して各層のニューロン(フィルタ)数の変化をパラメータ化することにより、任意のサイズのアーキテクチャを効率的にスケールすることができる。
• 参考スコア（独自算出の注目度）: 16.518667634574026
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deciding the amount of neurons during the design of a deep neural network to maximize performance is not intuitive. In this work, we attempt to search for the neuron (filter) configuration of a fixed network architecture that maximizes accuracy. Using iterative pruning methods as a proxy, we parameterize the change of the neuron (filter) number of each layer with respect to the change in parameters, allowing us to efficiently scale an architecture across arbitrary sizes. We also introduce architecture descent which iteratively refines the parameterized function used for model scaling. The combination of both proposed methods is coined as NeuralScale. To prove the efficiency of NeuralScale in terms of parameters, we show empirical simulations on VGG11, MobileNetV2 and ResNet18 using CIFAR10, CIFAR100 and TinyImageNet as benchmark datasets. Our results show an increase in accuracy of 3.04%, 8.56% and 3.41% for VGG11, MobileNetV2 and ResNet18 on CIFAR10, CIFAR100 and TinyImageNet respectively under a parameter-constrained setting (output neurons (filters) of default configuration with scaling factor of 0.25).
• Abstract（参考訳）: パフォーマンスを最大化するためにディープニューラルネットワークの設計中にニューロン量を決定することは直感的ではない。 本研究では、精度を最大化する固定されたネットワークアーキテクチャのニューロン(フィルタ)構成を探索する。 反復的プルーニング法をプロキシとして,パラメータの変化に関して各レイヤのニューロン(フィルタ)数の変化をパラメータ化することにより,任意のサイズのアーキテクチャを効率的にスケールすることができる。 また,モデルスケーリングに使用されるパラメータ化関数を反復的に洗練するアーキテクチャ降下についても紹介する。 提案手法の組み合わせはNeuralScaleと呼ばれる。 パラメータの観点からニューラルスケールの効率性を証明するため,ベンチマークデータセットとしてcifar10,cifar100,tinyimagenetを用いたvgg11,mobilenetv2,resnet18の実証シミュレーションを行った。 CIFAR10, CIFAR100, TinyImageNetにおけるVGG11, MobileNetV2, ResNet18の3.41%の精度が, デフォルト設定のパラメータ制約設定(出力ニューロン, フィルタ)では0.25。

関連論文リスト

• RelChaNet: Neural Network Feature Selection using Relative Change Scores [0.0]
  本稿では、ニューラルネットワークの入力層にニューロンのプルーニングと再成長を利用する、新しくて軽量な特徴選択アルゴリズムであるRelChaNetを紹介する。 我々の手法は一般に現在の最先端手法よりも優れており、特にMNISTデータセットの平均精度を2%向上させる。
  論文  参考訳（メタデータ） (2024-10-03T09:56:39Z)
• Systematic Architectural Design of Scale Transformed Attention Condenser DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
  マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。 ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。 ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
  論文  参考訳（メタデータ） (2023-06-16T18:29:26Z)
• Receptive Field Refinement for Convolutional Neural Networks Reliably Improves Predictive Performance [1.52292571922932]
  本稿では,このような理論的および経験的性能向上をもたらす受容場解析への新たなアプローチを提案する。 我々のアプローチは、広く知られたSOTA(State-of-the-art)モデルクラスにおいて、ImageNet1Kのパフォーマンスを改善することができる。
  論文  参考訳（メタデータ） (2022-11-26T05:27:44Z)
• EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
  入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。 パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2022-06-21T17:59:56Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
  重要でない接続を非活性化する簡易な重要スコア計量を提案する。 MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。 このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
  論文  参考訳（メタデータ） (2021-09-22T15:33:49Z)
• Recurrent Parameter Generators [42.159272098922685]
  本稿では,多くの異なる畳み込み層に対して同じパラメータを反復的に使用してディープネットワークを構築するための汎用的手法を提案する。 我々は,従来のCNNモデルと同じような性能を実現するために,一層ニューラルネットワークを構築する方法を示す。
  論文  参考訳（メタデータ） (2021-07-15T04:23:59Z)
• ThriftyNets : Convolutional Neural Networks with Tiny Parameter Budget [4.438259529250529]
  我々はThriftyNetと呼ばれる新しい畳み込みニューラルネットワークアーキテクチャを提案する。 ThriftyNetでは、1つの畳み込み層のみが再帰的に定義され、最大パラメータの分解に繋がる。 我々は、CIFAR-10で40K未満のパラメータで91%以上の精度で、CIFAR-100で74.3%のパラメータで600K未満のパラメータで競争性能を達成した。
  論文  参考訳（メタデータ） (2020-07-20T13:50:51Z)
• When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
  我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。 我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
  論文  参考訳（メタデータ） (2020-04-19T08:34:52Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。