論文の概要: SuperNet -- An efficient method of neural networks ensembling
- arxiv url: http://arxiv.org/abs/2003.13021v1
- Date: Sun, 29 Mar 2020 13:47:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 13:15:03.322495
- Title: SuperNet -- An efficient method of neural networks ensembling
- Title(参考訳): supernet --ニューラルネットワークセンシングの効率的な方法
- Authors: Ludwik Bukowski, Witold Dzwinel
- Abstract要約: ニューラルネットワークアンサンブルの主な欠点は、計算的に非常に要求されていることである。
マスター論文の目標は、アンサンブル生成に必要な実行時間を短縮することである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The main flaw of neural network ensembling is that it is exceptionally
demanding computationally, especially, if the individual sub-models are large
neural networks, which must be trained separately. Having in mind that modern
DNNs can be very accurate, they are already the huge ensembles of simple
classifiers, and that one can construct more thrifty compressed neural net of a
similar performance for any ensemble, the idea of designing the expensive
SuperNets can be questionable. The widespread belief that ensembling increases
the prediction time, makes it not attractive and can be the reason that the
main stream of ML research is directed towards developing better loss functions
and learning strategies for more advanced and efficient neural networks. On the
other hand, all these factors make the architectures more complex what may lead
to overfitting and high computational complexity, that is, to the same flaws
for which the highly parametrized SuperNets ensembles are blamed. The goal of
the master thesis is to speed up the execution time required for ensemble
generation. Instead of training K inaccurate sub-models, each of them can
represent various phases of training (representing various local minima of the
loss function) of a single DNN [Huang et al., 2017; Gripov et al., 2018]. Thus,
the computational performance of the SuperNet can be comparable to the maximum
CPU time spent on training its single sub-model, plus usually much shorter CPU
time required for training the SuperNet coupling factors.
- Abstract(参考訳): ニューラルネットワークアンサンブルの主な欠点は、特に個々のサブモデルが大きなニューラルネットワークである場合、計算的に例外的に要求されていることである。
現代のdnnは非常に正確であり、それらは既に単純な分類器の巨大なアンサンブルであり、どんなアンサンブルに対しても同様の性能のより難解な圧縮ニューラルネットワークを構築することができることを念頭において、高価なスーパーネットを設計するという考えは疑わしい。
センセンブルリングは予測時間を増やし、魅力的ではない、という広く信じられているため、ml研究の主流は、より先進的で効率的なニューラルネットワークのための損失関数と学習戦略の開発に向けられている。
一方で、これらすべての要素はアーキテクチャをより複雑にし、オーバーフィッティングと高い計算複雑性、すなわち高度にパラメータ化されたスーパーネットが非難されるのと同じ欠陥をもたらす。
マスター論文の目標は、アンサンブル生成に必要な実行時間を短縮することである。
K不正確なサブモデルをトレーニングする代わりに、それぞれが単一のDNN(Huang et al., 2017; Gripov et al., 2018)のトレーニングのさまざまなフェーズ(損失関数のローカルなミニマを表現する)を表現できる。
したがって、スーパーネットの計算性能は、単一のサブモデルのトレーニングに費やされる最大cpu時間と、スーパーネット結合因子のトレーニングに要するcpu時間と同等である。
関連論文リスト
- A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。
ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。
結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
論文 参考訳(メタデータ) (2023-08-28T14:19:13Z) - Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。
畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文 参考訳(メタデータ) (2023-06-14T01:24:42Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳(メタデータ) (2022-10-10T10:05:00Z) - Rapid training of quantum recurrent neural network [26.087244189340858]
本稿では,これらの障害に対処する量子リカレントニューラルネットワーク(QRNN)を提案する。
ネットワークの設計は連続変数量子コンピューティングのパラダイムに基づいている。
数値シミュレーションにより、QRNNは古典的ネットワークよりも少ないエポックで最適な重みに収束していることが示された。
論文 参考訳(メタデータ) (2022-07-01T12:29:33Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳(メタデータ) (2021-10-12T01:11:07Z) - Efficient Neural Architecture Search with Performance Prediction [0.0]
ニューラルアーキテクチャ検索を使用して、目前にあるタスクに最適なネットワークアーキテクチャを見つけます。
既存のNASアルゴリズムは、スクラッチから完全にトレーニングすることで、新しいアーキテクチャの適合性を評価する。
サンプルアーキテクチャの評価を高速化するために,エンドツーエンドのオフライン性能予測器を提案する。
論文 参考訳(メタデータ) (2021-08-04T05:44:16Z) - Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。
低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
論文 参考訳(メタデータ) (2021-06-16T15:57:51Z) - ItNet: iterative neural networks with small graphs for accurate and
efficient anytime prediction [1.52292571922932]
本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。
CamVidおよびCityscapesデータセットでセマンティックセグメンテーションの最新の結果を示します。
論文 参考訳(メタデータ) (2021-01-21T15:56:29Z) - Improving Neural Network with Uniform Sparse Connectivity [0.0]
本研究では,各層に均一かつ疎結合な一様スパースネットワーク(USN)を提案する。
USNは、予測精度、速度、堅牢性において最先端のスパースネットワークモデルより一貫して、実質的に優れている。
論文 参考訳(メタデータ) (2020-11-29T19:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。