論文の概要: SuperNet -- An efficient method of neural networks ensembling
- arxiv url: http://arxiv.org/abs/2003.13021v1
- Date: Sun, 29 Mar 2020 13:47:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 13:15:03.322495
- Title: SuperNet -- An efficient method of neural networks ensembling
- Title（参考訳）: supernet --ニューラルネットワークセンシングの効率的な方法
- Authors: Ludwik Bukowski, Witold Dzwinel
- Abstract要約: ニューラルネットワークアンサンブルの主な欠点は、計算的に非常に要求されていることである。
マスター論文の目標は、アンサンブル生成に必要な実行時間を短縮することである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The main flaw of neural network ensembling is that it is exceptionally
demanding computationally, especially, if the individual sub-models are large
neural networks, which must be trained separately. Having in mind that modern
DNNs can be very accurate, they are already the huge ensembles of simple
classifiers, and that one can construct more thrifty compressed neural net of a
similar performance for any ensemble, the idea of designing the expensive
SuperNets can be questionable. The widespread belief that ensembling increases
the prediction time, makes it not attractive and can be the reason that the
main stream of ML research is directed towards developing better loss functions
and learning strategies for more advanced and efficient neural networks. On the
other hand, all these factors make the architectures more complex what may lead
to overfitting and high computational complexity, that is, to the same flaws
for which the highly parametrized SuperNets ensembles are blamed. The goal of
the master thesis is to speed up the execution time required for ensemble
generation. Instead of training K inaccurate sub-models, each of them can
represent various phases of training (representing various local minima of the
loss function) of a single DNN [Huang et al., 2017; Gripov et al., 2018]. Thus,
the computational performance of the SuperNet can be comparable to the maximum
CPU time spent on training its single sub-model, plus usually much shorter CPU
time required for training the SuperNet coupling factors.
- Abstract（参考訳）: ニューラルネットワークアンサンブルの主な欠点は、特に個々のサブモデルが大きなニューラルネットワークである場合、計算的に例外的に要求されていることである。
現代のdnnは非常に正確であり、それらは既に単純な分類器の巨大なアンサンブルであり、どんなアンサンブルに対しても同様の性能のより難解な圧縮ニューラルネットワークを構築することができることを念頭において、高価なスーパーネットを設計するという考えは疑わしい。
センセンブルリングは予測時間を増やし、魅力的ではない、という広く信じられているため、ml研究の主流は、より先進的で効率的なニューラルネットワークのための損失関数と学習戦略の開発に向けられている。
一方で、これらすべての要素はアーキテクチャをより複雑にし、オーバーフィッティングと高い計算複雑性、すなわち高度にパラメータ化されたスーパーネットが非難されるのと同じ欠陥をもたらす。
マスター論文の目標は、アンサンブル生成に必要な実行時間を短縮することである。
K不正確なサブモデルをトレーニングする代わりに、それぞれが単一のDNN(Huang et al., 2017; Gripov et al., 2018)のトレーニングのさまざまなフェーズ(損失関数のローカルなミニマを表現する)を表現できる。
したがって、スーパーネットの計算性能は、単一のサブモデルのトレーニングに費やされる最大cpu時間と、スーパーネット結合因子のトレーニングに要するcpu時間と同等である。
関連論文リスト
- Algebraic Representations for Faster Predictions in Convolutional Neural Networks [0.0]
畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンにおけるタスクのモデルとして一般的な選択肢である。
より簡単な勾配最適化問題を作成するために、スキップ接続を追加することもできる。
スキップ接続を持つ任意の複雑で訓練された線形CNNは単層モデルに単純化可能であることを示す。
論文 参考訳（メタデータ） (2024-08-14T21:10:05Z) - Message Passing Variational Autoregressive Network for Solving Intractable Ising Models [6.261096199903392]
自己回帰型ニューラルネットワーク、畳み込み型ニューラルネットワーク、リカレントニューラルネットワーク、グラフニューラルネットワークなど、多くのディープニューラルネットワークがIsingモデルの解決に使用されている。
本稿では、スピン変数間の相互作用を効果的に活用できるメッセージパッシング機構を備えた変分自己回帰アーキテクチャを提案する。
新しいネットワークは、アニーリングフレームワークの下で訓練され、いくつかの原型スピンハミルトニアンの解法、特に低温での大きなスピン系において、既存の方法よりも優れている。
論文 参考訳（メタデータ） (2024-04-09T11:27:07Z) - A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。
ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。
結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
論文 参考訳（メタデータ） (2023-08-28T14:19:13Z) - Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。
畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文 参考訳（メタデータ） (2023-06-14T01:24:42Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Dash: Accelerating Distributed Private Convolutional Neural Network Inference with Arithmetic Garbled Circuits [6.912820984005411]
私たちは、悪質な攻撃者に対してセキュアな、高速で分散的なプライベート畳み込みニューラルネットワーク推論スキームであるDashを紹介します。
算術ガーブリングガジェット [BMR16] と派手なガーブリングガジェット [BCM+19] をベースとしており、Dashは算術ガーブラード回路を純粋にベースとしている。
論文 参考訳（メタデータ） (2023-02-13T13:48:08Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。
本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。
CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文 参考訳（メタデータ） (2022-10-10T10:05:00Z) - Rapid training of quantum recurrent neural network [26.087244189340858]
本稿では,これらの障害に対処する量子リカレントニューラルネットワーク(QRNN)を提案する。
ネットワークの設計は連続変数量子コンピューティングのパラダイムに基づいている。
数値シミュレーションにより、QRNNは古典的ネットワークよりも少ないエポックで最適な重みに収束していることが示された。
論文 参考訳（メタデータ） (2022-07-01T12:29:33Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。
低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
論文 参考訳（メタデータ） (2021-06-16T15:57:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。