論文の概要: Anytime Inference with Distilled Hierarchical Neural Ensembles
- arxiv url: http://arxiv.org/abs/2003.01474v3
- Date: Mon, 14 Dec 2020 07:26:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 22:50:46.338009
- Title: Anytime Inference with Distilled Hierarchical Neural Ensembles
- Title（参考訳）: 拡張階層型ニューラルアンサンブルによる随時推論
- Authors: Adria Ruiz and Jakob Verbeek
- Abstract要約: 深層ニューラルネットワークの推論は計算コストがかかり、計算量や入力データの量が時間とともに変化するマスケリオでは、任意の時間推論が可能なネットワークが重要である。
階層型木構造に複数のネットワークのアンサンブルを埋め込む新しいフレームワークである階層型ニューラルネットワークアンサンブル(HNE)を提案する。
実験の結果,従来の推定モデルと比較して,HNEはCIFAR-10/100データセットとImageNetデータセットに対して,最先端の精度計算トレードオフを提供することがわかった。
- 参考スコア（独自算出の注目度）: 32.003196185519
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inference in deep neural networks can be computationally expensive, and
networks capable of anytime inference are important in mscenarios where the
amount of compute or quantity of input data varies over time. In such networks
the inference process can interrupted to provide a result faster, or continued
to obtain a more accurate result. We propose Hierarchical Neural Ensembles
(HNE), a novel framework to embed an ensemble of multiple networks in a
hierarchical tree structure, sharing intermediate layers. In HNE we control the
complexity of inference on-the-fly by evaluating more or less models in the
ensemble. Our second contribution is a novel hierarchical distillation method
to boost the prediction accuracy of small ensembles. This approach leverages
the nested structure of our ensembles, to optimally allocate accuracy and
diversity across the individual models. Our experiments show that, compared to
previous anytime inference models, HNE provides state-of-the-art
accuracy-computate trade-offs on the CIFAR-10/100 and ImageNet datasets.
- Abstract（参考訳）: 深層ニューラルネットワークの推論は計算コストがかかり、計算量や入力データの量が時間とともに変化するマスケリオでは、任意の時間推論が可能なネットワークが重要である。
このようなネットワークでは、推論プロセスを中断して結果をより早く提供したり、より正確な結果を得ることができる。
本稿では,階層的階層構造に複数のネットワークのアンサンブルを埋め込み,中間層を共有する新しい枠組みである階層的ニューラルネットワークアンサンブル(hne)を提案する。
hneでは、アンサンブルで多かれ少なかれモデルを評価することによって、オンザフライの推論の複雑さを制御する。
第2の貢献は,小型アンサンブルの予測精度を高めるための新しい階層蒸留法である。
このアプローチでは、アンサンブルのネスト構造を利用して、個々のモデルの精度と多様性を最適に割り当てる。
実験の結果,従来の推定モデルと比較して,HNEはCIFAR-10/100データセットとImageNetデータセットに対して,最先端の精度計算トレードオフを提供することがわかった。
関連論文リスト
- Informed deep hierarchical classification: a non-standard analysis inspired approach [0.0]
出力層の前に配置された特定のプロジェクション演算子を備えた多出力ディープニューラルネットワークで構成されている。
このようなアーキテクチャの設計は、LH-DNN(Lexicographic Hybrid Deep Neural Network)と呼ばれ、異なる研究分野と非常に離れた研究分野のツールを組み合わせることで実現されている。
アプローチの有効性を評価するために、階層的な分類タスクに適した畳み込みニューラルネットワークであるB-CNNと比較する。
論文 参考訳（メタデータ） (2024-09-25T14:12:50Z) - Hierarchically Coherent Multivariate Mixture Networks [11.40498954142061]
確率的コヒーレント予測(probabilistic coherent forecasting)は、アグリゲーションのレベルにわたって一貫性のある予測を生成する。
我々は、時系列の関係を捉えるために、複合的可能性目的でネットワークを最適化する。
我々のアプローチでは、最先端のベースラインと比較して、ほとんどのデータセットの平均精度が13.2%向上している。
論文 参考訳（メタデータ） (2023-05-11T18:52:11Z) - Anticipate, Ensemble and Prune: Improving Convolutional Neural Networks
via Aggregated Early Exits [7.967995669387532]
我々は,早期出口の重み付けアンサンブルに基づく新たなトレーニング手法であるPrecipate,Ensemble and Prune(AEP)を提示する。
AEPは従来のトレーニングよりも平均精度を最大15%向上させることができる。
論文 参考訳（メタデータ） (2023-01-28T11:45:11Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - Layer Ensembles [95.42181254494287]
本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。
その結果,メモリと実行時間が少なくなるモデルが得られた。
論文 参考訳（メタデータ） (2022-10-10T17:52:47Z) - Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution
Detection [55.028065567756066]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。
本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。
バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。
We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
論文 参考訳（メタデータ） (2022-06-26T16:00:22Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - Ensembles of Spiking Neural Networks [0.3007949058551534]
本稿では,最先端の結果を生み出すスパイクニューラルネットワークのアンサンブルを構築する方法について述べる。
MNIST, NMNIST, DVS Gestureデータセットの分類精度は98.71%, 100.0%, 99.09%である。
我々は、スパイキングニューラルネットワークをGLM予測器として形式化し、ターゲットドメインに適した表現を識別する。
論文 参考訳（メタデータ） (2020-10-15T17:45:18Z) - DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。
ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文 参考訳（メタデータ） (2020-05-29T09:02:16Z) - When Residual Learning Meets Dense Aggregation: Rethinking the
Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。
我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文 参考訳（メタデータ） (2020-04-19T08:34:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。