論文の概要: Layer Ensembles

• arxiv url: http://arxiv.org/abs/2210.04882v1
• Date: Mon, 10 Oct 2022 17:52:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 18:48:59.496095
• Title: Layer Ensembles
• Title（参考訳）: 層アンサンブル
• Authors: Illia Oleksiienko and Alexandros Iosifidis
• Abstract要約: 本稿では,レイヤアンサンブル(Layer Ensembles)と呼ばれる不確実性推定手法を提案する。 レイヤアンサンブル(Layer Ensembles)は、ネットワークの各レイヤごとに独立したカテゴリ分布の集合を考える。 私たちは、レイヤアンサンブルがサンプルのランク付けによってさらに改善できることを示し、結果として、より少ないメモリと実行時間を必要とするモデルを生み出します。
• 参考スコア（独自算出の注目度）: 95.42181254494287
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Ensembles, as a type of Bayesian Neural Networks, can be used to estimate uncertainty on the prediction of multiple neural networks by collecting votes from each network and computing the difference in those predictions. In this paper, we introduce a novel method for uncertainty estimation called Layer Ensembles that considers a set of independent categorical distributions for each layer of the network, giving many more possible samples with overlapped layers, than in the regular Deep Ensembles. We further introduce Optimized Layer Ensembles with an inference procedure that reuses common layer outputs, achieving up to 19x speed up and quadratically reducing memory usage. We also show that Layer Ensembles can be further improved by ranking samples, resulting in models that require less memory and time to run while achieving higher uncertainty quality than Deep Ensembles.
• Abstract（参考訳）: ディープアンサンブルはベイズ型ニューラルネットワークの一種であり、各ネットワークから票を集め、それらの予測の差を計算することで、複数のニューラルネットワークの予測の不確実性を予測するのに使うことができる。 本稿では,ネットワークの各層毎の独立なカテゴリ分布を考慮し,通常のDeep Ensemblesよりも多くの重なり合ったサンプルを提供する,Layer Ensemblesと呼ばれる不確実性推定手法を提案する。 さらに、共通レイヤ出力を再利用し、最大19倍の高速化と2倍のメモリ使用量の削減を実現する推論プロシージャを備えた最適化レイヤアンサンブルを導入する。 また、レイヤーアンサンブルは、ランキングサンプルによってさらに改善できることを示し、結果として、Deep Ensemblesよりも高い不確実性を実現する一方で、メモリと実行時間が少なくなるモデルが得られる。

関連論文リスト

• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization [0.0]
  推測法は、難易度のあるシミュレーターモデルに対する後部近似を導出する。 多くの研究は、難易度または後部に直接近似するようにニューラルネットワークを訓練した。 本稿では,スコーリングルールの最小化によって訓練された生成ネットワークに後部を近似することを提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:32:55Z)
• Arbitrary Bit-width Network: A Joint Layer-Wise Quantization and Adaptive Inference Approach [38.03309300383544]
  そこで本研究では,データ依存動的推論を実現するために,様々な量子化方式で異なるデータサンプルを微細な層レベルで供給することを提案する。 本稿では,Arbitrary Bit-width Network(ABN)を提案する。 ImageNet分類では、36.2%のBitOpsを節約しながら、1.1%のトップ1の精度向上を実現しています。
  論文  参考訳（メタデータ） (2022-04-21T09:36:43Z)
• Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in Deep Learning [24.3370326359959]
  独立に訓練された深層ニューラルネットワークのラプラス近似の重み付け和からなるガウス混合モデル後部モデルを用いて予測することを提案する。 我々は,本手法がトレーニングデータから「遠方」に過信を緩和し,標準不確実性定量化ベンチマークにおける最先端のベースラインを実証的に比較することを理論的に検証した。
  論文  参考訳（メタデータ） (2021-11-05T15:52:48Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• Sparse Uncertainty Representation in Deep Learning with Inducing Weights [22.912675044223302]
  我々はMatheronの条件付きガウスサンプリングルールを拡張し、高速な重量サンプリングを可能にする。 提案手法は,完全連結ニューラルネットワークとResNetを用いた予測および不確実性推定タスクにおける最先端の競争性能を実現する。
  論文  参考訳（メタデータ） (2021-05-30T18:17:47Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Anytime Inference with Distilled Hierarchical Neural Ensembles [32.003196185519]
  深層ニューラルネットワークの推論は計算コストがかかり、計算量や入力データの量が時間とともに変化するマスケリオでは、任意の時間推論が可能なネットワークが重要である。 階層型木構造に複数のネットワークのアンサンブルを埋め込む新しいフレームワークである階層型ニューラルネットワークアンサンブル(HNE)を提案する。 実験の結果,従来の推定モデルと比較して,HNEはCIFAR-10/100データセットとImageNetデータセットに対して,最先端の精度計算トレードオフを提供することがわかった。
  論文  参考訳（メタデータ） (2020-03-03T12:13:38Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。