Fugu-MT 論文翻訳(概要): Layer Ensembles

論文の概要: Layer Ensembles

arxiv url: http://arxiv.org/abs/2210.04882v3
Date: Fri, 7 Jul 2023 09:46:39 GMT
ステータス: 処理完了
システム内更新日: 2023-07-10 16:05:16.511058
Title: Layer Ensembles
Title（参考訳）: 層アンサンブル
Authors: Illia Oleksiienko and Alexandros Iosifidis
Abstract要約: 本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。その結果,メモリと実行時間が少なくなるモデルが得られた。
参考スコア（独自算出の注目度）: 95.42181254494287
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep Ensembles, as a type of Bayesian Neural Networks, can be used to estimate uncertainty on the prediction of multiple neural networks by collecting votes from each network and computing the difference in those predictions. In this paper, we introduce a method for uncertainty estimation that considers a set of independent categorical distributions for each layer of the network, giving many more possible samples with overlapped layers than in the regular Deep Ensembles. We further introduce an optimized inference procedure that reuses common layer outputs, achieving up to 19x speed up and reducing memory usage quadratically. We also show that the method can be further improved by ranking samples, resulting in models that require less memory and time to run while achieving higher uncertainty quality than Deep Ensembles.
Abstract（参考訳）: ディープアンサンブルはベイズ型ニューラルネットワークの一種であり、各ネットワークから票を集め、それらの予測の差を計算することで、複数のニューラルネットワークの予測の不確実性を予測するのに使うことができる。本稿では,ネットワークの各層毎の独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。さらに,共通層出力を再利用し,最大19倍の高速化を実現し,メモリ使用量を2次的に削減する最適化推論手法を導入する。また,サンプルのランク付けによってさらに改良が可能となり,メモリと実行時間の少ないモデルが,深いアンサンブルよりも高い不確実性を達成できることを示した。

関連論文リスト

Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文参考訳（メタデータ） (2023-09-12T13:03:47Z)
Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization [0.0]
推測法は、難易度のあるシミュレーターモデルに対する後部近似を導出する。多くの研究は、難易度または後部に直接近似するようにニューラルネットワークを訓練した。本稿では,スコーリングルールの最小化によって訓練された生成ネットワークに後部を近似することを提案する。
論文参考訳（メタデータ） (2022-05-31T13:32:55Z)
Arbitrary Bit-width Network: A Joint Layer-Wise Quantization and Adaptive Inference Approach [38.03309300383544]
そこで本研究では,データ依存動的推論を実現するために,様々な量子化方式で異なるデータサンプルを微細な層レベルで供給することを提案する。本稿では,Arbitrary Bit-width Network(ABN)を提案する。 ImageNet分類では、36.2%のBitOpsを節約しながら、1.1%のトップ1の精度向上を実現しています。
論文参考訳（メタデータ） (2022-04-21T09:36:43Z)
Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in Deep Learning [24.3370326359959]
独立に訓練された深層ニューラルネットワークのラプラス近似の重み付け和からなるガウス混合モデル後部モデルを用いて予測することを提案する。我々は,本手法がトレーニングデータから「遠方」に過信を緩和し,標準不確実性定量化ベンチマークにおける最先端のベースラインを実証的に比較することを理論的に検証した。
論文参考訳（メタデータ） (2021-11-05T15:52:48Z)
Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文参考訳（メタデータ） (2021-09-05T15:15:07Z)
Sparse Uncertainty Representation in Deep Learning with Inducing Weights [22.912675044223302]
我々はMatheronの条件付きガウスサンプリングルールを拡張し、高速な重量サンプリングを可能にする。提案手法は,完全連結ニューラルネットワークとResNetを用いた予測および不確実性推定タスクにおける最先端の競争性能を実現する。
論文参考訳（メタデータ） (2021-05-30T18:17:47Z)
ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文参考訳（メタデータ） (2020-06-28T23:09:27Z)
Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文参考訳（メタデータ） (2020-04-17T19:12:39Z)
Anytime Inference with Distilled Hierarchical Neural Ensembles [32.003196185519]
深層ニューラルネットワークの推論は計算コストがかかり、計算量や入力データの量が時間とともに変化するマスケリオでは、任意の時間推論が可能なネットワークが重要である。階層型木構造に複数のネットワークのアンサンブルを埋め込む新しいフレームワークである階層型ニューラルネットワークアンサンブル(HNE)を提案する。実験の結果,従来の推定モデルと比較して,HNEはCIFAR-10/100データセットとImageNetデータセットに対して,最先端の精度計算トレードオフを提供することがわかった。
論文参考訳（メタデータ） (2020-03-03T12:13:38Z)
MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。