論文の概要: Sequential Bayesian Neural Subnetwork Ensembles
- arxiv url: http://arxiv.org/abs/2206.00794v1
- Date: Wed, 1 Jun 2022 22:57:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-04 03:33:04.861220
- Title: Sequential Bayesian Neural Subnetwork Ensembles
- Title(参考訳): 連続ベイズ型ニューラルネットワークアンサンブル
- Authors: Sanket Jantre, Sandeep Madireddy, Shrijita Bhattacharya, Tapabrata
Maiti, Prasanna Balaprakash
- Abstract要約: 本稿では,疎性誘導前処理によるモデル複雑性を低減する動的ベイズニューラルワークのシーケンシャルアンサンブルを提案する。
実験により,提案手法が高次頻度およびベイズアンサンブルモデルのベースラインを超えることを示す。
- 参考スコア(独自算出の注目度): 3.954301343416333
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural network ensembles that appeal to model diversity have been used
successfully to improve predictive performance and model robustness in several
applications. Whereas, it has recently been shown that sparse subnetworks of
dense models can match the performance of their dense counterparts and increase
their robustness while effectively decreasing the model complexity. However,
most ensembling techniques require multiple parallel and costly evaluations and
have been proposed primarily with deterministic models, whereas sparsity
induction has been mostly done through ad-hoc pruning. We propose sequential
ensembling of dynamic Bayesian neural subnetworks that systematically reduce
model complexity through sparsity-inducing priors and generate diverse
ensembles in a single forward pass of the model. The ensembling strategy
consists of an exploration phase that finds high-performing regions of the
parameter space and multiple exploitation phases that effectively exploit the
compactness of the sparse model to quickly converge to different minima in the
energy landscape corresponding to high-performing subnetworks yielding diverse
ensembles. We empirically demonstrate that our proposed approach surpasses the
baselines of the dense frequentist and Bayesian ensemble models in prediction
accuracy, uncertainty estimation, and out-of-distribution (OoD) robustness on
CIFAR10, CIFAR100 datasets, and their out-of-distribution variants: CIFAR10-C,
CIFAR100-C induced by corruptions. Furthermore, we found that our approach
produced the most diverse ensembles compared to the approaches with a single
forward pass and even compared to the approaches with multiple forward passes
in some cases.
- Abstract(参考訳): モデル多様性に訴えるディープニューラルネットワークアンサンブルは、いくつかのアプリケーションで予測性能とモデル堅牢性を改善するために成功している。
一方, 密度モデルの疎部分ネットワークは, 密度の高いモデルの性能に適合し, 強靭性を高めつつ, モデル複雑性を効果的に減少させることが示されている。
しかし、ほとんどのアンサンブル技術は並列かつコストのかかる複数の評価を必要としており、主に決定論的モデルで提案されている。
本研究では, モデル前処理によるモデル複雑性を系統的に低減し, モデルの1つの前方通過において多様なアンサンブルを生成する動的ベイズニューラルネットワークの逐次アンサンブルを提案する。
センシング戦略は、パラメータ空間の高パフォーマンス領域を見つける探索フェーズと、スパースモデルのコンパクト性を効果的に活用し、多様なアンサンブルを生み出す高パフォーマンスサブネットワークに対応するエネルギーランドスケープの異なるミニマに迅速に収束する複数の搾取フェーズからなる。
提案手法は, CIFAR10, CIFAR100データセットと, CIFAR10-C, CIFAR100-Cの破損による分布外変種に対する予測精度, 不確実性推定, 分布外ロバスト性(OoD)において, 密集頻度およびベイズアンサンブルモデルのベースラインを超えていることを示す。
さらに,本手法は,1つの前進パスを持つアプローチと比較して最も多様なアンサンブルを生成し,場合によっては複数の前進パスを持つアプローチと比較した。
関連論文リスト
- Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-05T13:42:11Z) - Improving Transferability of Adversarial Examples via Bayesian Attacks [84.90830931076901]
モデル入力にベイズ定式化を組み込むことにより,モデル入力とモデルパラメータの共分散を可能にする新しい拡張を導入する。
提案手法は,トランスファーベース攻撃に対する新たな最先端技術を実現し,ImageNetとCIFAR-10の平均成功率をそれぞれ19.14%,2.08%向上させる。
論文 参考訳(メタデータ) (2023-07-21T03:43:07Z) - Sequential Ensembling for Semantic Segmentation [4.030520171276982]
我々は、複数の独立に訓練された最先端モデルの予測を組み合わせる一般的なアンサンブルアプローチをベンチマークする。
そこで本研究では,素なアンサンブルベースラインを大幅に上回る,逐次アンサンブルネットワークの強化にインスパイアされた新しい手法を提案する。
論文 参考訳(メタデータ) (2022-10-08T22:13:59Z) - FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear
Modulation [69.34011200590817]
本稿では,特徴量線形変調の概念に基づく暗黙のアンサンブル手法であるFiLM-Ensembleを紹介する。
単一ディープネットワークのネットワークアクティベーションをFiLMで変調することにより、高多様性のモデルアンサンブルを得る。
我々は、FiLM-Ensembleが他の暗黙のアンサンブル法よりも優れており、ネットワークの明示的なアンサンブルの上限に非常に近いことを示す。
論文 参考訳(メタデータ) (2022-05-31T18:33:15Z) - Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。
提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
論文 参考訳(メタデータ) (2022-04-23T02:45:55Z) - Deep-Ensemble-Based Uncertainty Quantification in Spatiotemporal Graph
Neural Networks for Traffic Forecasting [2.088376060651494]
本稿では,短期交通予測のための最先端手法である拡散畳み込みリカレントニューラルネットワーク(DCRNN)に注目した。
我々はDCRNNの不確実性を定量化するスケーラブルなディープアンサンブル手法を開発した。
我々の汎用的かつスケーラブルなアプローチは、現在最先端のベイズ的手法や、多くの一般的な頻繁な手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-04-04T16:10:55Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Dynamic Gaussian Mixture based Deep Generative Model For Robust
Forecasting on Sparse Multivariate Time Series [43.86737761236125]
本研究では,孤立した特徴表現ではなく,潜在クラスタの遷移を追跡する新しい生成モデルを提案する。
新たに設計された動的ガウス混合分布が特徴であり、クラスタリング構造のダイナミクスを捉えている。
帰納的解析を可能にするために構造化推論ネットワークも設計されている。
論文 参考訳(メタデータ) (2021-03-03T04:10:07Z) - Neural Mixture Distributional Regression [0.9023847175654603]
フレキシブルな加法予測器によって定義される分布回帰の有限混合を推定する包括的枠組みを提案する。
我々のフレームワークは、高次元の設定において、潜在的に異なる分布の多くの混合を処理できる。
論文 参考訳(メタデータ) (2020-10-14T09:00:16Z) - Automated and Formal Synthesis of Neural Barrier Certificates for
Dynamical Models [70.70479436076238]
バリア証明書(BC)の自動的,形式的,反例に基づく合成手法を提案する。
このアプローチは、ニューラルネットワークとして構造化されたBCの候補を操作する誘導的フレームワークと、その候補の有効性を認証するか、反例を生成する音検証器によって支えられている。
その結果,音のBCsを最大2桁の速度で合成できることがわかった。
論文 参考訳(メタデータ) (2020-07-07T07:39:42Z) - DessiLBI: Exploring Structural Sparsity of Deep Networks via
Differential Inclusion Paths [45.947140164621096]
逆スケール空間の差分包摂に基づく新しい手法を提案する。
DessiLBIが早期に「優勝チケット」を発表することを示す。
論文 参考訳(メタデータ) (2020-07-04T04:40:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。