論文の概要: Sequential Bayesian Neural Subnetwork Ensembles
- arxiv url: http://arxiv.org/abs/2206.00794v1
- Date: Wed, 1 Jun 2022 22:57:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-04 03:33:04.861220
- Title: Sequential Bayesian Neural Subnetwork Ensembles
- Title（参考訳）: 連続ベイズ型ニューラルネットワークアンサンブル
- Authors: Sanket Jantre, Sandeep Madireddy, Shrijita Bhattacharya, Tapabrata
Maiti, Prasanna Balaprakash
- Abstract要約: 本稿では,疎性誘導前処理によるモデル複雑性を低減する動的ベイズニューラルワークのシーケンシャルアンサンブルを提案する。
実験により,提案手法が高次頻度およびベイズアンサンブルモデルのベースラインを超えることを示す。
- 参考スコア（独自算出の注目度）: 3.954301343416333
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural network ensembles that appeal to model diversity have been used
successfully to improve predictive performance and model robustness in several
applications. Whereas, it has recently been shown that sparse subnetworks of
dense models can match the performance of their dense counterparts and increase
their robustness while effectively decreasing the model complexity. However,
most ensembling techniques require multiple parallel and costly evaluations and
have been proposed primarily with deterministic models, whereas sparsity
induction has been mostly done through ad-hoc pruning. We propose sequential
ensembling of dynamic Bayesian neural subnetworks that systematically reduce
model complexity through sparsity-inducing priors and generate diverse
ensembles in a single forward pass of the model. The ensembling strategy
consists of an exploration phase that finds high-performing regions of the
parameter space and multiple exploitation phases that effectively exploit the
compactness of the sparse model to quickly converge to different minima in the
energy landscape corresponding to high-performing subnetworks yielding diverse
ensembles. We empirically demonstrate that our proposed approach surpasses the
baselines of the dense frequentist and Bayesian ensemble models in prediction
accuracy, uncertainty estimation, and out-of-distribution (OoD) robustness on
CIFAR10, CIFAR100 datasets, and their out-of-distribution variants: CIFAR10-C,
CIFAR100-C induced by corruptions. Furthermore, we found that our approach
produced the most diverse ensembles compared to the approaches with a single
forward pass and even compared to the approaches with multiple forward passes
in some cases.
- Abstract（参考訳）: モデル多様性に訴えるディープニューラルネットワークアンサンブルは、いくつかのアプリケーションで予測性能とモデル堅牢性を改善するために成功している。
一方, 密度モデルの疎部分ネットワークは, 密度の高いモデルの性能に適合し, 強靭性を高めつつ, モデル複雑性を効果的に減少させることが示されている。
しかし、ほとんどのアンサンブル技術は並列かつコストのかかる複数の評価を必要としており、主に決定論的モデルで提案されている。
本研究では, モデル前処理によるモデル複雑性を系統的に低減し, モデルの1つの前方通過において多様なアンサンブルを生成する動的ベイズニューラルネットワークの逐次アンサンブルを提案する。
センシング戦略は、パラメータ空間の高パフォーマンス領域を見つける探索フェーズと、スパースモデルのコンパクト性を効果的に活用し、多様なアンサンブルを生み出す高パフォーマンスサブネットワークに対応するエネルギーランドスケープの異なるミニマに迅速に収束する複数の搾取フェーズからなる。
提案手法は, CIFAR10, CIFAR100データセットと, CIFAR10-C, CIFAR100-Cの破損による分布外変種に対する予測精度, 不確実性推定, 分布外ロバスト性(OoD)において, 密集頻度およびベイズアンサンブルモデルのベースラインを超えていることを示す。
さらに,本手法は,1つの前進パスを持つアプローチと比較して最も多様なアンサンブルを生成し,場合によっては複数の前進パスを持つアプローチと比較した。
関連論文リスト
- Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。
低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。
このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
論文 参考訳（メタデータ） (2024-10-06T15:25:39Z) - LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳（メタデータ） (2023-09-05T13:42:11Z) - Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。
本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-03T21:49:14Z) - Dynamic ensemble selection based on Deep Neural Network Uncertainty
Estimation for Adversarial Robustness [7.158144011836533]
本研究では,動的アンサンブル選択技術を用いてモデルレベルの動的特性について検討する。
トレーニング段階では、ディリクレ分布はサブモデルの予測分布の先行として適用され、パラメータ空間における多様性制約が導入された。
テストフェーズでは、最終的な予測のための不確かさ値のランクに基づいて、特定のサブモデルが動的に選択される。
論文 参考訳（メタデータ） (2023-08-01T07:41:41Z) - Evolve Smoothly, Fit Consistently: Learning Smooth Latent Dynamics For
Advection-Dominated Systems [14.553972457854517]
複雑な物理系のサロゲートモデルを学ぶための,データ駆動・時空連続フレームワークを提案する。
ネットワークの表現力と特別に設計された整合性誘導正規化を利用して,低次元かつ滑らかな潜在軌道を得る。
論文 参考訳（メタデータ） (2023-01-25T03:06:03Z) - FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear
Modulation [69.34011200590817]
本稿では,特徴量線形変調の概念に基づく暗黙のアンサンブル手法であるFiLM-Ensembleを紹介する。
単一ディープネットワークのネットワークアクティベーションをFiLMで変調することにより、高多様性のモデルアンサンブルを得る。
我々は、FiLM-Ensembleが他の暗黙のアンサンブル法よりも優れており、ネットワークの明示的なアンサンブルの上限に非常に近いことを示す。
論文 参考訳（メタデータ） (2022-05-31T18:33:15Z) - Deep-Ensemble-Based Uncertainty Quantification in Spatiotemporal Graph
Neural Networks for Traffic Forecasting [2.088376060651494]
本稿では,短期交通予測のための最先端手法である拡散畳み込みリカレントニューラルネットワーク(DCRNN)に注目した。
我々はDCRNNの不確実性を定量化するスケーラブルなディープアンサンブル手法を開発した。
我々の汎用的かつスケーラブルなアプローチは、現在最先端のベイズ的手法や、多くの一般的な頻繁な手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-04-04T16:10:55Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Dynamic Gaussian Mixture based Deep Generative Model For Robust
Forecasting on Sparse Multivariate Time Series [43.86737761236125]
本研究では,孤立した特徴表現ではなく,潜在クラスタの遷移を追跡する新しい生成モデルを提案する。
新たに設計された動的ガウス混合分布が特徴であり、クラスタリング構造のダイナミクスを捉えている。
帰納的解析を可能にするために構造化推論ネットワークも設計されている。
論文 参考訳（メタデータ） (2021-03-03T04:10:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。