論文の概要: Sequential Bayesian Neural Subnetwork Ensembles
- arxiv url: http://arxiv.org/abs/2206.00794v2
- Date: Mon, 19 Aug 2024 22:20:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 21:10:37.009145
- Title: Sequential Bayesian Neural Subnetwork Ensembles
- Title（参考訳）: 連続ベイズ型ニューラルネットワークアンサンブル
- Authors: Sanket Jantre, Shrijita Bhattacharya, Nathan M. Urban, Byung-Jun Yoon, Tapabrata Maiti, Prasanna Balaprakash, Sandeep Madireddy,
- Abstract要約: 本稿では、トレーニング過程を通じてモデルの複雑さを一貫して維持する動的ベイズニューラルワークのシーケンシャルアンサンブルに対するアプローチを提案する。
提案手法は,予測精度,不確実性推定,アウト・オブ・ディストリビューション検出,および対向ロバスト性の観点から,従来の密度決定モデルとスパース決定モデル,ベイズアンサンブルモデルより優れる。
- 参考スコア（独自算出の注目度）: 4.6354120722975125
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep ensembles have emerged as a powerful technique for improving predictive performance and enhancing model robustness across various applications by leveraging model diversity. However, traditional deep ensemble methods are often computationally expensive and rely on deterministic models, which may limit their flexibility. Additionally, while sparse subnetworks of dense models have shown promise in matching the performance of their dense counterparts and even enhancing robustness, existing methods for inducing sparsity typically incur training costs comparable to those of training a single dense model, as they either gradually prune the network during training or apply thresholding post-training. In light of these challenges, we propose an approach for sequential ensembling of dynamic Bayesian neural subnetworks that consistently maintains reduced model complexity throughout the training process while generating diverse ensembles in a single forward pass. Our approach involves an initial exploration phase to identify high-performing regions within the parameter space, followed by multiple exploitation phases that take advantage of the compactness of the sparse model. These exploitation phases quickly converge to different minima in the energy landscape, corresponding to high-performing subnetworks that together form a diverse and robust ensemble. We empirically demonstrate that our proposed approach outperforms traditional dense and sparse deterministic and Bayesian ensemble models in terms of prediction accuracy, uncertainty estimation, out-of-distribution detection, and adversarial robustness.
- Abstract（参考訳）: 深層アンサンブルは、モデル多様性を活用することにより、予測性能を改善し、様々なアプリケーションにわたるモデルロバスト性を高めるための強力な技術として登場した。
しかし、従来のディープアンサンブル法はしばしば計算コストが高く、決定論的モデルに依存しており、柔軟性が制限される可能性がある。
さらに、密度の高いモデルのスパースサブネットは、密度の高いモデルの性能にマッチし、堅牢性を高めることにも期待できる一方で、トレーニング中にネットワークを徐々に訓練したり、トレーニング後のしきい値を適用したりすることで、単一の密度のモデルのトレーニングに匹敵するトレーニングコストを創出する既存の方法も示している。
これらの課題を踏まえ、トレーニングプロセスを通してモデルの複雑さを一貫して維持し、単一の前方通過で多様なアンサンブルを生成する動的ベイズニューラルネットワークのシーケンシャルアンサンブル手法を提案する。
提案手法では,パラメータ空間内のハイパフォーマンス領域を同定するための初期探索フェーズと,スパースモデルのコンパクト性を利用する複数のエクスプロイトフェーズを含む。
これらの利用フェーズは、エネルギーランドスケープの異なるミニマに急速に収束し、多様で堅牢なアンサンブルを形成する高性能サブネットに対応する。
提案手法は,予測精度,不確実性推定,アウト・オブ・ディストリビューション検出,および対向ロバスト性の観点から,従来の密度・スパース決定性およびベイズアンサンブルモデルより優れていることを示す。
関連論文リスト
- Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。
低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。
このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
論文 参考訳（メタデータ） (2024-10-06T15:25:39Z) - LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。
全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。
提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳（メタデータ） (2023-09-05T13:42:11Z) - Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。
本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-03T21:49:14Z) - Dynamic ensemble selection based on Deep Neural Network Uncertainty
Estimation for Adversarial Robustness [7.158144011836533]
本研究では,動的アンサンブル選択技術を用いてモデルレベルの動的特性について検討する。
トレーニング段階では、ディリクレ分布はサブモデルの予測分布の先行として適用され、パラメータ空間における多様性制約が導入された。
テストフェーズでは、最終的な予測のための不確かさ値のランクに基づいて、特定のサブモデルが動的に選択される。
論文 参考訳（メタデータ） (2023-08-01T07:41:41Z) - Evolve Smoothly, Fit Consistently: Learning Smooth Latent Dynamics For
Advection-Dominated Systems [14.553972457854517]
複雑な物理系のサロゲートモデルを学ぶための,データ駆動・時空連続フレームワークを提案する。
ネットワークの表現力と特別に設計された整合性誘導正規化を利用して,低次元かつ滑らかな潜在軌道を得る。
論文 参考訳（メタデータ） (2023-01-25T03:06:03Z) - FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear
Modulation [69.34011200590817]
本稿では,特徴量線形変調の概念に基づく暗黙のアンサンブル手法であるFiLM-Ensembleを紹介する。
単一ディープネットワークのネットワークアクティベーションをFiLMで変調することにより、高多様性のモデルアンサンブルを得る。
我々は、FiLM-Ensembleが他の暗黙のアンサンブル法よりも優れており、ネットワークの明示的なアンサンブルの上限に非常に近いことを示す。
論文 参考訳（メタデータ） (2022-05-31T18:33:15Z) - Deep-Ensemble-Based Uncertainty Quantification in Spatiotemporal Graph
Neural Networks for Traffic Forecasting [2.088376060651494]
本稿では,短期交通予測のための最先端手法である拡散畳み込みリカレントニューラルネットワーク(DCRNN)に注目した。
我々はDCRNNの不確実性を定量化するスケーラブルなディープアンサンブル手法を開発した。
我々の汎用的かつスケーラブルなアプローチは、現在最先端のベイズ的手法や、多くの一般的な頻繁な手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-04-04T16:10:55Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Dynamic Gaussian Mixture based Deep Generative Model For Robust
Forecasting on Sparse Multivariate Time Series [43.86737761236125]
本研究では,孤立した特徴表現ではなく,潜在クラスタの遷移を追跡する新しい生成モデルを提案する。
新たに設計された動的ガウス混合分布が特徴であり、クラスタリング構造のダイナミクスを捉えている。
帰納的解析を可能にするために構造化推論ネットワークも設計されている。
論文 参考訳（メタデータ） (2021-03-03T04:10:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。