論文の概要: Credal Bayesian Deep Learning

• arxiv url: http://arxiv.org/abs/2302.09656v4
• Date: Thu, 22 Feb 2024 09:55:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 19:21:45.650324
• Title: Credal Bayesian Deep Learning
• Title（参考訳）: credal bayesian deep learning(英語)
• Authors: Michele Caprio, Souradeep Dutta, Kuk Jin Jang, Vivian Lin, Radoslav Ivanov, Oleg Sokolsky, Insup Lee
• Abstract要約: 分散シフトに対する不確実性と堅牢性は、機械学習と人工知能において重要な目標である。 クレダルベイズ深層学習(CBDL)について紹介する。 CBDLは有限個の要素しか使わず、無限のBNNのアンサンブルを訓練することができる。 CBDLは,単一のBNNやBNNのアンサンブル,ベイズモデル平均化よりも,さまざまな不確実性を定量化・解離する方が優れていることを示す。
• 参考スコア（独自算出の注目度）: 4.374569172244273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty quantification and robustness to distribution shifts are important goals in machine learning and artificial intelligence. Although Bayesian Neural Networks (BNNs) allow for uncertainty in the predictions to be assessed, different sources of uncertainty are indistinguishable. We present Credal Bayesian Deep Learning (CBDL). Heuristically, CBDL allows to train an (uncountably) infinite ensemble of BNNs, using only finitely many elements. This is possible thanks to prior and likelihood finitely generated credal sets (FGCSs), a concept from the imprecise probability literature. Intuitively, convex combinations of a finite collection of prior-likelihood pairs are able to represent infinitely many such pairs. After training, CBDL outputs a set of posteriors on the parameters of the neural network. At inference time, such posterior set is used to derive a set of predictive distributions that is in turn utilized to distinguish between aleatoric and epistemic uncertainties, and to quantify them. The predictive set also produces either (i) a collection of outputs enjoying desirable probabilistic guarantees, or (ii) the single output that is deemed the best, that is, the one having the highest predictive lower probability -- another imprecise-probabilistic concept. CBDL is more robust than single BNNs to prior and likelihood misspecification, and to distribution shift. We show that CBDL is better at quantifying and disentangling different types of uncertainties than single BNNs, ensemble of BNNs, and Bayesian Model Averaging. In addition, we apply CBDL to two case studies to demonstrate its downstream tasks capabilities: one, for motion prediction in autonomous driving scenarios, and two, to model blood glucose and insulin dynamics for artificial pancreas control. We show that CBDL performs better when compared to an ensemble of BNNs baseline.
• Abstract（参考訳）: 不確かさの定量化と分散シフトへの堅牢性は、機械学習と人工知能の重要な目標である。 ベイズニューラルネットワーク(BNN)は予測の不確実性を評価することができるが、異なる不確実性源は区別できない。 本稿では,Credal Bayesian Deep Learning(CBDL)を紹介する。 CBDLは有限個の要素のみを用いて(数えきれないほど)無限のBNNアンサンブルを訓練することができる。 これは、不正確な確率文学の概念である事前およびおそらく有限生成されたクレダル集合 (FGCSs) のおかげで可能である。 直観的には、前様対の有限集合の凸結合は、そのようなペアを無限に多く表すことができる。 トレーニング後、CBDLはニューラルネットワークのパラメータに一連の後部を出力する。 推測時において、そのような後続集合は、アラート的不確かさとてんかん的不確かさの区別に使用される一連の予測分布を導出し、それらを定量化するために用いられる。 予測集合も生成する。 (一 望ましい確率的保証を享受する出力の集まり、又は (ii)最良と見なされる単一のアウトプット、すなわち、最も高い予測的低い確率を持つもの(別の不正確確率的概念)。 CBDLは単一BNNよりも、事前およびおそらくは誤特定、および分布シフトに対して堅牢である。 CBDLは,単一のBNNやBNNのアンサンブル,ベイズモデル平均化よりも,さまざまな不確実性を定量化・解離する方が優れていることを示す。 さらに,cbdlを下流課題の能力を示す2つのケーススタディに適用した。1つは自律運転シナリオにおける運動予測,もう2つは人工膵臓制御のための血糖およびインスリン動態のモデル化である。 CBDLはBNNのベースラインのアンサンブルに比べて性能が良いことを示す。

関連論文リスト

• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• A Framework for Variational Inference of Lightweight Bayesian Neural Networks with Heteroscedastic Uncertainties [0.31457219084519006]
  異種性失語症とてんかんのばらつきを学習したBNNパラメータのばらつきに埋め込むことができることを示す。 軽量BNNに適したサンプリング不要な変分推論のための比較的単純なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T13:24:43Z)
• Human Trajectory Forecasting with Explainable Behavioral Uncertainty [63.62824628085961]
  人間の軌道予測は人間の行動を理解し予測し、社会ロボットから自動運転車への応用を可能にする。 モデルフリー手法は予測精度が優れているが説明可能性に欠ける一方、モデルベース手法は説明可能性を提供するが、よく予測できない。 BNSP-SFMは,11種類の最先端手法と比較して,予測精度を最大50%向上することを示す。
  論文  参考訳（メタデータ） (2023-07-04T16:45:21Z)
• A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness [33.09831377640498]
  本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。 本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。 ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-05-01T05:46:13Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Investigating maximum likelihood based training of infinite mixtures for uncertainty quantification [16.30200782698554]
  変分推論の代わりに最大極大法を用いて無限混合分布を訓練する効果について検討する。 提案手法は, 予測分散が増大し, 敵ネットワークに繋がることがわかった。
  論文  参考訳（メタデータ） (2020-08-07T14:55:53Z)
• Probabilistic Neighbourhood Component Analysis: Sample Efficient Uncertainty Estimation in Deep Learning [25.8227937350516]
  トレーニングデータの量が少ない場合,最先端のBNNとDeep Ensembleモデルの不確実性推定能力は著しく低下することを示す。 サンプル効率の高い非パラメトリックkNN手法の確率的一般化を提案する。 我々のアプローチは、深いkNNがその予測において根底にある不確かさを正確に定量化することを可能にする。
  論文  参考訳（メタデータ） (2020-07-18T21:36:31Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Prior choice affects ability of Bayesian neural networks to identify unknowns [0.0]
  我々は、事前の選択がモデルが正しいクラスにデータを確実に割り当てる能力に重大な影響を与えることを示す。 また,BNNの性能向上のための代替オプションについても検討した。
  論文  参考訳（メタデータ） (2020-05-11T10:32:47Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。