論文の概要: Why have a Unified Predictive Uncertainty? Disentangling it using Deep Split Ensembles

• arxiv url: http://arxiv.org/abs/2009.12406v1
• Date: Fri, 25 Sep 2020 19:15:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 22:31:46.260012
• Title: Why have a Unified Predictive Uncertainty? Disentangling it using Deep Split Ensembles
• Title（参考訳）: なぜ統一予測の不確実性があるのか? ディープ・スプリット・アンサンブルを使って
• Authors: Utkarsh Sarawgi, Wazeer Zulfikar, Rishab Khincha, Pattie Maes
• Abstract要約: ブラックボックスニューラルネットワーク(NN)における不確実性の理解と定量化は、医療などの現実的な環境にデプロイする場合に不可欠である。 予測の不確かさを解消するために,概念的に単純な非ベイズ的アプローチ,ディープ・スプリット・アンサンブルを提案する。
• 参考スコア（独自算出の注目度）: 39.29536042476913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding and quantifying uncertainty in black box Neural Networks (NNs) is critical when deployed in real-world settings such as healthcare. Recent works using Bayesian and non-Bayesian methods have shown how a unified predictive uncertainty can be modelled for NNs. Decomposing this uncertainty to disentangle the granular sources of heteroscedasticity in data provides rich information about its underlying causes. We propose a conceptually simple non-Bayesian approach, deep split ensemble, to disentangle the predictive uncertainties using a multivariate Gaussian mixture model. The NNs are trained with clusters of input features, for uncertainty estimates per cluster. We evaluate our approach on a series of benchmark regression datasets, while also comparing with unified uncertainty methods. Extensive analyses using dataset shits and empirical rule highlight our inherently well-calibrated models. Our work further demonstrates its applicability in a multi-modal setting using a benchmark Alzheimer's dataset and also shows how deep split ensembles can highlight hidden modality-specific biases. The minimal changes required to NNs and the training procedure, and the high flexibility to group features into clusters makes it readily deployable and useful. The source code is available at https://github.com/wazeerzulfikar/deep-split-ensembles
• Abstract（参考訳）: ブラックボックスニューラルネットワーク(NN)における不確実性の理解と定量化は、医療などの現実的な環境にデプロイする場合に重要である。 ベイジアン法と非ベイジアン法を用いた最近の研究は、NNに対して統一的な予測の不確実性をモデル化する方法を示している。 この不確実性を分解して、データ中の不均一性の粒度の源を解き放つことで、その根本原因に関する豊富な情報が得られる。 多変量ガウス混合モデルを用いて予測不確かさを解消するために、概念的に単純な非ベイズ的アプローチ、ディープ・スプリット・アンサンブルを提案する。 NNは、クラスタ毎の不確実性推定のために、入力機能のクラスタでトレーニングされている。 我々は,一連のベンチマーク回帰データセット上でのアプローチを評価するとともに,統一不確実性手法との比較を行った。 データセットのくそと経験則を用いた広範囲な分析は、本質的によく調整されたモデルを強調します。 我々の研究は、ベンチマークAlzheimerのデータセットを用いたマルチモーダル環境での適用性をさらに証明し、また、深い分割アンサンブルが隠されたモダリティ固有のバイアスをいかに強調するかを示した。 nnsに必要な最小限の変更とトレーニング手順、そして機能をクラスタにグループ化するための高い柔軟性により、デプロイが容易で便利です。 ソースコードはhttps://github.com/wazeerzulfikar/deep-split-ensemblesで入手できる。

関連論文リスト

• Simplex Clustering via sBeta with Applications to Online Adjustment of Black-Box Predictions [16.876111500144667]
  我々はk-sBetasと呼ばれる新しい確率的クラスタリング手法を提案する。 クラスタリング分布の総括的最大アプリート(MAP)視点を提供する。 我々のコードと既存の単純なクラスタリング手法との比較および導入したソフトマックス予測ベンチマークが公開されている。
  論文  参考訳（メタデータ） (2022-07-30T18:29:11Z)
• Look beyond labels: Incorporating functional summary information in Bayesian neural networks [11.874130244353253]
  予測確率に関する要約情報を組み込むための簡単な手法を提案する。 利用可能な要約情報は、拡張データとして組み込まれ、ディリクレプロセスでモデル化される。 本稿では,タスクの難易度やクラス不均衡をモデルに示す方法について述べる。
  論文  参考訳（メタデータ） (2022-07-04T07:06:45Z)
• How to Combine Variational Bayesian Networks in Federated Learning [0.0]
  フェデレートラーニングにより、複数のデータセンターが機密データを公開することなく、協力的に中央モデルをトレーニングできる。 決定論的モデルは高い予測精度を達成することができ、キャリブレーションの欠如と不確実性を定量化する能力は、安全クリティカルなアプリケーションには問題となる。 変分ベイズニューラルネットワークに対する様々なアグリゲーションスキームの効果について検討する。
  論文  参考訳（メタデータ） (2022-06-22T07:53:12Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Investigating maximum likelihood based training of infinite mixtures for uncertainty quantification [16.30200782698554]
  変分推論の代わりに最大極大法を用いて無限混合分布を訓練する効果について検討する。 提案手法は, 予測分散が増大し, 敵ネットワークに繋がることがわかった。
  論文  参考訳（メタデータ） (2020-08-07T14:55:53Z)
• Probabilistic Neighbourhood Component Analysis: Sample Efficient Uncertainty Estimation in Deep Learning [25.8227937350516]
  トレーニングデータの量が少ない場合,最先端のBNNとDeep Ensembleモデルの不確実性推定能力は著しく低下することを示す。 サンプル効率の高い非パラメトリックkNN手法の確率的一般化を提案する。 我々のアプローチは、深いkNNがその予測において根底にある不確かさを正確に定量化することを可能にする。
  論文  参考訳（メタデータ） (2020-07-18T21:36:31Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。