論文の概要: Deep Anti-Regularized Ensembles provide reliable out-of-distribution
uncertainty quantification
- arxiv url: http://arxiv.org/abs/2304.04042v1
- Date: Sat, 8 Apr 2023 15:25:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 18:06:16.920963
- Title: Deep Anti-Regularized Ensembles provide reliable out-of-distribution
uncertainty quantification
- Title（参考訳）: 信頼性の高い分散不確実性定量化を提供する深い反正規化アンサンブル
- Authors: Antoine de Mathelin, Francois Deheeger, Mathilde Mougeot, Nicolas
Vayatis
- Abstract要約: 深層アンサンブルは、しばしばトレーニングドメインの外で過度に信頼された見積を返す。
トレーニングデータに適合する大きな重みを持つネットワークの集合は、これらの2つの目的を満たす可能性が高いことを示す。
提案手法の理論的枠組みを導出し,提案手法を「水充填問題」とみなすことができることを示す。
- 参考スコア（独自算出の注目度）: 4.750521042508541
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of uncertainty quantification in high dimensional
regression and classification for which deep ensemble have proven to be
promising methods. Recent observations have shown that deep ensemble often
return overconfident estimates outside the training domain, which is a major
limitation because shifted distributions are often encountered in real-life
scenarios. The principal challenge for this problem is to solve the trade-off
between increasing the diversity of the ensemble outputs and making accurate
in-distribution predictions. In this work, we show that an ensemble of networks
with large weights fitting the training data are likely to meet these two
objectives. We derive a simple and practical approach to produce such
ensembles, based on an original anti-regularization term penalizing small
weights and a control process of the weight increase which maintains the
in-distribution loss under an acceptable threshold. The developed approach does
not require any out-of-distribution training data neither any trade-off
hyper-parameter calibration. We derive a theoretical framework for this
approach and show that the proposed optimization can be seen as a
"water-filling" problem. Several experiments in both regression and
classification settings highlight that Deep Anti-Regularized Ensembles (DARE)
significantly improve uncertainty quantification outside the training domain in
comparison to recent deep ensembles and out-of-distribution detection methods.
All the conducted experiments are reproducible and the source code is available
at \url{https://github.com/antoinedemathelin/DARE}.
- Abstract（参考訳）: 深層アンサンブルが有望な手法であることを証明した高次元回帰・分類における不確実性定量化の問題を考える。
近年の観測では、深層アンサンブルはしばしば訓練領域の外で過度に信頼された見積を返すことが示されており、これは現実のシナリオではシフト分布がしばしば発生するため、大きな制限である。
この問題に対する主な課題は、アンサンブル出力の多様化と正確な分布予測の間のトレードオフを解決することである。
本研究では,トレーニングデータに適合する重みを持つネットワークの集合が,この2つの目的に合致する可能性が高いことを示す。
このようなアンサンブルを,小重量をペナライズする元来の反正則化用語と,許容範囲で分配損失を抑える重量増加の制御プロセスに基づいて,簡便かつ実用的な方法で生成する。
開発したアプローチでは、トレードオフのハイパーパラメータ校正も不要な、分散外のトレーニングデータを必要としない。
このアプローチの理論的枠組みを導出し,提案する最適化を「水に満ちた」問題と見なすことができることを示した。
回帰および分類設定におけるいくつかの実験は、Dep Anti-Regularized Ensembles (DARE)が、最近のディープアンサンブルやアウト・オブ・ディストリビューション検出法と比較してトレーニング領域外の不確実性定量化を著しく改善していることを強調している。
すべての実験は再現可能であり、ソースコードは \url{https://github.com/antoinedemathelin/DARE} で入手できる。
関連論文リスト
- Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。
提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
論文 参考訳（メタデータ） (2024-10-22T10:19:27Z) - Conformalized-DeepONet: A Distribution-Free Framework for Uncertainty
Quantification in Deep Operator Networks [7.119066725173193]
我々は,DeepONet(DeepONet)レグレッションのカバレッジを保証するため,コンフォメーション予測を用いて信頼性予測間隔を求める。
我々は分割共形予測をより自然に利用できる新しいQuantile-DeepONetを設計する。
種々の常微分方程式の数値例を用いて提案手法の有効性を実証する。
論文 参考訳（メタデータ） (2024-02-23T16:07:39Z) - Hinge-Wasserstein: Estimating Multimodal Aleatoric Uncertainty in Regression Tasks [9.600416563894658]
画像からパラメータ値への回帰について検討し、ここでは確率分布を予測して不確実性を検出することが一般的である。
従来の損失関数は、完全な真実分布が存在しない場合、確率分布の予測が低く、自信が強くなる。
トレーニング中の弱い二次モードのペナルティを低減するために, ハンジ・ワッサースタイン(Hungge-Wasserstein)を提案する。
論文 参考訳（メタデータ） (2023-06-01T11:20:09Z) - Towards Reliable Uncertainty Quantification via Deep Ensembles in
Multi-output Regression Task [0.0]
本研究は,多出力回帰タスクにおいて,近似ベイズ推論であるディープアンサンブルアプローチについて検討することを目的とする。
増大する不確実性の過小評価の傾向を初めて観察する。
本稿では,その不確実性定量化性能を向上させるために,ポストホックキャリブレーション法を適用したディープアンサンブルフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-28T05:10:57Z) - Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in
Deep Learning [24.3370326359959]
独立に訓練された深層ニューラルネットワークのラプラス近似の重み付け和からなるガウス混合モデル後部モデルを用いて予測することを提案する。
我々は,本手法がトレーニングデータから「遠方」に過信を緩和し,標準不確実性定量化ベンチマークにおける最先端のベースラインを実証的に比較することを理論的に検証した。
論文 参考訳（メタデータ） (2021-11-05T15:52:48Z) - Multivariate Deep Evidential Regression [77.34726150561087]
不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。
本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
論文 参考訳（メタデータ） (2021-04-13T12:20:18Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable
Neural Distribution Alignment [52.02794488304448]
そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。
入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
論文 参考訳（メタデータ） (2020-03-26T22:10:04Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z) - GenDICE: Generalized Offline Estimation of Stationary Values [108.17309783125398]
重要なアプリケーションでは,効果的な推定が依然として可能であることを示す。
我々のアプローチは、定常分布と経験分布の差を補正する比率を推定することに基づいている。
結果として得られるアルゴリズム、GenDICEは単純で効果的である。
論文 参考訳（メタデータ） (2020-02-21T00:27:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。