論文の概要: Second-Moment Loss: A Novel Regression Objective for Improved
Uncertainties
- arxiv url: http://arxiv.org/abs/2012.12687v1
- Date: Wed, 23 Dec 2020 14:17:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-25 18:19:03.345240
- Title: Second-Moment Loss: A Novel Regression Objective for Improved
Uncertainties
- Title（参考訳）: 二次損失:不確実性改善のための新しい回帰目標
- Authors: Joachim Sicking, Maram Akila, Maximilian Pintz, Tim Wirtz, Asja
Fischer, Stefan Wrobel
- Abstract要約: 不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。
これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。
この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
- 参考スコア（独自算出の注目度）: 7.766663822644739
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantification of uncertainty is one of the most promising approaches to
establish safe machine learning. Despite its importance, it is far from being
generally solved, especially for neural networks. One of the most commonly used
approaches so far is Monte Carlo dropout, which is computationally cheap and
easy to apply in practice. However, it can underestimate the uncertainty. We
propose a new objective, referred to as second-moment loss (SML), to address
this issue. While the full network is encouraged to model the mean, the dropout
networks are explicitly used to optimize the model variance. We analyze the
performance of the new objective on various toy and UCI regression datasets.
Comparing to the state-of-the-art of deep ensembles, SML leads to comparable
prediction accuracies and uncertainty estimates while only requiring a single
model. Under distribution shift, we observe moderate improvements. From a
safety perspective also the study of worst-case uncertainties is crucial. In
this regard we improve considerably. Finally, we show that SML can be
successfully applied to SqueezeDet, a modern object detection network. We
improve on its uncertainty-related scores while not deteriorating regression
quality. As a side result, we introduce an intuitive Wasserstein distance-based
uncertainty measure that is non-saturating and thus allows to resolve quality
differences between any two uncertainty estimates.
- Abstract（参考訳）: 不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。
その重要性にもかかわらず、特にニューラルネットワークでは、一般的な解決には程遠い。
これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。
しかし、不確実性は過小評価できる。
本稿では,この問題に対処するため,第2モーメント損失(SML)と呼ばれる新たな目標を提案する。
完全なネットワークは平均をモデル化するよう奨励されるが、ドロップアウトネットワークはモデル分散を最適化するために明示的に使用される。
我々は,様々な玩具およびUCI回帰データセットを用いて,新しい目標の性能を分析した。
ディープアンサンブルの最先端と比較すると、SMLは単一のモデルのみを必要とする一方で、同等の予測精度と不確実性の推定につながる。
流通シフトでは,適度な改善が観察される。
安全性の観点からは、最悪のケースの不確実性の研究も重要である。
この点で私たちはかなり改善します。
最後に、SMLは、最新のオブジェクト検出ネットワークであるSqueezeDetに適用可能であることを示す。
回帰品質を損なうことなく,不確実性に関するスコアを改善する。
その結果,非飽和な直感的なwasserstein距離に基づく不確実性尺度を導入し,任意の不確実性推定値間の品質差を解消する。
関連論文リスト
- Estimating Uncertainty with Implicit Quantile Network [0.0]
不確かさの定量化は多くの性能クリティカルなアプリケーションにおいて重要な部分である。
本稿では,アンサンブル学習やベイズニューラルネットワークなど,既存のアプローチに対する簡単な代替手段を提供する。
論文 参考訳（メタデータ） (2024-08-26T13:33:14Z) - Toward Reliable Human Pose Forecasting with Uncertainty [51.628234388046195]
我々は、複数のモデルを含む人間のポーズ予測のためのオープンソースのライブラリを開発し、複数のデータセットをサポートする。
我々は、パフォーマンスを高め、より良い信頼をもたらすために、問題の2つの不確実性を考案する。
論文 参考訳（メタデータ） (2023-04-13T17:56:08Z) - Optimal Training of Mean Variance Estimation Neural Networks [1.4610038284393165]
本稿では,平均変数推定ネットワーク(MVEネットワーク)の最適実装に焦点をあてる(Nix and Weigend, 1994)。
MVEネットワークは、平均関数と分散関数を持つ正規分布からデータを生成すると仮定する。
本稿では,MVEネットワークの新たな改良点として,平均値と分散推定値を分離した正規化を提案する。
論文 参考訳（メタデータ） (2023-02-17T13:44:47Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。
AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。
誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
論文 参考訳（メタデータ） (2022-09-22T04:32:51Z) - A Simple Approach to Improve Single-Model Deep Uncertainty via
Distance-Awareness [33.09831377640498]
本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。
本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。
ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
論文 参考訳（メタデータ） (2022-05-01T05:46:13Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳（メタデータ） (2022-02-14T16:42:16Z) - A Novel Regression Loss for Non-Parametric Uncertainty Optimization [7.766663822644739]
不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。
これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。
この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
論文 参考訳（メタデータ） (2021-01-07T19:12:06Z) - Uncertainty-Aware Deep Calibrated Salient Object Detection [74.58153220370527]
既存のディープニューラルネットワークに基づくサルエントオブジェクト検出(SOD)手法は主に高いネットワーク精度の追求に重点を置いている。
これらの手法は、信頼不均衡問題として知られるネットワーク精度と予測信頼の間のギャップを見落としている。
我々は,不確実性を考慮した深部SODネットワークを導入し,深部SODネットワークの過信を防止するための2つの戦略を提案する。
論文 参考訳（メタデータ） (2020-12-10T23:28:36Z) - MetaDetect: Uncertainty Quantification and Prediction Quality Estimates
for Object Detection [6.230751621285322]
ディープニューラルネットワークを用いたオブジェクト検出では、ボックスワイドのオブジェクト性スコアは過信される傾向にある。
本稿では,任意のニューラルネットワークに対して予測不確実性推定と品質推定を提供するポスト処理手法を提案する。
論文 参考訳（メタデータ） (2020-10-04T21:49:23Z) - Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。
さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
論文 参考訳（メタデータ） (2020-02-24T08:52:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。