論文の概要: On the Pitfalls of Heteroscedastic Uncertainty Estimation with Probabilistic Neural Networks

• arxiv url: http://arxiv.org/abs/2203.09168v1
• Date: Thu, 17 Mar 2022 08:46:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 13:45:48.363717
• Title: On the Pitfalls of Heteroscedastic Uncertainty Estimation with Probabilistic Neural Networks
• Title（参考訳）: 確率的ニューラルネットワークを用いた不確かさ推定の落とし穴について
• Authors: Maximilian Seitzer, Arash Tavakoli, Dimitrije Antic, Georg Martius
• Abstract要約: このアプローチがいかにして非常に貧弱だが安定な推定に繋がるかを示す合成例を示す。 問題を悪化させる特定の条件とともに、犯人をログライクな損失とみなす。 我々は、損失に対する各データポイントの寄与を、$beta$-exponentiated variance estimateによって重み付けする、$beta$-NLLと呼ばれる別の定式化を提案する。
• 参考スコア（独自算出の注目度）: 23.502721524477444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Capturing aleatoric uncertainty is a critical part of many machine learning systems. In deep learning, a common approach to this end is to train a neural network to estimate the parameters of a heteroscedastic Gaussian distribution by maximizing the logarithm of the likelihood function under the observed data. In this work, we examine this approach and identify potential hazards associated with the use of log-likelihood in conjunction with gradient-based optimizers. First, we present a synthetic example illustrating how this approach can lead to very poor but stable parameter estimates. Second, we identify the culprit to be the log-likelihood loss, along with certain conditions that exacerbate the issue. Third, we present an alternative formulation, termed $\beta$-NLL, in which each data point's contribution to the loss is weighted by the $\beta$-exponentiated variance estimate. We show that using an appropriate $\beta$ largely mitigates the issue in our illustrative example. Fourth, we evaluate this approach on a range of domains and tasks and show that it achieves considerable improvements and performs more robustly concerning hyperparameters, both in predictive RMSE and log-likelihood criteria.
• Abstract（参考訳）: アレオータ的不確かさを捉えることは、多くの機械学習システムにおいて重要な部分である。 深層学習において、この目的への一般的なアプローチは、観測されたデータの下での確率関数の対数を最大化することにより、ヘテロシドスティックなガウス分布のパラメータを推定するためにニューラルネットワークを訓練することである。 本研究では,このアプローチを検証し,勾配に基づくオプティマイザと連携して,ログライクティビティの利用に伴う潜在的な危険性を明らかにする。 まず、このアプローチが非常に貧弱だが安定したパラメータ推定にどのようにつながるかを示す合成例を示す。 第2に,被疑者がログライクな損失であることと,この問題を悪化させる条件を特定する。 第3に、損失に対する各データポイントの貢献度を$\beta$-exponentiated variance estimationによって重み付けする、$\beta$-nllと呼ばれる別の定式化を提案する。 適切な$\beta$を使用することで、例示例で問題を大幅に軽減できることを示します。 第4に,本手法を領域やタスクの範囲で評価し,予測的RMSEとログライクな基準の両方において,大幅な改善を実現し,ハイパーパラメータに関してより堅牢に実行することを示す。

関連論文リスト

• Efficient and Sharp Off-Policy Evaluation in Robust Markov Decision Processes [44.974100402600165]
  意思決定プロセス(MDP)に対する最良パラメトリックかつ最悪の摂動の評価について検討する。 我々は、元のMDPからの遷移観測を用いて、それらが同一または異なるポリシーの下で生成されるかのどちらかを判断する。 我々の推定器はウォルドの信頼区間を用いた統計的推測も行う。
  論文  参考訳（メタデータ） (2024-03-29T18:11:49Z)
• Online non-parametric likelihood-ratio estimation by Pearson-divergence functional minimization [55.98760097296213]
  iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。 本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
  論文  参考訳（メタデータ） (2023-11-03T13:20:11Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• A Robustness Analysis of Blind Source Separation [91.3755431537592]
  ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。 このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。 定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-17T16:30:51Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Robust computation of optimal transport by $\beta$-potential regularization [79.24513412588745]
  最適輸送(OT)は、確率分布間の差を測定する機械学習分野で広く使われているツールである。 我々は、いわゆる$beta$-divergenceに付随するベータポテンシャル項でOTを正規化することを提案する。 提案アルゴリズムで計算した輸送行列は,外乱が存在する場合でも確率分布を頑健に推定するのに役立つことを実験的に実証した。
  論文  参考訳（メタデータ） (2022-12-26T18:37:28Z)
• Tractable and Near-Optimal Adversarial Algorithms for Robust Estimation in Contaminated Gaussian Models [1.609950046042424]
  ハマーの汚染されたガウスモデルの下での位置と分散行列の同時推定の問題を考える。 まず,非パラメトリック判別器を用いた生成逆数法に対応する最小$f$-divergence推定法について検討した。 ネスト最適化により実装可能な,単純なスプライン判別器を用いたトラクタブル逆数アルゴリズムを開発した。 提案手法は,$f$-divergenceと使用したペナルティに応じて,最小値の最適値またはほぼ最適値を達成する。
  論文  参考訳（メタデータ） (2021-12-24T02:46:51Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
  パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。 我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
  論文  参考訳（メタデータ） (2020-10-11T19:05:49Z)
• $\gamma$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a Robust Divergence Estimator [95.71091446753414]
  最寄りの$gamma$-divergence推定器をデータ差分尺度として用いることを提案する。 本手法は既存の不一致対策よりも高いロバスト性を実現する。
  論文  参考訳（メタデータ） (2020-06-13T06:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。