論文の概要: Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation
- arxiv url: http://arxiv.org/abs/2011.02696v2
- Date: Mon, 1 Mar 2021 21:03:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 11:31:07.002882
- Title: Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation
- Title（参考訳）: Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainity Estimation
- Authors: Aurick Zhou, Sergey Levine
- Abstract要約: 本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
- 参考スコア（独自算出の注目度）: 99.92568326314667
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While deep neural networks provide good performance for a range of
challenging tasks, calibration and uncertainty estimation remain major
challenges, especially under distribution shift. In this paper, we propose the
amortized conditional normalized maximum likelihood (ACNML) method as a
scalable general-purpose approach for uncertainty estimation, calibration, and
out-of-distribution robustness with deep networks. Our algorithm builds on the
conditional normalized maximum likelihood (CNML) coding scheme, which has
minimax optimal properties according to the minimum description length
principle, but is computationally intractable to evaluate exactly for all but
the simplest of model classes. We propose to use approximate Bayesian inference
technqiues to produce a tractable approximation to the CNML distribution. Our
approach can be combined with any approximate inference algorithm that provides
tractable posterior densities over model parameters. We demonstrate that ACNML
compares favorably to a number of prior techniques for uncertainty estimation
in terms of calibration on out-of-distribution inputs.
- Abstract（参考訳）: ディープニューラルネットワークは、様々な課題に対して優れたパフォーマンスを提供するが、キャリブレーションと不確実性推定は、特に分散シフト下では大きな課題である。
本稿では,不確実性推定,キャリブレーション,分散的ロバスト性のためのスケーラブルな汎用手法として,amortized conditional normalized maximum likelihood (acnml) 法を提案する。
本アルゴリズムは,最小記述長原理に準じた最小最適特性を持つ条件付き正規化最大度 (cnml) 符号化スキームを基礎としているが, モデルクラスでもっとも単純なものを除いて, 正確に評価することは困難である。
本稿では,CNML分布の抽出可能な近似式を生成するためにベイズ近似手法を提案する。
提案手法は,モデルパラメータに対する移動可能な後方密度を与える近似推定アルゴリズムと組み合わせることができる。
acnmlは,分布外入力の校正の観点から,不確実性推定のための多くの先行手法と好適に比較できることを実証する。
関連論文リスト
- Gradient-free variational learning with conditional mixture networks [39.827869318925494]
条件付き混合ネットワーク(CMN)は、高速で勾配のない推論に適しており、複雑な分類タスクを解くことができる。
UCIレポジトリから標準ベンチマークで2層CMNをトレーニングすることで、このアプローチを検証する。
提案手法であるCAVI-CMNは,バックプロパゲーションを伴う最大推定値(MLE)と比較して,競合的かつしばしば優れた予測精度を実現する。
論文 参考訳（メタデータ） (2024-08-29T10:43:55Z) - Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。
本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
論文 参考訳（メタデータ） (2023-12-07T15:55:58Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳（メタデータ） (2023-11-08T00:10:21Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳（メタデータ） (2023-10-20T10:20:45Z) - Improved uncertainty quantification for neural networks with Bayesian
last layer [0.0]
不確実性定量化は機械学習において重要な課題である。
本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文 参考訳（メタデータ） (2023-02-21T20:23:56Z) - A Learning-Based Optimal Uncertainty Quantification Method and Its
Application to Ballistic Impact Problems [1.713291434132985]
本稿では、入力(または事前)測度が部分的に不完全であるシステムに対する最適(最大および無限)不確実性境界について述べる。
本研究では,不確実性最適化問題に対する学習基盤の枠組みを実証する。
本手法は,工学的実践における性能証明と安全性のためのマップ構築に有効であることを示す。
論文 参考訳（メタデータ） (2022-12-28T14:30:53Z) - Selection of the Most Probable Best [2.1095005405219815]
予測値ランキングと選択(R&S)問題では,すべてのk解のシミュレーション出力が,分布によって不確実性をモデル化可能な共通パラメータに依存する。
我々は、最も確率の高い最適解 (MPB) を、分布に関して最適である確率が最も大きい解と定義する。
最適化条件における未知の手段をその推定値に置き換えるアルゴリズムを考案し,シミュレーション予算が増加するにつれて,アルゴリズムのサンプリング比が条件を満たすことを証明した。
論文 参考訳（メタデータ） (2022-07-15T15:27:27Z) - Tractable and Near-Optimal Adversarial Algorithms for Robust Estimation
in Contaminated Gaussian Models [1.609950046042424]
ハマーの汚染されたガウスモデルの下での位置と分散行列の同時推定の問題を考える。
まず,非パラメトリック判別器を用いた生成逆数法に対応する最小$f$-divergence推定法について検討した。
ネスト最適化により実装可能な,単純なスプライン判別器を用いたトラクタブル逆数アルゴリズムを開発した。
提案手法は,$f$-divergenceと使用したペナルティに応じて,最小値の最適値またはほぼ最適値を達成する。
論文 参考訳（メタデータ） (2021-12-24T02:46:51Z) - Fast Batch Nuclear-norm Maximization and Minimization for Robust Domain
Adaptation [154.2195491708548]
ランダムに選択されたデータバッチの分類出力行列の構造について検討し,予測可能性と多様性について検討した。
本稿では,目標出力行列上で核ノルムを行い,目標予測能力を向上するBatch Nuclear-norm Maximization and Minimizationを提案する。
実験により,本手法は3つの典型的なドメイン適応シナリオにおいて適応精度とロバスト性を高めることができることが示された。
論文 参考訳（メタデータ） (2021-07-13T15:08:32Z) - Offline Model-Based Optimization via Normalized Maximum Likelihood
Estimation [101.22379613810881]
データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。
この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。
我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
論文 参考訳（メタデータ） (2021-02-16T06:04:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。