Fugu-MT 論文翻訳(概要): Implicit Variational Inference: the Parameter and the Predictor Space

論文の概要: Implicit Variational Inference: the Parameter and the Predictor Space

arxiv url: http://arxiv.org/abs/2010.12995v1
Date: Sat, 24 Oct 2020 21:41:21 GMT
ステータス: 処理完了
システム内更新日: 2022-10-03 11:51:21.484225
Title: Implicit Variational Inference: the Parameter and the Predictor Space
Title（参考訳）: 暗黙的変分推論:パラメータと予測空間
Authors: Yann Pequignot, Mathieu Alain, Patrick Dallaire, Alireza Yeganehparast, Pascal Germain, Jos\'ee Desharnais and Fran\c{c}ois Laviolette
Abstract要約: 予測器の空間における変分推論の2つの方法を示す。後者では、入力の分布を選択する必要があり、したがって、Emphout-of-distriionの不確実性という問題に明示的に対処することができます。予測空間で学習した変分近似は、パラメータ空間で訓練されたものと正に区別できることが示される。
参考スコア（独自算出の注目度）: 1.801034475007283
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Having access to accurate confidence levels along with the predictions allows to determine whether making a decision is worth the risk. Under the Bayesian paradigm, the posterior distribution over parameters is used to capture model uncertainty, a valuable information that can be translated into predictive uncertainty. However, computing the posterior distribution for high capacity predictors, such as neural networks, is generally intractable, making approximate methods such as variational inference a promising alternative. While most methods perform inference in the space of parameters, we explore the benefits of carrying inference directly in the space of predictors. Relying on a family of distributions given by a deep generative neural network, we present two ways of carrying variational inference: one in \emph{parameter space}, one in \emph{predictor space}. Importantly, the latter requires us to choose a distribution of inputs, therefore allowing us at the same time to explicitly address the question of \emph{out-of-distribution} uncertainty. We explore from various perspectives the implications of working in the predictor space induced by neural networks as opposed to the parameter space, focusing mainly on the quality of uncertainty estimation for data lying outside of the training distribution. We compare posterior approximations obtained with these two methods to several standard methods and present results showing that variational approximations learned in the predictor space distinguish themselves positively from those trained in the parameter space.
Abstract（参考訳）: 正確な信頼レベルへのアクセスと予測によって、意思決定がリスクに値するかどうかを判断することができる。ベイズパラダイムの下では、パラメータの後方分布はモデルの不確実性を捉えるために使用され、これは予測不確実性に変換できる貴重な情報である。しかし、ニューラルネットワークのような高容量予測器の後方分布の計算は一般的に難解であり、変分推論のような近似手法が有望な代替手段となる。ほとんどの手法はパラメータの空間で推論を行うが、予測器の空間で直接推論を行う利点について検討する。深部生成ニューラルネットワークによって与えられる分布の族に基づいて、変分推論を行う2つの方法を示す: 1つは \emph{parameter space} 、もう1つは \emph{predictor space} である。重要なことに、後者では入力の分布を選択する必要があるため、同時に \emph{out-of-distribution}の不確実性の問題を明示的に解決することができる。パラメータ空間とは対照的に,ニューラルネットワークによって誘導される予測空間で作業することの意味を,トレーニング分布外にあるデータに対する不確実性推定の品質を中心に,様々な観点から検討する。これら2つの手法で得られた後続近似をいくつかの標準法と比較し, パラメータ空間で学習した変分近似とパラメータ空間で訓練された近似とを正に区別することを示す。

関連論文リスト

Quantification of Predictive Uncertainty via Inference-Time Sampling [57.749601811982096]
本稿では,データあいまいさの予測不確実性を推定するためのポストホックサンプリング手法を提案する。この方法は与えられた入力に対して異なる可算出力を生成することができ、予測分布のパラメトリック形式を仮定しない。
論文参考訳（メタデータ） (2023-08-03T12:43:21Z)
Confidence estimation of classification based on the distribution of the neural network output layer [4.529188601556233]
現実の世界における予測モデルの適用を防ぐための最も一般的な問題の1つは一般化の欠如である。ニューラルネットワーク分類モデルにより生成された特定の予測の不確かさを推定する新しい手法を提案する。提案手法は,この予測に対応するロジット値の分布に基づいて,特定の予測の信頼性を推定する。
論文参考訳（メタデータ） (2022-10-14T12:32:50Z)
Addressing Randomness in Evaluation Protocols for Out-of-Distribution Detection [1.8047694351309207]
分類のためのディープニューラルネットワークは、トレーニング分布に起因しない入力に直面すると予測不可能に振る舞う。我々は,現在のプロトコルが OOD 手法の期待性能を信頼できないことを示す。ランダム性に対処するモンテカルロ法を用いてOOD法の性能を推定する。
論文参考訳（メタデータ） (2022-03-01T12:06:44Z)
NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文参考訳（メタデータ） (2022-02-07T12:30:45Z)
WOOD: Wasserstein-based Out-of-Distribution Detection [6.163329453024915]
ディープ・ニューラル・ネットワークに基づく分類器のトレーニングデータは、通常同じ分布からサンプリングされる。トレーニングサンプルから遠く離れた分布からテストサンプルの一部を引き出すと、トレーニングされたニューラルネットワークはこれらのOODサンプルに対して高い信頼性の予測を行う傾向にある。本稿では,これらの課題を克服するため,Wasserstein を用いたアウト・オブ・ディストリビューション検出(WOOD)手法を提案する。
論文参考訳（メタデータ） (2021-12-13T02:35:15Z)
Personalized Trajectory Prediction via Distribution Discrimination [78.69458579657189]
トラリミー予測は将来の力学のマルチモーダルな性質を捉えるジレンマと対立する。本研究では,パーソナライズされた動作パターンを予測するDisDisDis(Disdis)手法を提案する。本手法は,プラグイン・アンド・プレイモジュールとして既存のマルチモーダル予測モデルと統合することができる。
論文参考訳（メタデータ） (2021-07-29T17:42:12Z)
Robust Out-of-Distribution Detection on Deep Probabilistic Generative Models [0.06372261626436676]
アウト・オブ・ディストリビューション(OOD)検出は機械学習システムにおいて重要な課題である。深い確率的生成モデルは、データサンプルの可能性を推定することによって、OODの検出を容易にする。本稿では,外周露光を伴わない新しい検出指標を提案する。
論文参考訳（メタデータ） (2021-06-15T06:36:10Z)
The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
論文参考訳（メタデータ） (2020-12-05T17:30:35Z)
Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文参考訳（メタデータ） (2020-06-26T13:50:19Z)
Posterior Network: Uncertainty Estimation without OOD Samples via Density-Based Pseudo-Counts [33.45069308137142]
Posterior Network (PostNet) は、任意のサンプルに対する予測確率よりも、個々の閉形式後部分布を予測する。 PostNetは、OODの検出とデータセットシフトによる不確実なキャリブレーションにおいて、最先端の成果を達成する。
論文参考訳（メタデータ） (2020-06-16T15:16:32Z)
Balance-Subsampled Stable Prediction [55.13512328954456]
本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
論文参考訳（メタデータ） (2020-06-08T07:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。