論文の概要: Optimal Training of Mean Variance Estimation Neural Networks
- arxiv url: http://arxiv.org/abs/2302.08875v1
- Date: Fri, 17 Feb 2023 13:44:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-20 14:43:50.818401
- Title: Optimal Training of Mean Variance Estimation Neural Networks
- Title（参考訳）: 平均変動推定ニューラルネットワークの最適学習
- Authors: Laurens Sluijterman, Eric Cator, Tom Heskes
- Abstract要約: 本稿では,平均変数推定ネットワーク(MVEネットワーク)の最適実装に着目する(Nix and Weigend, 1994)。
MVEネットワークは、平均関数と分散関数を持つ正規分布からデータを生成すると仮定する。
本稿では,MVEネットワークの新たな改良点として,平均値と分散推定値を別々に正規化することを提案する。
- 参考スコア（独自算出の注目度）: 1.4610038284393165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper focusses on the optimal implementation of a Mean Variance
Estimation network (MVE network) (Nix and Weigend, 1994). This type of network
is often used as a building block for uncertainty estimation methods in a
regression setting, for instance Concrete dropout (Gal et al., 2017) and Deep
Ensembles (Lakshminarayanan et al., 2017). Specifically, an MVE network assumes
that the data is produced from a normal distribution with a mean function and
variance function. The MVE network outputs a mean and variance estimate and
optimizes the network parameters by minimizing the negative loglikelihood. In
this paper, we discuss two points: firstly, the convergence difficulties
reported in recent work can be relatively easily prevented by following the
recommendation from the original authors that a warm-up period should be used.
During this period, only the mean is optimized assuming a fixed variance. This
recommendation is often not used in practice. We experimentally demonstrate how
essential this step is. We also examine if keeping the mean estimate fixed
after the warm-up leads to different results than estimating both the mean and
the variance simultaneously after the warm-up. We do not observe a substantial
difference. Secondly, we propose a novel improvement of the MVE network:
separate regularization of the mean and the variance estimate. We demonstrate,
both on toy examples and on a number of benchmark UCI regression data sets,
that following the original recommendations and the novel separate
regularization can lead to significant improvements.
- Abstract（参考訳）: 本稿では,平均変数推定ネットワーク(MVEネットワーク)の最適実装に焦点を当てた(Nix and Weigend,1994)。
このタイプのネットワークは、例えばコンクリート投棄(Gal et al., 2017)やDeep Ensembles(Lakshminarayanan et al., 2017)など、回帰環境での不確実性推定手法のビルディングブロックとしてよく使用される。
具体的には、MVEネットワークは、平均関数と分散関数を持つ正規分布からデータを生成すると仮定する。
mveネットワークは平均および分散推定を出力し、負対数を最小化することによりネットワークパラメータを最適化する。
本稿では,本研究で報告されている収束困難を,原作者からの温暖化期間の使用を推奨することで,比較的容易に防止できる2点について論じる。
この期間、固定分散を仮定して平均のみを最適化する。
この推奨は実際には使われないことが多い。
このステップがいかに必要か実験的に示します。
また、ウォームアップ後の平均推定値が、ウォームアップ後の平均値と分散値の両方を同時に推定するよりも、異なる結果をもたらすかどうかについても検討した。
我々は大きな違いを観察しない。
次に,MVEネットワークの新たな改良点として,平均値と分散推定値を分離する手法を提案する。
おもちゃの例でも、多くのベンチマーク UCI 回帰データセットでも、オリジナルのレコメンデーションと新しい別個の正規化に従えば、大幅な改善がもたらされることを示す。
関連論文リスト
- Favour: FAst Variance Operator for Uncertainty Rating [0.034530027457862]
機械学習予測を解釈するための重要なアプローチとしてベイズニューラルネットワーク(BNN)が登場した。
後部分布からサンプリングすることで、データサイエンティストは推論の不確実性を推定することができる。
以前の研究は、ネットワークを介して後部の第1モーメントと第2モーメントを伝播することを提案した。
この方法はサンプリングよりも遅いため、伝播分散を近似する必要がある。
私たちの貢献は、より原則化された分散伝播フレームワークです。
論文 参考訳（メタデータ） (2023-11-21T22:53:20Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳（メタデータ） (2022-02-14T16:42:16Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳（メタデータ） (2021-06-30T11:00:24Z) - KL Guided Domain Adaptation [88.19298405363452]
ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。
ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。
確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
論文 参考訳（メタデータ） (2021-06-14T22:24:23Z) - A Novel Regression Loss for Non-Parametric Uncertainty Optimization [7.766663822644739]
不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。
これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。
この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
論文 参考訳（メタデータ） (2021-01-07T19:12:06Z) - Second-Moment Loss: A Novel Regression Objective for Improved
Uncertainties [7.766663822644739]
不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。
これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。
この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
論文 参考訳（メタデータ） (2020-12-23T14:17:33Z) - Recursive Inference for Variational Autoencoders [34.552283758419506]
従来の変分オートエンコーダ(VAE)の推論ネットワークは典型的に償却される。
この欠点に対処するために、最近の半修正アプローチが提案されている。
精度の高い償却推論アルゴリズムを導入する。
論文 参考訳（メタデータ） (2020-11-17T10:22:12Z) - Temporal Action Localization with Variance-Aware Networks [12.364819165688628]
本研究は,VAN(Variance-Aware Networks)を用いた時間的行動ローカライゼーションの問題に対処する。
VANpはネットワーク全体の平均と分散を伝搬し、2次統計値で出力を提供するネットワークである。
その結果、VANpは、他の2段階ネットワークのほぼ全ての精度を、追加のパラメータを含まないまま上回っていることがわかった。
論文 参考訳（メタデータ） (2020-08-25T20:12:59Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳（メタデータ） (2020-06-19T05:08:43Z) - Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。
これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
論文 参考訳（メタデータ） (2020-06-10T12:48:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。