論文の概要: Optimal Training of Mean Variance Estimation Neural Networks

• arxiv url: http://arxiv.org/abs/2302.08875v2
• Date: Thu, 3 Aug 2023 12:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 17:15:21.785857
• Title: Optimal Training of Mean Variance Estimation Neural Networks
• Title（参考訳）: 平均変動推定ニューラルネットワークの最適学習
• Authors: Laurens Sluijterman, Eric Cator, Tom Heskes
• Abstract要約: 本稿では,平均変数推定ネットワーク(MVEネットワーク)の最適実装に焦点をあてる(Nix and Weigend, 1994)。 MVEネットワークは、平均関数と分散関数を持つ正規分布からデータを生成すると仮定する。 本稿では,MVEネットワークの新たな改良点として,平均値と分散推定値を分離した正規化を提案する。
• 参考スコア（独自算出の注目度）: 1.4610038284393165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper focusses on the optimal implementation of a Mean Variance Estimation network (MVE network) (Nix and Weigend, 1994). This type of network is often used as a building block for uncertainty estimation methods in a regression setting, for instance Concrete dropout (Gal et al., 2017) and Deep Ensembles (Lakshminarayanan et al., 2017). Specifically, an MVE network assumes that the data is produced from a normal distribution with a mean function and variance function. The MVE network outputs a mean and variance estimate and optimizes the network parameters by minimizing the negative loglikelihood. In our paper, we present two significant insights. Firstly, the convergence difficulties reported in recent work can be relatively easily prevented by following the simple yet often overlooked recommendation from the original authors that a warm-up period should be used. During this period, only the mean is optimized with a fixed variance. We demonstrate the effectiveness of this step through experimentation, highlighting that it should be standard practice. As a sidenote, we examine whether, after the warm-up, it is beneficial to fix the mean while optimizing the variance or to optimize both simultaneously. Here, we do not observe a substantial difference. Secondly, we introduce a novel improvement of the MVE network: separate regularization of the mean and the variance estimate. We demonstrate, both on toy examples and on a number of benchmark UCI regression data sets, that following the original recommendations and the novel separate regularization can lead to significant improvements.
• Abstract（参考訳）: 本稿では,平均変数推定ネットワーク(MVEネットワーク)の最適実装に焦点を当てた(Nix and Weigend,1994)。 このタイプのネットワークは、例えばコンクリート投棄(Gal et al., 2017)やDeep Ensembles(Lakshminarayanan et al., 2017)など、回帰環境での不確実性推定手法のビルディングブロックとしてよく使用される。 具体的には、MVEネットワークは、平均関数と分散関数を持つ正規分布からデータを生成すると仮定する。 mveネットワークは平均および分散推定を出力し、負対数を最小化することによりネットワークパラメータを最適化する。 本稿では,二つの重要な知見を紹介する。 第一に、最近の研究で報告されている収束困難は、ウォームアップ期間を使おうという原作者からの単純で見過ごされる推奨に従えば比較的容易に防げる。 この期間、平均のみが一定の分散で最適化される。 実験を通じてこのステップの有効性を実証し,標準的実践であることを強調した。 注意点として、ウォームアップ後、分散を最適化しながら平均値を修正するか、両方を同時に最適化するかを検討する。 ここでは、大きな違いは観測しません。 次に,mveネットワークの新たな改良について紹介する。平均の正規化と分散推定を分離する。 おもちゃの例でも、多くのベンチマーク UCI 回帰データセットでも、オリジナルのレコメンデーションと新しい別個の正規化に従えば、大幅な改善がもたらされることを示す。

関連論文リスト

• Favour: FAst Variance Operator for Uncertainty Rating [0.034530027457862]
  機械学習予測を解釈するための重要なアプローチとしてベイズニューラルネットワーク(BNN)が登場した。 後部分布からサンプリングすることで、データサイエンティストは推論の不確実性を推定することができる。 以前の研究は、ネットワークを介して後部の第1モーメントと第2モーメントを伝播することを提案した。 この方法はサンプリングよりも遅いため、伝播分散を近似する必要がある。 私たちの貢献は、より原則化された分散伝播フレームワークです。
  論文  参考訳（メタデータ） (2023-11-21T22:53:20Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• A Novel Regression Loss for Non-Parametric Uncertainty Optimization [7.766663822644739]
  不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。 これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。 この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
  論文  参考訳（メタデータ） (2021-01-07T19:12:06Z)
• Second-Moment Loss: A Novel Regression Objective for Improved Uncertainties [7.766663822644739]
  不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。 これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。 この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
  論文  参考訳（メタデータ） (2020-12-23T14:17:33Z)
• Recursive Inference for Variational Autoencoders [34.552283758419506]
  従来の変分オートエンコーダ(VAE)の推論ネットワークは典型的に償却される。 この欠点に対処するために、最近の半修正アプローチが提案されている。 精度の高い償却推論アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-11-17T10:22:12Z)
• Temporal Action Localization with Variance-Aware Networks [12.364819165688628]
  本研究は,VAN(Variance-Aware Networks)を用いた時間的行動ローカライゼーションの問題に対処する。 VANpはネットワーク全体の平均と分散を伝搬し、2次統計値で出力を提供するネットワークである。 その結果、VANpは、他の2段階ネットワークのほぼ全ての精度を、追加のパラメータを含まないまま上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-08-25T20:12:59Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。