論文の概要: Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation

• arxiv url: http://arxiv.org/abs/2006.07584v2
• Date: Sun, 9 May 2021 05:31:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 20:42:59.906461
• Title: Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation
• Title（参考訳）: ガウス・ソフトマックス積分の平均場近似と不確かさ推定への応用
• Authors: Zhiyun Lu, Eugene Ie, Fei Sha
• Abstract要約: ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
• 参考スコア（独自算出の注目度）: 23.38076756988258
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many methods have been proposed to quantify the predictive uncertainty associated with the outputs of deep neural networks. Among them, ensemble methods often lead to state-of-the-art results, though they require modifications to the training procedures and are computationally costly for both training and inference. In this paper, we propose a new single-model based approach. The main idea is inspired by the observation that we can "simulate" an ensemble of models by drawing from a Gaussian distribution, with a form similar to those from the asymptotic normality theory, infinitesimal Jackknife, Laplacian approximation to Bayesian neural networks, and trajectories in stochastic gradient descents. However, instead of using each model in the "ensemble" to predict and then aggregating their predictions, we integrate the Gaussian distribution and the softmax outputs of the neural networks. We use a mean-field approximation formula to compute this analytically intractable integral. The proposed approach has several appealing properties: it functions as an ensemble without requiring multiple models, and it enables closed-form approximate inference using only the first and second moments of the Gaussian. Empirically, the proposed approach performs competitively when compared to state-of-the-art methods, including deep ensembles, temperature scaling, dropout and Bayesian NNs, on standard uncertainty estimation tasks. It also outperforms many methods on out-of-distribution detection.
• Abstract（参考訳）: ディープニューラルネットワークの出力に関連する予測の不確実性を定量化する多くの手法が提案されている。 それらのうち、アンサンブル法はしばしば最先端の結果をもたらすが、訓練手順の変更が必要であり、訓練と推論の両方に計算コストがかかる。 本稿では,新しい単一モデルに基づくアプローチを提案する。 主なアイデアは、漸近正規性理論、無限小jackknife、ベイズニューラルネットワークへのラプラシアン近似、確率的勾配降下の軌跡と類似した形式を用いて、ガウス分布からモデルの集合を「同化」できるという観測から着想を得ている。 しかし、各モデルを用いて予測を予測し、集約するのではなく、ガウス分布とニューラルネットワークのソフトマックス出力を統合する。 この解析的に難解な積分を計算するために平均場近似式を用いる。 提案手法は複数のモデルを必要としないアンサンブルとして機能し、ガウスの第一モーメントと第二モーメントのみを用いて閉形式近似推論を可能にする。 実験的手法は, 標準不確実性推定タスクにおいて, 深層アンサンブル, 温度スケーリング, ドロップアウト, ベイズnnなど, 最先端の手法と比較し, 競争力を発揮できる。 また、分布外検出の多くの方法よりも優れています。

関連論文リスト

• Likelihood approximations via Gaussian approximate inference [3.4991031406102238]
  ガウス密度による非ガウス確率の影響を近似する効率的なスキームを提案する。 その結果,大規模な点推定および分布推定設定における二進分類と多進分類の近似精度が向上した。 副産物として,提案した近似ログ類似度は,ニューラルネットワーク分類のためのラベルの最小二乗よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-28T05:39:26Z)
• Finite Neural Networks as Mixtures of Gaussian Processes: From Provable Error Bounds to Prior Selection [11.729744197698718]
  有限幅と深さのニューラルネットワークを近似するアルゴリズム的枠組みを提案する。 ニューラルネットワークの各層の出力分布をガウス過程の混合として反復的に近似する。 我々の結果は、ニューラルネットワークの予測を理解するための重要なステップである。
  論文  参考訳（メタデータ） (2024-07-26T12:45:53Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Robust scalable initialization for Bayesian variational inference with multi-modal Laplace approximations [0.0]
  フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。 本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T19:30:04Z)
• Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
  ガウスのプロセスはデータセットのサイズとともに違法にスケールする。 多くの近似法が開発されており、必然的に近似誤差を導入している。 この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。 本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
  論文  参考訳（メタデータ） (2022-05-30T22:16:25Z)
• A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
  均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。 提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:51:10Z)
• Pathwise Conditioning of Gaussian Processes [72.61885354624604]
  ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。 この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。 条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
  論文  参考訳（メタデータ） (2020-11-08T17:09:37Z)
• Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks [96.87076679064499]
  我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。 ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。 ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
  論文  参考訳（メタデータ） (2020-07-21T17:42:58Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Distributed Stochastic Nonconvex Optimization and Learning based on Successive Convex Approximation [26.11677569331688]
  本稿では,ネットワーク内のエージェントの総和の分散アルゴリズム最小化のための新しいフレームワークを提案する。 提案手法は分散ニューラルネットワークに適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-30T15:36:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。