論文の概要: Fast Predictive Uncertainty for Classification with Bayesian Deep Networks

• arxiv url: http://arxiv.org/abs/2003.01227v4
• Date: Tue, 31 May 2022 06:50:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 04:29:46.263403
• Title: Fast Predictive Uncertainty for Classification with Bayesian Deep Networks
• Title（参考訳）: ベイズ深層ネットワークを用いた分類の高速予測の不確かさ
• Authors: Marius Hobbhahn, Agustinus Kristiadi, Philipp Hennig
• Abstract要約: ベイズディープラーニングでは、分類ニューラルネットワークの出力上の分布は、まずウェイト上のガウス分布を構築し、そこからサンプリングしてソフトマックス出力上の分布を受信することで近似される。 我々は、このソフトマックス出力分布のディリクレ近似を構築し、ロジット空間におけるガウス分布と出力空間におけるディリクレ分布の間の解析写像を生成する。 得られたディリクレ分布は、特に不確実性の推定と、ImageNetやDenseNetのような大規模なデータセットやネットワークへのスケーリングにおいて、複数の利点があることを実証する。
• 参考スコア（独自算出の注目度）: 25.821401066200504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Bayesian Deep Learning, distributions over the output of classification neural networks are often approximated by first constructing a Gaussian distribution over the weights, then sampling from it to receive a distribution over the softmax outputs. This is costly. We reconsider old work (Laplace Bridge) to construct a Dirichlet approximation of this softmax output distribution, which yields an analytic map between Gaussian distributions in logit space and Dirichlet distributions (the conjugate prior to the Categorical distribution) in the output space. Importantly, the vanilla Laplace Bridge comes with certain limitations. We analyze those and suggest a simple solution that compares favorably to other commonly used estimates of the softmax-Gaussian integral. We demonstrate that the resulting Dirichlet distribution has multiple advantages, in particular, more efficient computation of the uncertainty estimate and scaling to large datasets and networks like ImageNet and DenseNet. We further demonstrate the usefulness of this Dirichlet approximation by using it to construct a lightweight uncertainty-aware output ranking for ImageNet.
• Abstract（参考訳）: ベイズディープラーニングでは、分類されたニューラルネットワークの出力上の分布は、まず重みの上にガウス分布を構築し、それをサンプリングしてソフトマックス出力上の分布を受け取ることで近似される。 これは費用がかかる。 このソフトマックス出力分布のディリクレ近似を構築するために古い作業(ラプラスブリッジ)を再考し、ロジット空間におけるガウス分布と出力空間におけるディリクレ分布(カテゴリー分布以前の共役)の間の解析写像を生成する。 重要なことに、バニラ・ラプラス橋には一定の制限がある。 これを解析し、ソフトマックス・ガウス積分の他の一般的な推定値と比較する簡単な解を提案する。 得られたディリクレ分布には複数の利点があり、特に不確実性推定のより効率的な計算と、ImageNetやDenseNetのような大規模データセットやネットワークへのスケーリングが示されている。 さらに,このディリクレ近似は,imagenetの軽量な不確実性対応出力ランキングの構築に有用であることを示す。

関連論文リスト

• Hessian-Free Laplace in Bayesian Deep Learning [44.16006844888796]
  Hessian-free Laplace (HFL)近似は、その分散を推定するために、ログ後部とネットワーク予測の両方の曲率を使用する。 ベイズ深層学習におけるLAの標準的な仮定の下では、HFLはLAと同じ分散を目標とし、事前学習されたネットワークで効率よく再生可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-15T20:47:39Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• On diffusion-based generative models and their error bounds: The log-concave case with full convergence estimates [5.13323375365494]
  我々は,強い対数対数データの下での拡散に基づく生成モデルの収束挙動を理論的に保証する。 スコア推定に使用される関数のクラスは、スコア関数上のリプシッツネスの仮定を避けるために、リプシッツ連続関数からなる。 この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
  論文  参考訳（メタデータ） (2023-11-22T18:40:45Z)
• Generalized Schrödinger Bridge Matching [54.171931505066]
  一般化Schr"odinger Bridge (GSB) 問題設定は、機械学習の内外を問わず、多くの科学領域で一般的である。 我々は最近の進歩に触発された新しいマッチングアルゴリズムである一般化シュリンガーブリッジマッチング(GSBM)を提案する。 このような一般化は条件最適制御の解法として、変分近似を用いることができることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:42:11Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• On the capacity of deep generative networks for approximating distributions [8.798333793391544]
  ニューラルネットワークが一次元音源分布をワッサーシュタイン距離の高次元目標分布に任意に近い分布に変換することを証明した。 近似誤差は周囲次元で最も直線的に増加することが示されている。 $f$-divergences は、サンプルを生成するための分布の指標として、Waserstein 距離よりも適切ではない。
  論文  参考訳（メタデータ） (2021-01-29T01:45:02Z)
• Bayesian Deep Learning via Subnetwork Inference [2.2835610890984164]
  モデル重みの小さな部分集合に対して推論を行い、正確な予測後部を得るのに十分であることを示す。 このサブネットワーク推論フレームワークは、そのような部分集合に対して表現的で、そうでなければ、引き起こせない後続近似を使用できる。
  論文  参考訳（メタデータ） (2020-10-28T01:10:11Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)
• Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
  確率分布が未知な分布の不確実性の下でBQOについて検討する。 標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。 この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T12:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。