論文の概要: Bayesian Neural Networks With Maximum Mean Discrepancy Regularization

• arxiv url: http://arxiv.org/abs/2003.00952v2
• Date: Wed, 30 Sep 2020 09:56:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 04:20:44.220571
• Title: Bayesian Neural Networks With Maximum Mean Discrepancy Regularization
• Title（参考訳）: 最大平均離散化を用いたベイズニューラルネットワーク
• Authors: Jary Pomponi, Simone Scardapane, and Aurelio Uncini
• Abstract要約: 画像分類タスクを含む複数のベンチマークにおいて,BNNの精度が向上することを示す。 また, ある予測に対する不確実性を推定するための新しい定式化を行い, 敵の攻撃に対してより堅牢な行動を示す。
• 参考スコア（独自算出の注目度）: 13.97417198693205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian Neural Networks (BNNs) are trained to optimize an entire distribution over their weights instead of a single set, having significant advantages in terms of, e.g., interpretability, multi-task learning, and calibration. Because of the intractability of the resulting optimization problem, most BNNs are either sampled through Monte Carlo methods, or trained by minimizing a suitable Evidence Lower BOund (ELBO) on a variational approximation. In this paper, we propose a variant of the latter, wherein we replace the Kullback-Leibler divergence in the ELBO term with a Maximum Mean Discrepancy (MMD) estimator, inspired by recent work in variational inference. After motivating our proposal based on the properties of the MMD term, we proceed to show a number of empirical advantages of the proposed formulation over the state-of-the-art. In particular, our BNNs achieve higher accuracy on multiple benchmarks, including several image classification tasks. In addition, they are more robust to the selection of a prior over the weights, and they are better calibrated. As a second contribution, we provide a new formulation for estimating the uncertainty on a given prediction, showing it performs in a more robust fashion against adversarial attacks and the injection of noise over their inputs, compared to more classical criteria such as the differential entropy.
• Abstract（参考訳）: ベイジアンニューラルネットワーク(bnns)は、単一のセットではなく、重みよりも全体の分布を最適化するように訓練され、解釈可能性、マルチタスク学習、キャリブレーションといった点で大きな利点がある。 結果として生じる最適化問題の難解性のため、ほとんどのbnnはモンテカルロ法でサンプル化されるか、あるいは変分近似に対して適切なエビデンス下限 (elbo) を最小化することで訓練される。 本稿では, ELBO項におけるKulback-Leiblerの発散を, 変分推論における最近の研究から着想を得た最大平均離散性(MMD)推定器に置き換えた。 mmd項の性質に基づいて提案を動機づけた結果,提案手法は最先端技術よりも多くの実証的利点を示すことができた。 特に、画像分類タスクを含む複数のベンチマークにおいて、BNNは高い精度を達成する。 さらに、重みよりも前のものを選ぶ方が頑丈で、より校正が良い。 第2の貢献として,与えられた予測に対する不確かさを推定するための新しい定式化を提案する。差分エントロピーのような古典的基準と比較して,敵の攻撃や入力に対するノイズの注入に対して,より強固な方法で実行することを示す。

関連論文リスト

• Flat Posterior Does Matter For Bayesian Model Averaging [15.371686185626162]
  この研究では、BNNが平らさを捉えるのにしばしば苦労していることを実証的に示しています。 ニューラル・ダイバージェンス(英語版)を計算することによって平坦な後部を求める小説であるシャープネス・アウェア・ベイズモデル平均化(SA-BMA)を提案する。 本研究は,SA-BMAが数発の分類と分布シフトにおいて一般化性能を向上させる効果を検証した。
  論文  参考訳（メタデータ） (2024-06-21T21:44:27Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
  変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。 本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。 効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
  論文  参考訳（メタデータ） (2023-02-24T10:32:30Z)
• Adaptive Dimension Reduction and Variational Inference for Transductive Few-Shot Classification [2.922007656878633]
  適応次元の削減によりさらに改善された変分ベイズ推定に基づく新しいクラスタリング法を提案する。 提案手法は,Few-Shotベンチマークにおける現実的非バランスなトランスダクティブ設定の精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-09-18T10:29:02Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。