論文の概要: Efficient Bayes Inference in Neural Networks through Adaptive Importance Sampling

• arxiv url: http://arxiv.org/abs/2210.00993v2
• Date: Thu, 13 Apr 2023 07:47:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 17:23:28.425537
• Title: Efficient Bayes Inference in Neural Networks through Adaptive Importance Sampling
• Title（参考訳）: アダプティブ・インパタンス・サンプリングによるニューラルネットワークの効率よいベイズ推定
• Authors: Yunshi Huang and Emilie Chouzenoux and Victor Elvira and Jean-Christophe Pesquet
• Abstract要約: BNNでは、トレーニング段階で、未知の重みとバイアスパラメータの完全な後部分布が生成される。 この機能は、数え切れないほどの機械学習アプリケーションに役立ちます。 医療医療や自動運転など、意思決定に重大な影響を及ぼす分野において特に魅力的である。
• 参考スコア（独自算出の注目度）: 19.518237361775533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian neural networks (BNNs) have received an increased interest in the last years. In BNNs, a complete posterior distribution of the unknown weight and bias parameters of the network is produced during the training stage. This probabilistic estimation offers several advantages with respect to point-wise estimates, in particular, the ability to provide uncertainty quantification when predicting new data. This feature inherent to the Bayesian paradigm, is useful in countless machine learning applications. It is particularly appealing in areas where decision-making has a crucial impact, such as medical healthcare or autonomous driving. The main challenge of BNNs is the computational cost of the training procedure since Bayesian techniques often face a severe curse of dimensionality. Adaptive importance sampling (AIS) is one of the most prominent Monte Carlo methodologies benefiting from sounded convergence guarantees and ease for adaptation. This work aims to show that AIS constitutes a successful approach for designing BNNs. More precisely, we propose a novel algorithm PMCnet that includes an efficient adaptation mechanism, exploiting geometric information on the complex (often multimodal) posterior distribution. Numerical results illustrate the excellent performance and the improved exploration capabilities of the proposed method for both shallow and deep neural networks.
• Abstract（参考訳）: ベイズニューラルネットワーク(BNN)はここ数年、関心が高まりつつある。 bnnでは、トレーニング段階でネットワークの未知の重みとバイアスパラメータの完全な後方分布が生成される。 この確率的推定は、ポイントワイズ推定、特に新しいデータを予測する際に不確かさを定量化する能力に関していくつかの利点をもたらす。 この機能はベイズパラダイムに固有のもので、無数の機械学習アプリケーションに有用である。 医療医療や自動運転など、意思決定に重大な影響を及ぼす分野において特に魅力的である。 BNNの主な課題は、ベイズ的手法がしばしば次元性の厳しい呪いに直面しているため、訓練手順の計算コストである。 適応的重要度サンプリング(adaptive importance sampling、ais)はモンテカルロで最も顕著な手法の一つである。 本研究の目的は,AISがBNNの設計に成功していることを示すことである。 より正確には、複雑な(しばしばマルチモーダルな)後続分布の幾何学的情報を利用する効率的な適応機構を含む新しいアルゴリズム PMCnet を提案する。 その結果,浅層ニューラルネットワークと深層ニューラルネットワークの両方において,提案手法の性能と探索性能が向上した。

関連論文リスト

• Model and Feature Diversity for Bayesian Neural Networks in Mutual Learning [33.629630904922465]
  深層学習によるBNNの性能向上のための新しい手法を提案する。 実験結果から, 分類精度, 負の対数類似度, キャリブレーション誤差が有意に向上した。
  論文  参考訳（メタデータ） (2024-07-03T00:25:25Z)
• On the Convergence of Locally Adaptive and Scalable Diffusion-Based Sampling Methods for Deep Bayesian Neural Network Posteriors [2.3265565167163906]
  ベイズニューラルネットワークは、ディープニューラルネットワークにおける不確実性をモデル化するための有望なアプローチである。 ニューラルネットワークの 後部分布からサンプルを生成することは 大きな課題です この方向の進歩の1つは、モンテカルロ・マルコフ連鎖サンプリングアルゴリズムへの適応的なステップサイズの導入である。 本稿では,これらの手法が,ステップサイズやバッチサイズが小さくても,サンプリングした分布にかなりの偏りがあることを実証する。
  論文  参考訳（メタデータ） (2024-03-13T15:21:14Z)
• Tractable Function-Space Variational Inference in Bayesian Neural Networks [72.97620734290139]
  ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。 本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。 提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-28T18:33:26Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Learning Active Subspaces for Effective and Scalable Uncertainty Quantification in Deep Neural Networks [13.388835540131508]
  本稿では,ニューラルネットワークパラメータの低次元部分空間を構築するための新しい手法を提案する。 その結果, 有効かつスケーラブルなベイズ推定が可能であることを実証した。 提案手法は, 各種回帰タスクに対して, 頑健な不確実性推定を伴う信頼性予測を提供する。
  論文  参考訳（メタデータ） (2023-09-06T15:00:36Z)
• Masked Bayesian Neural Networks : Theoretical Guarantee and its Posterior Inference [1.2722697496405464]
  本稿では,理論特性が良好で,計算可能な新しいノードスパースBNNモデルを提案する。 我々は、真のモデルに対する後部濃度速度が、真のモデルの滑らかさに適応する最小限の最適値に近いことを証明した。 さらに,ノードスパースBNNモデルのベイズ推定を現実的に実現可能な新しいMCMCアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-05-24T06:16:11Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。