論文の概要: On weight and variance uncertainty in neural networks for regression tasks

• arxiv url: http://arxiv.org/abs/2501.04272v1
• Date: Wed, 08 Jan 2025 04:44:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:56:50.851580
• Title: On weight and variance uncertainty in neural networks for regression tasks
• Title（参考訳）: 回帰タスクにおけるニューラルネットワークの重みと分散不確実性について
• Authors: Moein Monemi, Morteza Amini, S. Mahmoud Taheri, Mohammad Arashi,
• Abstract要約: 分散不確実性を含むことにより,ベイズNNの予測性能が向上することを示す。 我々は,ネットワーク重みについて,それぞれガウスとスパイク・アンド・スラブの先行値を持つ完全連結高密度ネットワークとドロップアウトNNを探索する。
• 参考スコア（独自算出の注目度）: 1.6649383443094408
• License:
• Abstract: We consider the problem of weight uncertainty proposed by [Blundell et al. (2015). Weight uncertainty in neural network. In International conference on machine learning, 1613-1622, PMLR.] in neural networks {(NNs)} specialized for regression tasks. {We further} investigate the effect of variance uncertainty in {their model}. We show that including the variance uncertainty can improve the prediction performance of the Bayesian {NN}. Variance uncertainty enhances the generalization of the model {by} considering the posterior distribution over the variance parameter. { We examine the generalization ability of the proposed model using a function approximation} example and {further illustrate it with} the riboflavin genetic data set. {We explore fully connected dense networks and dropout NNs with} Gaussian and spike-and-slab priors, respectively, for the network weights.
• Abstract（参考訳）: 我々は,ニューラルネットワークにおける重みの不確実性(Blundell et al (2015))について考察する。回帰タスクに特化したニューラルネットワーク(NNs)における機械学習に関する国際会議(1613-1622, PMLR.)において,重みの不確実性について考察する。 さらに、このモデルにおける分散不確実性の影響について検討する。 分散不確実性を含むことにより,ベイジアン・NNの予測性能が向上することを示す。 変数の不確実性は、分散パラメータの後方分布を考慮したモデル {by} の一般化を促進する。 本稿では,関数近似の例を用いて,提案モデルの一般化能力を検証し,リボフラビンの遺伝的データセットを例示する。 ネットワークの重みは,それぞれガウス型,スパイク型,スラブ型をそれぞれ有する網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網網

関連論文リスト

• Tractable Function-Space Variational Inference in Bayesian Neural Networks [72.97620734290139]
  ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。 本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。 提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-28T18:33:26Z)
• Looking at the posterior: accuracy and uncertainty of neural-network predictions [0.0]
  予測精度はてんかんとアレタリック不確実性の両方に依存している。 本稿では,共通不確実性に基づく手法よりも優れた新たな獲得関数を提案する。
  論文  参考訳（メタデータ） (2022-11-26T16:13:32Z)
• Jensen-Shannon Divergence Based Novel Loss Functions for Bayesian Neural Networks [2.4554686192257424]
  我々は、一般化されたJensen-Shannon(JS)の発散に新たな修正を加えて、BNNの新たな損失関数を定式化する。 JSの発散に基づく変分推論は難解であり,従ってこれらの損失を定式化するために制約付き最適化フレームワークが用いられている。 複数の回帰および分類データセットに関する理論的解析および実証実験により、提案された損失はKLの発散に基づく損失よりも良く、特にデータセットがノイズや偏りがある場合の方が優れていることが示唆された。
  論文  参考訳（メタデータ） (2022-09-23T01:47:09Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• A General Framework for quantifying Aleatoric and Epistemic uncertainty in Graph Neural Networks [0.29494468099506893]
  Graph Neural Networks(GNN)は、グラフ理論と機械学習をエレガントに統合する強力なフレームワークを提供する。 本稿では,モデル誤差と測定の不確かさからGNNの予測の不確かさを定量化する問題を考察する。 ベイジアンフレームワークにおける両源の不確実性を扱うための統一的なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-05-20T05:25:40Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Kalman Bayesian Neural Networks for Closed-form Online Learning [5.220940151628734]
  閉形式ベイズ推論によるBNN学習のための新しい手法を提案する。 出力の予測分布の計算と重み分布の更新をベイズフィルタおよび平滑化問題として扱う。 これにより、勾配降下のないシーケンシャル/オンライン方式でネットワークパラメータをトレーニングするためのクローズドフォーム表現が可能になる。
  論文  参考訳（メタデータ） (2021-10-03T07:29:57Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。