論文の概要: Be Bayesian by Attachments to Catch More Uncertainty

• arxiv url: http://arxiv.org/abs/2310.13027v2
• Date: Fri, 12 Apr 2024 08:37:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 19:35:34.068176
• Title: Be Bayesian by Attachments to Catch More Uncertainty
• Title（参考訳）: ベイジアン氏:不確実性拡大へ-アタッチメントで
• Authors: Shiyu Shen, Bin Pan, Tianyang Shi, Tao Li, Zhenwei Shi,
• Abstract要約: 本稿では,アタッチド構造を持つ新しいベイズニューラルネットワークを提案し,アウト・オブ・ディストリビューション(OOD)データからより不確実性を求める。 ABNNは期待モジュールといくつかの配布モジュールで構成されている。
• 参考スコア（独自算出の注目度）: 27.047781689062944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian Neural Networks (BNNs) have become one of the promising approaches for uncertainty estimation due to the solid theorical foundations. However, the performance of BNNs is affected by the ability of catching uncertainty. Instead of only seeking the distribution of neural network weights by in-distribution (ID) data, in this paper, we propose a new Bayesian Neural Network with an Attached structure (ABNN) to catch more uncertainty from out-of-distribution (OOD) data. We first construct a mathematical description for the uncertainty of OOD data according to the prior distribution, and then develop an attached Bayesian structure to integrate the uncertainty of OOD data into the backbone network. ABNN is composed of an expectation module and several distribution modules. The expectation module is a backbone deep network which focuses on the original task, and the distribution modules are mini Bayesian structures which serve as attachments of the backbone. In particular, the distribution modules aim at extracting the uncertainty from both ID and OOD data. We further provide theoretical analysis for the convergence of ABNN, and experimentally validate its superiority by comparing with some state-of-the-art uncertainty estimation methods Code will be made available.
• Abstract（参考訳）: ベイズニューラルネットワーク (BNN) は, ソリッド理論の基礎から不確実性推定を行う上で有望なアプローチの1つである。 しかし,BNNの性能は不確実性に対処する能力に影響される。 本稿では、分布内(ID)データによるニューラルネットワーク重みの分布のみを求める代わりに、アタッチメント構造(ABNN)を備えた新しいベイズニューラルネットワークを提案し、分布外(OOD)データからより不確実性を求める。 まず,OODデータの不確実性に関する数学的記述を先行分布に従って構築し,その後,OODデータの不確実性をバックボーンネットワークに組み込むためのベイズ構造を構築した。 ABNNは期待モジュールといくつかの配布モジュールで構成されている。 期待モジュールは、元のタスクに焦点を当てたバックボーンディープネットワークであり、分散モジュールはバックボーンのアタッチメントとして機能するミニベイズ構造である。 特に、分布モジュールは、IDデータとOODデータの両方から不確実性を抽出することを目的としている。 さらに, ABNNの収束に関する理論的解析を行い, 現状の不確実性推定法との比較により, その優位性を実験的に検証する。

関連論文リスト

• Uncertainty Quantification in Multivariable Regression for Material Property Prediction with Bayesian Neural Networks [37.69303106863453]
  物理インフォームドBNNにおける不確実性定量化(UQ)のアプローチを提案する。 本稿では, 鋼のクリープ破断寿命を予測するためのケーススタディを提案する。 クリープ寿命予測の最も有望なフレームワークは、マルコフ・チェイン・モンテカルロによるネットワークパラメータの後方分布の近似に基づくBNNである。
  論文  参考訳（メタデータ） (2023-11-04T19:40:16Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• Out of Distribution Data Detection Using Dropout Bayesian Neural Networks [29.84998820573774]
  まず, ドロップアウトBNNの中間層によって誘導されるランダム化埋め込みを利用する試みが, 距離測定によって失敗することを示す。 組込み不確実性を測定するための代替手法を導入し、その使用を理論的に正当化し、組込み不確実性を導入することで、画像分類、言語分類、マルウェア検出の3つのタスクにおけるOODデータ識別が向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T02:23:43Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Are Bayesian neural networks intrinsically good at out-of-distribution detection? [4.297070083645049]
  ベイズニューラルネットワーク(BNN)は分布外検出(OOD)に適していると広く推測されている。 本稿では,一般的なニューラルネットワークアーキテクチャに対する適切なベイズ推定が必ずしも優れたOOD検出に繋がるとは限らないという実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-26T14:53:14Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• B-PINNs: Bayesian Physics-Informed Neural Networks for Forward and Inverse PDE Problems with Noisy Data [7.33020629757864]
  本稿では,物理インフォームドニューラルネットワーク(B-PINN)を提案する。 B-PINNは、物理法則と散乱ノイズの測定の両方を利用して、アレータリック不確かさの予測と定量化を行う。
  論文  参考訳（メタデータ） (2020-03-13T04:00:42Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。