論文の概要: Regularizing Explanations in Bayesian Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2105.02653v3
- Date: Wed, 27 Nov 2024 19:06:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-02 15:17:28.152235
- Title: Regularizing Explanations in Bayesian Convolutional Neural Networks
- Title（参考訳）: ベイズ畳み込みニューラルネットワークにおける正規化説明
- Authors: Yanzhe Bekkemoen, Helge Langseth,
- Abstract要約: ベイズ推論に適合する新しい説明正規化法を提案する。
提案手法は,モデルが刺激的特徴に過度に適合する場合や,どの特徴に着目すべきか不確実な場合,予測性能を向上させる。
- 参考スコア（独自算出の注目度）: 0.4538232180176148
- License:
- Abstract: Neural networks are powerful function approximators with tremendous potential in learning complex distributions. However, they are prone to overfitting on spurious patterns. Bayesian inference provides a principled way to regularize neural networks and give well-calibrated uncertainty estimates. It allows us to specify prior knowledge on weights. However, specifying domain knowledge via distributions over weights is infeasible. Furthermore, it is unable to correct models when they focus on spurious or irrelevant features. New methods within explainable artificial intelligence allow us to regularize explanations in the form of feature importance to add domain knowledge and correct the models' focus. Nevertheless, they are incompatible with Bayesian neural networks, as they require us to modify the loss function. We propose a new explanation regularization method that is compatible with Bayesian inference. Consequently, we can quantify uncertainty and, at the same time, have correct explanations. We test our method using four different datasets. The results show that our method improves predictive performance when models overfit on spurious features or are uncertain of which features to focus on. Moreover, our method performs better than augmenting training data with samples where spurious features are removed through masking. We provide code, data, trained weights, and hyperparameters.
- Abstract（参考訳）: ニューラルネットワークは、複雑な分布を学習する大きな可能性を持つ強力な関数近似器である。
しかし、それらは急激なパターンに過度に適合する傾向がある。
ベイズ推論は、ニューラルネットワークを規則化し、よく校正された不確実性推定を与える、原則化された方法を提供する。
これにより、ウェイトに関する事前の知識を特定できます。
しかし、重みよりも分布を通してドメイン知識を特定することは不可能である。
さらに、刺激的または無関係な機能に焦点を当てたモデルを修正することはできない。
説明可能な人工知能の新たな手法により、機能の重要性という形で説明を規則化し、ドメイン知識を追加し、モデルの焦点を正すことができる。
それでも、損失関数を変更する必要があるため、ベイズニューラルネットワークとは互換性がない。
ベイズ推論に適合する新しい説明正規化法を提案する。
その結果、不確実性を定量化でき、同時に正確な説明ができる。
提案手法は4つの異なるデータセットを用いて検証する。
その結果,提案手法は,モデルが刺激的特徴に過度に適合している場合や,どの特徴に着目すべきかが不確かである場合,予測性能が向上することを示した。
さらに,本手法は,マスキングにより突発的特徴を除去するサンプルを用いて,トレーニングデータを増強するよりも優れている。
コード、データ、トレーニングされたウェイト、ハイパーパラメータを提供します。
関連論文リスト
- Sparsifying Bayesian neural networks with latent binary variables and
normalizing flows [10.865434331546126]
潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。
まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。
さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
論文 参考訳（メタデータ） (2023-05-05T09:40:28Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - Look beyond labels: Incorporating functional summary information in
Bayesian neural networks [11.874130244353253]
予測確率に関する要約情報を組み込むための簡単な手法を提案する。
利用可能な要約情報は、拡張データとして組み込まれ、ディリクレプロセスでモデル化される。
本稿では,タスクの難易度やクラス不均衡をモデルに示す方法について述べる。
論文 参考訳（メタデータ） (2022-07-04T07:06:45Z) - Augmenting Neural Networks with Priors on Function Values [22.776982718042962]
関数値に関する以前の知識は、しばしば自然科学で利用することができる。
BNNは、ユーザーが関数値を直接ではなく、ニューラルネットワークの重みについてのみ事前情報を指定できるようにする。
我々は,関数値自体の事前情報を付加したBNNの拡張手法を開発した。
論文 参考訳（メタデータ） (2022-02-10T02:24:15Z) - Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。
分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。
本手法は精度と不確実性の両方を向上することを示す。
論文 参考訳（メタデータ） (2021-09-27T01:09:08Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。
画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文 参考訳（メタデータ） (2020-10-22T17:18:48Z) - Why have a Unified Predictive Uncertainty? Disentangling it using Deep
Split Ensembles [39.29536042476913]
ブラックボックスニューラルネットワーク(NN)における不確実性の理解と定量化は、医療などの現実的な環境にデプロイする場合に不可欠である。
予測の不確かさを解消するために,概念的に単純な非ベイズ的アプローチ,ディープ・スプリット・アンサンブルを提案する。
論文 参考訳（メタデータ） (2020-09-25T19:15:26Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。