論文の概要: Tackling covariate shift with node-based Bayesian neural networks
- arxiv url: http://arxiv.org/abs/2206.02435v1
- Date: Mon, 6 Jun 2022 08:56:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-07 14:47:54.050532
- Title: Tackling covariate shift with node-based Bayesian neural networks
- Title（参考訳）: ノードベースベイズニューラルネットワークによる共変量シフトの解法
- Authors: Trung Trinh, Markus Heinonen, Luigi Acerbi, Samuel Kaski
- Abstract要約: ノードベースのBNNは、各隠れノードに潜在確率変数を乗じ、重みの点推定を学習することで不確実性を誘導する。
本稿では、これらの潜伏雑音変数を、訓練中の単純およびドメインに依存しないデータ摂動の暗黙的表現として解釈する。
- 参考スコア（独自算出の注目度）: 26.64657196802115
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian neural networks (BNNs) promise improved generalization under
covariate shift by providing principled probabilistic representations of
epistemic uncertainty. However, weight-based BNNs often struggle with high
computational complexity of large-scale architectures and datasets. Node-based
BNNs have recently been introduced as scalable alternatives, which induce
epistemic uncertainty by multiplying each hidden node with latent random
variables, while learning a point-estimate of the weights. In this paper, we
interpret these latent noise variables as implicit representations of simple
and domain-agnostic data perturbations during training, producing BNNs that
perform well under covariate shift due to input corruptions. We observe that
the diversity of the implicit corruptions depends on the entropy of the latent
variables, and propose a straightforward approach to increase the entropy of
these variables during training. We evaluate the method on out-of-distribution
image classification benchmarks, and show improved uncertainty estimation of
node-based BNNs under covariate shift due to input perturbations. As a side
effect, the method also provides robustness against noisy training labels.
- Abstract（参考訳）: ベイズニューラルネットワーク(BNN)は、共変量シフトの下での一般化を改善することを約束する。
しかし、重みベースのbnnは、しばしば大規模アーキテクチャやデータセットの計算の複雑さに苦しむ。
ノードベースのBNNは、最近、拡張性のある代替として導入され、各隠れノードに潜在確率変数を乗じ、重みのポイント推定を学習することで、疫学的な不確実性を引き起こす。
本稿では,これらの潜在雑音変数を,学習中の単純かつドメインに依存しないデータ摂動の暗黙的表現として解釈し,入力破壊による共変シフト下でよく機能するbnnを生成する。
暗黙の腐敗の多様性は潜伏変数のエントロピーに依存することを観察し、トレーニング中にこれらの変数のエントロピーを高めるための簡単なアプローチを提案する。
分布外画像分類ベンチマークの評価を行い、入力摂動による共変量シフト下でのノードベースBNNの不確実性評価の改善を示す。
副作用として、この方法はノイズのあるトレーニングラベルに対する堅牢性も提供する。
関連論文リスト
- PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
PseudoNeg-MAEは,ポイントマスク自動エンコーダのグローバルな特徴表現を強化する,自己教師型学習フレームワークである。
PseudoNeg-MAE は ModelNet40 と ScanObjectNN のデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-09-24T07:57:21Z) - A Framework for Variational Inference of Lightweight Bayesian Neural
Networks with Heteroscedastic Uncertainties [0.31457219084519006]
異種性失語症とてんかんのばらつきを学習したBNNパラメータのばらつきに埋め込むことができることを示す。
軽量BNNに適したサンプリング不要な変分推論のための比較的単純なフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-22T13:24:43Z) - Semantic-aware Node Synthesis for Imbalanced Heterogeneous Information
Networks [51.55932524129814]
意味認識ノード合成(SNS)と呼ばれる不均衡HINにおける意味的不均衡問題の最初の方法を提案する。
SNSは、異種隣接ノードを適応的に選択し、マイノリティのセマンティクスを維持しながら、合成ノードでネットワークを増強する。
また,HGNNに対してセマンティックおよびクラスの観点から合成ノードの表現を制約する2つの正規化手法を導入する。
論文 参考訳（メタデータ） (2023-02-27T00:21:43Z) - Improved and Interpretable Defense to Transferred Adversarial Examples
by Jacobian Norm with Selective Input Gradient Regularization [31.516568778193157]
ディープニューラルネットワーク(DNN)の堅牢性を改善するために、AT(Adversarial Training)がよく用いられる。
本研究では,ジャコビアンノルムと選択的入力勾配正規化(J-SIGR)に基づくアプローチを提案する。
実験により、提案したJ-SIGRは、転送された敵攻撃に対するロバスト性を向上し、ニューラルネットワークからの予測が容易に解釈できることが示されている。
論文 参考訳（メタデータ） (2022-07-09T01:06:41Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳（メタデータ） (2022-07-04T15:41:02Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - Dangers of Bayesian Model Averaging under Covariate Shift [45.20204749251884]
我々は、共変量シフトの下で、ベイズ平均が実際にどのように問題となるかを示す。
また、同じ問題が多くの近似推論手順に影響を及ぼさない理由も示す。
論文 参考訳（メタデータ） (2021-06-22T16:19:52Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Interval Neural Networks: Uncertainty Scores [11.74565957328407]
我々は、事前訓練された深層ニューラルネットワーク(DNN)の出力における不確実性スコアを生成する高速で非ベイズ的手法を提案する。
このインターバルニューラルネットワーク(INN)は、インターバル値パラメータを持ち、インターバル演算を用いてその入力を伝搬する。
画像再構成タスクの数値実験において,予測誤差の代用としてINNの実用性を実証する。
論文 参考訳（メタデータ） (2020-03-25T18:03:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。