論文の概要: A Compact Representation for Bayesian Neural Networks By Removing Permutation Symmetry

• arxiv url: http://arxiv.org/abs/2401.00611v1
• Date: Sun, 31 Dec 2023 23:57:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 16:47:02.990768
• Title: A Compact Representation for Bayesian Neural Networks By Removing Permutation Symmetry
• Title（参考訳）: 置換対称性の除去によるベイズニューラルネットワークのコンパクト表現
• Authors: Tim Z. Xiao, Weiyang Liu, Robert Bamler
• Abstract要約: 置換の役割は、多くの転置計量によって有意に定量化できることを示す。 次に、最近提案されたRebasin法により、HMCサンプルをコンパクトな表現にまとめることができることを示す。 このコンパクトな表現により、サンプル法と変分推論とでトレーニングされたBNNを直接重み空間で比較できることが示される。
• 参考スコア（独自算出の注目度）: 22.229664343428055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian neural networks (BNNs) are a principled approach to modeling predictive uncertainties in deep learning, which are important in safety-critical applications. Since exact Bayesian inference over the weights in a BNN is intractable, various approximate inference methods exist, among which sampling methods such as Hamiltonian Monte Carlo (HMC) are often considered the gold standard. While HMC provides high-quality samples, it lacks interpretable summary statistics because its sample mean and variance is meaningless in neural networks due to permutation symmetry. In this paper, we first show that the role of permutations can be meaningfully quantified by a number of transpositions metric. We then show that the recently proposed rebasin method allows us to summarize HMC samples into a compact representation that provides a meaningful explicit uncertainty estimate for each weight in a neural network, thus unifying sampling methods with variational inference. We show that this compact representation allows us to compare trained BNNs directly in weight space across sampling methods and variational inference, and to efficiently prune neural networks trained without explicit Bayesian frameworks by exploiting uncertainty estimates from HMC.
• Abstract（参考訳）: ベイズニューラルネットワーク(英: bayesian neural network、bnns)は、ディープラーニングにおける予測の不確実性をモデル化する原則に基づくアプローチである。 BNNの重みに対する正確なベイズ推定は難解であるため、ハミルトン・モンテ・カルロ (HMC) のようなサンプリング手法を金標準と見なす様々な近似推論法が存在する。 HMCは高品質なサンプルを提供するが、そのサンプル平均と分散は置換対称性のためニューラルネットワークでは意味がないため、解釈可能な要約統計を欠いている。 本稿では,まず,置換の役割が複数の転位計量によって意味的に定量化できることを示す。 そこで,最近提案されたRebasin法により,ニューラルネットワークにおける各重みに対する有意な明確な不確実性推定を提供するコンパクトな表現にHMCサンプルをまとめることができることを示す。 このコンパクトな表現により、サンプリング法と変分推定法でトレーニングされたBNNを直接重み空間で比較し、HMCからの不確実性推定を利用して、明示的なベイズフレームワークなしでトレーニングされたニューラルネットワークを効率的にプルーすることを示す。

関連論文リスト

• A Framework for Variational Inference of Lightweight Bayesian Neural Networks with Heteroscedastic Uncertainties [0.31457219084519006]
  異種性失語症とてんかんのばらつきを学習したBNNパラメータのばらつきに埋め込むことができることを示す。 軽量BNNに適したサンプリング不要な変分推論のための比較的単純なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T13:24:43Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Piecewise Deterministic Markov Processes for Bayesian Neural Networks [20.865775626533434]
  現代のベイズニューラルネットワーク(BNN)の推論は、しばしば変分推論処理に依存し、独立性や後部の形態に反する仮定を示唆する。 新しいPiecewise Deterministic Markov Process (PDMP) サンプリングはサブサンプリングを許容するが、サンプリングが難しい不均一なPoisson Process (IPP) モデルを導入する。 本研究はIPPからのサンプリングのための新しい汎用的かつ適応的なスライニング手法を導入し、BNNにおける推論のためのPDMPの適用をいかに加速するかを示す。
  論文  参考訳（メタデータ） (2023-02-17T06:38:16Z)
• Bayesian deep learning framework for uncertainty quantification in high dimensions [6.282068591820945]
  我々はベイズニューラルネットワーク(BNN)とハミルトンモンテカルロ(HMC)に基づく偏微分方程式の不確実性定量化のための新しい深層学習法を開発した。 BNNは、ネットワークパラメータに対してベイズ推論を行うことにより、ディープニューラルネットワークにおけるパラメータの後方分布を効率的に学習する。 後部分布は、HMCを用いて効率よくサンプリングされ、システムの不確かさを定量化する。
  論文  参考訳（メタデータ） (2022-10-21T05:20:06Z)
• Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing [58.401504709365284]
  非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。 まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。 ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
  論文  参考訳（メタデータ） (2022-08-08T19:11:03Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。