Fugu-MT 論文翻訳(概要): Structured Partial Stochasticity in Bayesian Neural Networks

論文の概要: Structured Partial Stochasticity in Bayesian Neural Networks

arxiv url: http://arxiv.org/abs/2405.17666v1
Date: Mon, 27 May 2024 21:40:31 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 23:11:29.066769
Title: Structured Partial Stochasticity in Bayesian Neural Networks
Title（参考訳）: ベイズニューラルネットワークにおける構造的部分確率性
Authors: Tommy Rochussen,
Abstract要約: 本稿では,ニューロン置換対称性を除去する重みの決定論的サブセットを選択するための構造的手法を提案する。大幅に単純化された後続分布により,既存の近似推論方式の性能は大幅に向上した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Bayesian neural network posterior distributions have a great number of modes that correspond to the same network function. The abundance of such modes can make it difficult for approximate inference methods to do their job. Recent work has demonstrated the benefits of partial stochasticity for approximate inference in Bayesian neural networks; inference can be less costly and performance can sometimes be improved. I propose a structured way to select the deterministic subset of weights that removes neuron permutation symmetries, and therefore the corresponding redundant posterior modes. With a drastically simplified posterior distribution, the performance of existing approximate inference schemes is found to be greatly improved.
Abstract（参考訳）: ベイズニューラルネットワークの後部分布は、同じネットワーク機能に対応する多くのモードを持つ。このようなモードの多さにより、近似推論手法の作業が困難になる可能性がある。近年の研究では、ベイズニューラルネットワークにおける近似推論に対する部分確率性の利点が実証されている。本稿では,ニューロン置換対称性を除去する重みの決定論的サブセットを選択するための構造的手法を提案する。大幅に単純化された後続分布により,既存の近似推論方式の性能は大幅に向上した。

関連論文リスト

Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
論文参考訳（メタデータ） (2023-10-10T14:06:56Z)
Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。トラクタブル回路において,これを効率的に計算する方法を示す。我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文参考訳（メタデータ） (2023-02-28T00:04:22Z)
Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文参考訳（メタデータ） (2022-07-04T15:41:02Z)
Split personalities in Bayesian Neural Networks: the case for full marginalisation [0.0]
ベイズニューラルネットワークの真の後部分布は、非常に多様であることを示す。ネットワークの分割されたパーソナリティをキャプチャできる適切なベイズサンプリングツールを使用して、すべての後部モードを完全に切り離すだけでよい。
論文参考訳（メタデータ） (2022-05-23T09:24:37Z)
An Overview of Uncertainty Quantification Methods for Infinite Neural Networks [0.0]
無限幅ニューラルネットワークにおける不確実性を定量化する手法について検討する。我々は、予測の不確実性に対する厳密な閉形式解を得るために、いくつかの等価結果を利用する。
論文参考訳（メタデータ） (2022-01-13T00:03:22Z)
Adversarial Examples Detection with Bayesian Neural Network [57.185482121807716]
本稿では,ランダムな成分が予測器の滑らかさを向上できるという観測によって動機づけられた敵の例を検出するための新しい枠組みを提案する。本稿では,BATer を略した新しいベイズ対向型サンプル検出器を提案し,対向型サンプル検出の性能を向上させる。
論文参考訳（メタデータ） (2021-05-18T15:51:24Z)
Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文参考訳（メタデータ） (2021-03-15T16:16:18Z)
Efficient Variational Inference for Sparse Deep Learning with Theoretical Guarantee [20.294908538266867]
スパースディープラーニングは、ディープニューラルネットワークによる巨大なストレージ消費の課題に対処することを目的としている。本稿では,スパイク・アンド・スラブ前処理による完全ベイズ処理により,疎いディープニューラルネットワークを訓練する。我々はベルヌーイ分布の連続緩和による計算効率の良い変分推論のセットを開発する。
論文参考訳（メタデータ） (2020-11-15T03:27:54Z)
Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
スパースサンプリングされた場所のみの機能を計算することを提案する。次に、効率的な手順で特徴写像を密に再構築する。提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
論文参考訳（メタデータ） (2020-03-19T15:36:31Z)
Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。上記の問題に対処するための特徴歪み法(Disout)を提案する。より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文参考訳（メタデータ） (2020-02-23T13:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。