論文の概要: Split personalities in Bayesian Neural Networks: the case for full marginalisation

• arxiv url: http://arxiv.org/abs/2205.11151v1
• Date: Mon, 23 May 2022 09:24:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 10:11:56.210260
• Title: Split personalities in Bayesian Neural Networks: the case for full marginalisation
• Title（参考訳）: ベイズ型ニューラルネットワークにおける分割個性:完全辺縁化の場合
• Authors: David Yallup, Will Handley, Mike Hobson, Anthony Lasenby, Pablo Lemos
• Abstract要約: ベイズニューラルネットワークの真の後部分布は、非常に多様であることを示す。 ネットワークの分割されたパーソナリティをキャプチャできる適切なベイズサンプリングツールを使用して、すべての後部モードを完全に切り離すだけでよい。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The true posterior distribution of a Bayesian neural network is massively multimodal. Whilst most of these modes are functionally equivalent, we demonstrate that there remains a level of real multimodality that manifests in even the simplest neural network setups. It is only by fully marginalising over all posterior modes, using appropriate Bayesian sampling tools, that we can capture the split personalities of the network. The ability of a network trained in this manner to reason between multiple candidate solutions dramatically improves the generalisability of the model, a feature we contend is not consistently captured by alternative approaches to the training of Bayesian neural networks. We provide a concise minimal example of this, which can provide lessons and a future path forward for correctly utilising the explainability and interpretability of Bayesian neural networks.
• Abstract（参考訳）: ベイズ型ニューラルネットワークの真の後方分布は、非常に多様である。 これらのモードのほとんどは機能的に等価であるが、最も単純なニューラルネットワークのセットアップでさえも、実際のマルチモーダリティのレベルが残っていることを実証する。 ネットワークの分割されたパーソナリティをキャプチャできる適切なベイズサンプリングツールを使用して、すべての後部モードを完全に切り離すだけでよい。 この方法でトレーニングされた複数の候補解間の推論能力は、モデルの一般化性を劇的に改善するが、ベイズニューラルネットワークのトレーニングに対する代替アプローチによって、我々が主張する特徴は一貫して捉えられていない。 ベイズニューラルネットワークの説明可能性と解釈性を正しく活用するための教訓と今後の道筋を提供するための、簡潔な最小限の例を提供する。

関連論文リスト

• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Structured Partial Stochasticity in Bayesian Neural Networks [0.0]
  本稿では,ニューロン置換対称性を除去する重みの決定論的サブセットを選択するための構造的手法を提案する。 大幅に単純化された後続分布により,既存の近似推論方式の性能は大幅に向上した。
  論文  参考訳（メタデータ） (2024-05-27T21:40:31Z)
• On the Convergence of Locally Adaptive and Scalable Diffusion-Based Sampling Methods for Deep Bayesian Neural Network Posteriors [2.3265565167163906]
  ベイズニューラルネットワークは、ディープニューラルネットワークにおける不確実性をモデル化するための有望なアプローチである。 ニューラルネットワークの 後部分布からサンプルを生成することは 大きな課題です この方向の進歩の1つは、モンテカルロ・マルコフ連鎖サンプリングアルゴリズムへの適応的なステップサイズの導入である。 本稿では,これらの手法が,ステップサイズやバッチサイズが小さくても,サンプリングした分布にかなりの偏りがあることを実証する。
  論文  参考訳（メタデータ） (2024-03-13T15:21:14Z)
• Diffused Redundancy in Pre-trained Representations [98.55546694886819]
  事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。 与えられた層における学習された表現は拡散冗長性を示す。 我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
  論文  参考訳（メタデータ） (2023-05-31T21:00:50Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization [0.0]
  推測法は、難易度のあるシミュレーターモデルに対する後部近似を導出する。 多くの研究は、難易度または後部に直接近似するようにニューラルネットワークを訓練した。 本稿では,スコーリングルールの最小化によって訓練された生成ネットワークに後部を近似することを提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:32:55Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Bayesian Neural Networks: Essentials [0.6091702876917281]
  複雑なため、ベイズニューラルネットワークを理解し、設計し、訓練するのは簡単ではない。 ディープニューラルネットワークは、多数の連続するレイヤの不確実性を考慮するために、冗長でコストがかかる。 ハイブリッドベイズニューラルネットワーク(英語版)は、ネットワーク内に法的に位置する確率的層がほとんどないが、実用的な解決策を提供する。
  論文  参考訳（メタデータ） (2021-06-22T13:54:17Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Fast Adaptation with Linearized Neural Networks [35.43406281230279]
  ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。 この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。 この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
  論文  参考訳（メタデータ） (2021-03-02T03:23:03Z)
• Learning Neural Network Subspaces [74.44457651546728]
  近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
  論文  参考訳（メタデータ） (2021-02-20T23:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。