論文の概要: Posterior concentrations of fully-connected Bayesian neural networks with general priors on the weights

• arxiv url: http://arxiv.org/abs/2403.14225v1
• Date: Thu, 21 Mar 2024 08:31:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 14:57:51.380604
• Title: Posterior concentrations of fully-connected Bayesian neural networks with general priors on the weights
• Title（参考訳）: 重みに対する一般先行した完全連結ベイズニューラルネットワークの後方濃度
• Authors: Insung Kong, Yongdai Kim,
• Abstract要約: 境界パラメータを持つ非スパースディープニューラルネットワーク(DNN)に対する新しい近似理論を提案する。 非スパース一般のBNNは、真のモデルに対して、最小限の最適後部濃度を達成できることを示す。
• 参考スコア（独自算出の注目度）: 3.5865188519566003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian approaches for training deep neural networks (BNNs) have received significant interest and have been effectively utilized in a wide range of applications. There have been several studies on the properties of posterior concentrations of BNNs. However, most of these studies only demonstrate results in BNN models with sparse or heavy-tailed priors. Surprisingly, no theoretical results currently exist for BNNs using Gaussian priors, which are the most commonly used one. The lack of theory arises from the absence of approximation results of Deep Neural Networks (DNNs) that are non-sparse and have bounded parameters. In this paper, we present a new approximation theory for non-sparse DNNs with bounded parameters. Additionally, based on the approximation theory, we show that BNNs with non-sparse general priors can achieve near-minimax optimal posterior concentration rates to the true model.
• Abstract（参考訳）: ディープニューラルネットワーク(BNN)をトレーニングするためのベイズ的アプローチは大きな関心を集めており、広範囲のアプリケーションで効果的に活用されている。 BNNの後部濃度の特性について、いくつかの研究がなされている。 しかしながら、これらの研究のほとんどは、粗いまたは重い尾を持つBNNモデルでのみ結果を示す。 意外なことに、現在BNNではガウス先行法を用いて理論的な結果が得られていない。 理論の欠如は、非スパースで有界パラメータを持つディープニューラルネットワーク(DNN)の近似結果がないことから生じる。 本稿では,有界パラメータを持つ非スパースDNNに対する新しい近似理論を提案する。 さらに, 近似理論に基づき, 非スパースな一般前駆体を持つBNNが, 真のモデルに対して最小限の最適後部濃度を達成可能であることを示す。

関連論文リスト

• Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
  ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。 提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-20T22:34:53Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Masked Bayesian Neural Networks : Theoretical Guarantee and its Posterior Inference [1.2722697496405464]
  本稿では,理論特性が良好で,計算可能な新しいノードスパースBNNモデルを提案する。 我々は、真のモデルに対する後部濃度速度が、真のモデルの滑らかさに適応する最小限の最適値に近いことを証明した。 さらに,ノードスパースBNNモデルのベイズ推定を現実的に実現可能な新しいMCMCアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-05-24T06:16:11Z)
• Incorporating Unlabelled Data into Bayesian Neural Networks [48.25555899636015]
  本稿では,事前予測分布の適切なモデル学習に非ラベルデータを用いた自己教師付きベイズニューラルネットワークを提案する。 自己教師型BNNの事前予測分布は,従来のBNNよりも問題セマンティクスが優れていることを示す。 提案手法は, 従来のBNN, 特に低予算体制において, 予測性能を向上する。
  論文  参考訳（メタデータ） (2023-04-04T12:51:35Z)
• Constraining cosmological parameters from N-body simulations with Variational Bayesian Neural Networks [0.0]
  乗法正規化フロー (MNFs) はBNNのパラメータの近似後流の族である。 我々は,標準BNNとフリップアウト推定器についてMNFの比較を行った。 MNFは、変動近似によって導入されたバイアスを緩和する真の後部へのより現実的な予測分布を提供する。
  論文  参考訳（メタデータ） (2023-01-09T16:07:48Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Wide Mean-Field Bayesian Neural Networks Ignore the Data [29.050507540280922]
  ネットワーク幅が大きい場合,平均場変動推定はデータのモデル化に完全に失敗することを示す。 アクティベーション関数が奇数でない場合、最適近似後続関数は先行関数に従わなくてもよいことを示す。
  論文  参考訳（メタデータ） (2022-02-23T18:21:50Z)
• An Infinite-Feature Extension for Bayesian ReLU Nets That Fixes Their Asymptotic Overconfidence [65.24701908364383]
  ベイズ処理は、トレーニングデータを取り巻くReLUネットの過信を軽減することができる。 しかし、彼らから遠く離れたところでは、ReLUニューラルネットワーク(BNN)はいまだに不確実性を過小評価し過ぎている可能性がある。 事前学習した任意のReLU BNNに対して,低コストでemphpost-hocを適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-06T13:32:18Z)
• Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
  正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。 実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
  論文  参考訳（メタデータ） (2020-06-18T13:57:04Z)
• Prior choice affects ability of Bayesian neural networks to identify unknowns [0.0]
  我々は、事前の選択がモデルが正しいクラスにデータを確実に割り当てる能力に重大な影響を与えることを示す。 また,BNNの性能向上のための代替オプションについても検討した。
  論文  参考訳（メタデータ） (2020-05-11T10:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。