論文の概要: Minimaxity and Admissibility of Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2604.04673v1
• Date: Mon, 06 Apr 2026 13:32:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:19.205317
• Title: Minimaxity and Admissibility of Bayesian Neural Networks
• Title（参考訳）: ベイズニューラルネットワークの極小性と許容性
• Authors: Daniel Andrew Coulson, Martin T. Wells,
• Abstract要約: 本研究では,2次損失下での通常の位置モデルにおいて,完全連結フィードフォワードReLU BNNによって引き起こされる決定規則について検討する。 固定された事前スケールに対しては、ベイズ決定規則はミニマックスではないことを示す。 さらに、これらの結果を2次損失設定から、Kulback-Leibler損失を伴う予測密度推定問題へと拡張する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian neural networks (BNNs) offer a natural probabilistic formulation for inference in deep learning models. Despite their popularity, their optimality has received limited attention through the lens of statistical decision theory. In this paper, we study decision rules induced by deep, fully connected feedforward ReLU BNNs in the normal location model under quadratic loss. We show that, for fixed prior scales, the induced Bayes decision rule is not minimax. We then propose a hyperprior on the effective output variance of the BNN prior that yields a superharmonic square-root marginal density, establishing that the resulting decision rule is simultaneously admissible and minimax. We further extend these results from the quadratic loss setting to the predictive density estimation problem with Kullback--Leibler loss. Finally, we validate our theoretical findings numerically through simulation.
• Abstract（参考訳）: ベイズニューラルネットワーク(BNN)は、ディープラーニングモデルにおける推論の自然な確率的定式化を提供する。 その人気にもかかわらず、その最適性は統計的決定論のレンズを通して限定的に注目されている。 本稿では,2次損失下での通常の位置モデルにおいて,完全連結フィードフォワードReLU BNNによって引き起こされる決定規則について検討する。 固定された事前スケールに対しては、ベイズ決定規則はミニマックスではないことを示す。 次に、超高調波平方根辺密度が得られる前に、BNNの有効出力分散に関する超原理を提案し、その結果決定規則が同時に許容され、最小値となることを証明した。 さらに、これらの結果を2次損失設定から、Kulback-Leibler損失を伴う予測密度推定問題へと拡張する。 最後に,シミュレーションにより理論的知見を数値的に検証する。

関連論文リスト

• Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
  NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。 本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
  論文  参考訳（メタデータ） (2025-12-31T12:08:29Z)
• Explainable Bayesian deep learning through input-skip Latent Binary Bayesian Neural Networks [11.815986153374967]
  この記事では、後続のレイヤにスキップしたり、除外したりすることで、LCBNNを前進させる。 入力スキップの LBBNN アプローチは、標準の LBBNN と比較してネットワーク密度を著しく減らし、小型ネットワークでは 99% 以上、大型ネットワークでは 99.9% 以上を減らした。 例えば、MNISTでは、97%の精度と935重量のキャリブレーションに達し、ニューラルネットワークの圧縮の最先端に達しました。
  論文  参考訳（メタデータ） (2025-03-13T15:59:03Z)
• Bayesian Entropy Neural Networks for Physics-Aware Prediction [14.705526856205454]
  本稿では,ベイズニューラルネットワーク(BNN)の予測に制約を加えるためのフレームワークであるBENNを紹介する。 ベンは予測値だけでなく、その微分や分散を制約し、より堅牢で信頼性の高いモデル出力を保証できる。 その結果、従来のBNNよりも大幅に改善され、現代の制約されたディープラーニング手法と比較して競争性能が向上した。
  論文  参考訳（メタデータ） (2024-07-01T07:00:44Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• An Infinite-Feature Extension for Bayesian ReLU Nets That Fixes Their Asymptotic Overconfidence [65.24701908364383]
  ベイズ処理は、トレーニングデータを取り巻くReLUネットの過信を軽減することができる。 しかし、彼らから遠く離れたところでは、ReLUニューラルネットワーク(BNN)はいまだに不確実性を過小評価し過ぎている可能性がある。 事前学習した任意のReLU BNNに対して,低コストでemphpost-hocを適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-06T13:32:18Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。