論文の概要: Dirichlet Scale Mixture Priors for Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2602.19859v1
• Date: Mon, 23 Feb 2026 13:58:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.840004
• Title: Dirichlet Scale Mixture Priors for Bayesian Neural Networks
• Title（参考訳）: ベイズニューラルネットワークのディリクレスケール混合前処理
• Authors: August Arnstad, Leiv Rønneberg, Geir Storvik,
• Abstract要約: 本稿では,BNNの先行分布の新たなクラスであるディリクレスケール混合(DSM)を提案する。 シミュレーションおよび実世界のデータに関する実験では、DSMプリエントが暗黙的な特徴選択を通じてスパースネットワークを奨励していることが判明した。 それらの利点は、相関性があり、適度に小さなデータレギュレーションで最も顕著に見え、重み付けに適している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are the cornerstone of modern machine learning, yet can be difficult to interpret, give overconfident predictions and are vulnerable to adversarial attacks. Bayesian neural networks (BNNs) provide some alleviation of these limitations, but have problems of their own. The key step of specifying prior distributions in BNNs is no trivial task, yet is often skipped out of convenience. In this work, we propose a new class of prior distributions for BNNs, the Dirichlet scale mixture (DSM) prior, that addresses current limitations in Bayesian neural networks through structured, sparsity-inducing shrinkage. Theoretically, we derive general dependence structures and shrinkage results for DSM priors and show how they manifest under the geometry induced by neural networks. In experiments on simulated and real world data we find that the DSM priors encourages sparse networks through implicit feature selection, show robustness under adversarial attacks and deliver competitive predictive performance with substantially fewer effective parameters. In particular, their advantages appear most pronounced in correlated, moderately small data regimes, and are more amenable to weight pruning. Moreover, by adopting heavy-tailed shrinkage mechanisms, our approach aligns with recent findings that such priors can mitigate the cold posterior effect, offering a principled alternative to the commonly used Gaussian priors.
• Abstract（参考訳）: ニューラルネットワークは現代の機械学習の基盤であるが、解釈が困難であり、過度に信頼された予測を与え、敵の攻撃に弱い。 ベイズニューラルネットワーク(BNN)はこれらの制限を緩和するが、独自の問題がある。 BNNで以前のディストリビューションを指定するための重要なステップは、簡単なタスクではないが、しばしば便利さから外される。 本研究では,BNNの先行分布の新たなクラスであるディリクレ・スケール・ミックス (DSM) を提案する。 理論的には、DSM先行の一般的な依存構造と縮小結果を導出し、ニューラルネットワークによって誘導される幾何の下でどのように現れるかを示す。 シミュレーションおよび実世界のデータに関する実験では、DSMは暗黙の特徴選択を通じてスパースネットワークを奨励し、敵の攻撃下で堅牢性を示し、極めて少ない有効パラメータで競合予測性能を提供する。 特に、それらの利点は相関性があり、適度に小さなデータレギュレーションで最も顕著に見え、重み付けに適している。 さらに, 本手法は, 冷後効果を緩和できるという最近の知見と整合し, 一般的に用いられているガウス以前の方法に代えて, 基本的代替手段を提供する。

関連論文リスト

• PAC-Bayesian risk bounds for fully connected deep neural network with Gaussian priors [0.0]
  完全連結ベイズニューラルネットワークはスパースネットワークに匹敵する収束率が得られることを示す。 我々の結果は、リプシッツ連続である幅広い実用的なアクティベーション関数のクラスに当てはまる。
  論文  参考訳（メタデータ） (2025-05-07T11:42:18Z)
• Explainable Bayesian deep learning through input-skip Latent Binary Bayesian Neural Networks [11.815986153374967]
  この記事では、後続のレイヤにスキップしたり、除外したりすることで、LCBNNを前進させる。 入力スキップの LBBNN アプローチは、標準の LBBNN と比較してネットワーク密度を著しく減らし、小型ネットワークでは 99% 以上、大型ネットワークでは 99.9% 以上を減らした。 例えば、MNISTでは、97%の精度と935重量のキャリブレーションに達し、ニューラルネットワークの圧縮の最先端に達しました。
  論文  参考訳（メタデータ） (2025-03-13T15:59:03Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks [0.16385815610837165]
  スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。 構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。 本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-17T17:14:18Z)
• Incorporating Unlabelled Data into Bayesian Neural Networks [48.25555899636015]
  本稿では,事前予測分布の適切なモデル学習に非ラベルデータを用いた自己教師付きベイズニューラルネットワークを提案する。 自己教師型BNNの事前予測分布は,従来のBNNよりも問題セマンティクスが優れていることを示す。 提案手法は, 従来のBNN, 特に低予算体制において, 予測性能を向上する。
  論文  参考訳（メタデータ） (2023-04-04T12:51:35Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• BNNpriors: A library for Bayesian neural network inference with different prior distributions [32.944046414823916]
  bnnpriorsはベイズニューラルネットワーク上で最先端のマルコフ連鎖モンテカルロ推論を可能にする。 これは、新しいカスタムプリエントの設計と実装を容易にするモジュラーアプローチに従っている。 ベイズ系ニューラルネットワークにおける冷後効果の性質に関する基礎的発見を容易にした。
  論文  参考訳（メタデータ） (2021-05-14T17:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。