論文の概要: Sparse Bayesian Neural Networks via Sticky Piecewise Deterministic Markov Processes

• arxiv url: http://arxiv.org/abs/2610.32753v1
• Date: Fri, 23 Oct 2026 15:00:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.589272
• Title: Sparse Bayesian Neural Networks via Sticky Piecewise Deterministic Markov Processes
• Title（参考訳）: 粘着性決定論的マルコフ過程によるスパースベイズニューラルネットワーク
• Abstract要約: プルーニングは事前にスパイク・アンド・スラブを用いて直接組み込むことが可能であり,不確実性に対する適切な対応が期待できる。 決定論的マルコフ過程(PDMP)に基づく現代のモンテカルロ法は,境界が保持されるたびに,BNNの後方部分の標本化に有効であることを示す。 この方法でサンプリングしたスパースBNNは、密度の高いBNNよりもノイズを入力しやすくなることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is growing evidence that the performance of a neural network depends largely on a small subset of its weights, which are typically identified by training a dense network and pruning it afterwards. Within a Bayesian framework, pruning can be directly incorporated through a spike-and-slab prior, providing a proper treatment of the uncertainties involved, both with respect to pruning and to parameter uncertainty. In Bayesian neural networks (BNNs), sampling by MCMC is notoriously hard. We demonstrate that modern Monte Carlo methods based on piecewise deterministic Markov processes (PDMPs) can be used to sample posteriors of BNNs asymptotically exact whenever numerically constructed rate bounds hold. Spike-and-slab priors can be incorporated through sticky versions of the PDMPs, setting weights exactly to zero during sampling. We examine the predictive performance and convergence of the samplers, and show that sparse BNNs sampled this way can be more robust to input noise than dense ones.
• Abstract（参考訳）: ニューラルネットワークの性能は、その重みの小さなサブセットに大きく依存しているという証拠が増えている。 ベイズフレームワーク内では、プルーニングはスパイク&スラブによって直接組み込むことができ、プルーニングとパラメータの不確実性の両方に関して、関連する不確実性を適切に扱うことができる。 ベイズニューラルネットワーク(BNN)では、MCMCによるサンプリングは非常に難しい。 数値的に構築された速度境界が成立するたびにBNNの後部を漸近的に正確にサンプリングするために,分数的決定論的マルコフ過程(PDMP)に基づくモンテカルロ法が有効であることを示す。 スパイク・アンド・スラブはPDMPの頑丈なバージョンで組み込むことができ、サンプリング中に正確に重量をゼロに設定できる。 サンプルの予測性能と収束性について検討し、この方法でサンプリングしたスパースBNNの方が、密度の高いBNNよりも強いノイズを入力できることを示す。

関連論文リスト

• Sampling from Bayesian Neural Network Posteriors with Symmetric Minibatch Splitting Langevin Dynamics [0.8749675983608172]
  本稿では,ビッグデータおよびAIアプリケーションのパラメータ空間をサンプリングするためのスケーラブルな動的ランゲヴィン動的アルゴリズムを提案する。 その結果,Symmetric Minibatch Splitting-UBU (SMS-UBU) インテグレータのバイアスは$O(h2 d1/2)$ in dimension $d>0$ with stepsize $h>0$であることがわかった。 このアルゴリズムを用いて, 畳み込みニューラルネットワークアーキテクチャを用いたニューラルネットワークにおいて, ベイズニューラルネットワーク(BNN)の後部分布の局所的モードを探索し, 後部予測確率の校正性能を評価する。
  論文  参考訳（メタデータ） (2024-10-14T13:47:02Z)
• A Compact Representation for Bayesian Neural Networks By Removing Permutation Symmetry [22.229664343428055]
  置換の役割は、多くの転置計量によって有意に定量化できることを示す。 次に、最近提案されたRebasin法により、HMCサンプルをコンパクトな表現にまとめることができることを示す。 このコンパクトな表現により、サンプル法と変分推論とでトレーニングされたBNNを直接重み空間で比較できることが示される。
  論文  参考訳（メタデータ） (2023-12-31T23:57:05Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Adversarial Examples Detection with Bayesian Neural Network [57.185482121807716]
  本稿では,ランダムな成分が予測器の滑らかさを向上できるという観測によって動機づけられた敵の例を検出するための新しい枠組みを提案する。 本稿では,BATer を略した新しいベイズ対向型サンプル検出器を提案し,対向型サンプル検出の性能を向上させる。
  論文  参考訳（メタデータ） (2021-05-18T15:51:24Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
  正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。 実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
  論文  参考訳（メタデータ） (2020-06-18T13:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。