論文の概要: Accelerated Execution of Bayesian Neural Networks using a Single Probabilistic Forward Pass and Code Generation

• arxiv url: http://arxiv.org/abs/2511.23440v1
• Date: Fri, 28 Nov 2025 18:35:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:56.024017
• Title: Accelerated Execution of Bayesian Neural Networks using a Single Probabilistic Forward Pass and Code Generation
• Title（参考訳）: 単確率フォワードパスとコード生成によるベイズニューラルネットワークの高速化
• Authors: Bernhard Klein, Falk Selker, Hendrik Borras, Sophie Steger, Franz Pernkopf, Holger Fröning,
• Abstract要約: 機械学習モデルは、診断、天気予報、NLP、自律運転などの領域でよく機能する。 従来のニューラルネットワークは、ドメイン外データ(OOD)の検出に失敗することが多く、自信を持って不正確な予測を出力することがある。 確率的フォワードパス(PFP)は、変分推論(SVI)に対する高効率な近似を提供する PFPは計算効率においてSVIを一貫して上回り、小型のミニバッチでは最大4200倍のスピードアップを達成する。
• 参考スコア（独自算出の注目度）: 8.330425840952488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models perform well across domains such as diagnostics, weather forecasting, NLP, and autonomous driving, but their limited uncertainty handling restricts use in safety-critical settings. Traditional neural networks often fail to detect out-of-domain (OOD) data and may output confident yet incorrect predictions. Bayesian neural networks (BNNs) address this by providing probabilistic estimates, but incur high computational cost because predictions require sampling weight distributions and multiple forward passes. The Probabilistic Forward Pass (PFP) offers a highly efficient approximation to Stochastic Variational Inference (SVI) by assuming Gaussian-distributed weights and activations, enabling fully analytic uncertainty propagation and replacing sampling with a single deterministic forward pass. We present an end-to-end pipeline for training, compiling, optimizing, and deploying PFP-based BNNs on embedded ARM CPUs. Using the TVM deep learning compiler, we implement a dedicated library of Gaussian-propagating operators for multilayer perceptrons and convolutional neural networks, combined with manual and automated tuning strategies. Ablation studies show that PFP consistently outperforms SVI in computational efficiency, achieving speedups of up to 4200x for small mini-batches. PFP-BNNs match SVI-BNNs on Dirty-MNIST in accuracy, uncertainty estimation, and OOD detection while greatly reducing compute cost. These results highlight the potential of combining Bayesian approximations with code generation to enable efficient BNN deployment on resource-constrained systems.
• Abstract（参考訳）: 機械学習モデルは、診断、天気予報、NLP、自律運転などの領域でよく機能するが、その限定された不確実性処理は、安全クリティカルな設定での使用を制限する。 従来のニューラルネットワークは、ドメイン外データ(OOD)の検出に失敗することが多く、自信を持って不正確な予測を出力することがある。 ベイズニューラルネットワーク(BNN)は確率的推定を提供することでこの問題に対処するが、予測にはサンプリング重量分布と複数の前方通過が必要であるため、高い計算コストがかかる。 Probabilistic Forward Pass (PFP) は、ガウス分布の重みとアクティベーションを仮定して確率的変分推論(SVI)を高精度に近似し、完全な不確定性伝播を可能にし、サンプリングを単一の決定論的前方通過に置き換える。 我々は、組み込みARM CPU上でPFPベースのBNNをトレーニング、コンパイル、最適化、デプロイするためのエンドツーエンドパイプラインを提案する。 我々は,TVMディープラーニングコンパイラを用いて,多層パーセプトロンと畳み込みニューラルネットワークのためのガウス伝搬演算子の専用ライブラリを実装し,手動および自動チューニング戦略を組み合わせた。 アブレーション研究により、PFPは計算効率においてSVIを一貫して上回り、小型のミニバッチに対して最大4200倍のスピードアップを達成することが示されている。 PFP-BNNはDirty-MNIST上のSVI-BNNと精度、不確実性推定、OOD検出で一致し、計算コストを大幅に削減した。 これらの結果は、ベイズ近似とコード生成を組み合わせることで、リソース制約されたシステム上で効率的なBNNデプロイメントを可能にする可能性を浮き彫りにしている。

関連論文リスト

• Probabilistic Neural Networks (PNNs) with t-Distributed Outputs: Adaptive Prediction Intervals Beyond Gaussian Assumptions [2.77390041716769]
  確率的ニューラルネットワーク(PNN)は出力分布を生成し、予測間隔の構築を可能にする。 本稿では, 位置, スケール, 自由度でパラメータ化された t 分散出力を生成する t-Distributed Neural Networks (TDistNNs) を提案する。 我々は,TDistNNがガウスベースのPNNよりも狭い予測間隔を連続的に生成し,適切なカバレッジを維持していることを示す。
  論文  参考訳（メタデータ） (2025-03-16T04:47:48Z)
• Enhancing Dropout-based Bayesian Neural Networks with Multi-Exit on FPGA [20.629635991749808]
  本稿では,フィールドプログラマブルゲートアレイ(FPGA)ベースのアクセラレータを効率よく生成するアルゴリズムとハードウェアの共同設計フレームワークを提案する。 アルゴリズムレベルでは、計算とメモリのオーバーヘッドを低減した、新しいマルチエグジット・ドロップアウトベースのベイズNNを提案する。 ハードウェアレベルでは,提案する効率的なベイズNNのためのFPGAベースのアクセラレータを生成するための変換フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-20T17:08:42Z)
• Knowing When to Stop: Delay-Adaptive Spiking Neural Network Classifiers with Reliability Guarantees [36.14499894307206]
  スパイキングニューラルネットワーク(SNN)は、内部イベント駆動型ニューラルネットワークを通じて時系列データを処理する。 本稿では,入力依存停止時に発生する決定に対して,信頼性を保証する新しい遅延適応型SNNベースの推論手法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T22:11:04Z)
• Approximate Thompson Sampling via Epistemic Neural Networks [26.872304174606278]
  てんかん性ニューラルネットワーク(ENN)は、正確な関節の予測分布を生成するように設計されている。 ENNがこの目的をうまく果たし、共同予測分布の質がいかに性能を向上させるかを示す。
  論文  参考訳（メタデータ） (2023-02-18T01:58:15Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Receptive Field-based Segmentation for Distributed CNN Inference Acceleration in Collaborative Edge Computing [93.67044879636093]
  協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。 我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
  論文  参考訳（メタデータ） (2022-07-22T18:38:11Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural Networks [52.32646357164739]
  最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。 提案されたSIDNNは、幅広いOPFスキームと互換性がある。 他のLearning-to-OPFスキームとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-03-27T00:45:23Z)
• Multi-Sample Online Learning for Spiking Neural Networks based on Generalized Expectation Maximization [42.125394498649015]
  スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。 本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。 鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
  論文  参考訳（メタデータ） (2021-02-05T16:39:42Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。