論文の概要: Uncertainty-Preserving QBNNs: Multi-Level Quantization of SVI-Based Bayesian Neural Networks for Image Classification
- arxiv url: http://arxiv.org/abs/2512.10602v1
- Date: Thu, 11 Dec 2025 12:51:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-12 16:15:42.364029
- Title: Uncertainty-Preserving QBNNs: Multi-Level Quantization of SVI-Based Bayesian Neural Networks for Image Classification
- Title（参考訳）: 不確実性保存QBNN:画像分類のためのSVIベースベイズニューラルネットワークのマルチレベル量子化
- Authors: Hendrik Borras, Yong Wu, Bernhard Klein, Holger Fröning,
- Abstract要約: 変分推論に基づくBNNのための体系的マルチレベル量子化フレームワークを提案する。
分類精度と不確かさの両面を保ちながら,BNNを4ビット精度まで量子化できることを実証した。
- 参考スコア（独自算出の注目度）: 9.160739594332036
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian Neural Networks (BNNs) provide principled uncertainty quantification but suffer from substantial computational and memory overhead compared to deterministic networks. While quantization techniques have successfully reduced resource requirements in standard deep learning models, their application to probabilistic models remains largely unexplored. We introduce a systematic multi-level quantization framework for Stochastic Variational Inference based BNNs that distinguishes between three quantization strategies: Variational Parameter Quantization (VPQ), Sampled Parameter Quantization (SPQ), and Joint Quantization (JQ). Our logarithmic quantization for variance parameters, and specialized activation functions to preserve the distributional structure are essential for calibrated uncertainty estimation. Through comprehensive experiments on Dirty-MNIST, we demonstrate that BNNs can be quantized down to 4-bit precision while maintaining both classification accuracy and uncertainty disentanglement. At 4 bits, Joint Quantization achieves up to 8x memory reduction compared to floating-point implementations with minimal degradation in epistemic and aleatoric uncertainty estimation. These results enable deployment of BNNs on resource-constrained edge devices and provide design guidelines for future analog "Bayesian Machines" operating at inherently low precision.
- Abstract（参考訳）: ベイズニューラルネットワーク(BNN)は、原理的な不確実性定量化を提供するが、決定論的ネットワークに比べて計算とメモリのオーバーヘッドがかなり大きい。
量子化技術は、標準的なディープラーニングモデルにおけるリソース要件の削減に成功しているが、確率論的モデルへの応用は、まだほとんど未検討のままである。
本稿では,確率的変分推論に基づくBNNに対して,変分パラメータ量子化(VPQ),サンプリングパラメータ量子化(SPQ),ジョイント量子化(JQ)の3つの量子化戦略を区別する多段階量子化フレームワークを提案する。
分散パラメータの対数量子化と分布構造を保存するための特別なアクティベーション関数は、キャリブレーションされた不確実性推定に不可欠である。
Dirty-MNISTに関する総合的な実験を通して、BNNは分類精度と不確かさの両立を維持しつつ、4ビットの精度まで量子化可能であることを示した。
4ビットでは、関節量子化は浮動小数点法と比較して最大8倍のメモリ削減を実現している。
これらの結果は、リソース制約のあるエッジデバイスにBNNを配置し、本質的に低い精度で動作させる将来のアナログ「ベイジアンマシン」の設計ガイドラインを提供する。
関連論文リスト
- Starting Positions Matter: A Study on Better Weight Initialization for Neural Network Quantization [71.44469196328507]
正規化、量子化対応トレーニング、量子化不正性ペナルティといった量子化固有のモデル開発技術は、現代のDNNの精度と堅牢性を大幅に向上させるのに役立っている。
本研究は, 各種CNNビルディングブロックの重み付け初期化が, 効率のよいCNNに共通する各種CNNビルディングブロックに与える影響について検討する。
次に、量子化されたDNNのパラメータを予測するために、グラフハイパーネットワークス(GHN)を用いた量子化ロバストなCNN初期化の新しい手法を検討する。
論文 参考訳（メタデータ） (2025-06-12T08:11:34Z) - Mitigating Barren Plateaus in Quantum Neural Networks via an AI-Driven Submartingale-Based Framework [3.0617189749929348]
量子ニューラルネットワーク(QNN)におけるバレンプラトー(BP)の緩和を目的としたAdaInitを提案する。
AdaInitは、非無視的な勾配分散をもたらすQNNの初期パラメータを反復的に合成し、BPを緩和する。
AdaInit が様々な QNN スケールで高い勾配分散を維持するために既存の手法を一貫して上回っていることを実証的に検証する。
論文 参考訳（メタデータ） (2025-02-17T05:57:15Z) - Positional Encoder Graph Quantile Neural Networks for Geographic Data [4.277516034244117]
本稿では,PE-GNNと量子ニューラルネットワーク,部分的に単調なニューラルブロック,ポストホックリカレーション技術を組み合わせた新しいフレームワークを提案する。
PE-GQNNは、ターゲット分布に関する最小の仮定で柔軟で堅牢な条件密度推定を可能にし、空間データを超えたタスクに自然に拡張する。
論文 参考訳（メタデータ） (2024-09-27T16:02:12Z) - Variational Neural Networks [88.24021148516319]
本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。
VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。
不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
論文 参考訳（メタデータ） (2022-07-04T15:41:02Z) - Edge Inference with Fully Differentiable Quantized Mixed Precision
Neural Networks [1.131071436917293]
パラメータと演算をビット精度の低いものに量子化することで、ニューラルネットワークの推論にかなりのメモリとエネルギーを節約できる。
本稿では,エッジ計算を対象とする混合精度畳み込みニューラルネットワーク(CNN)の量子化手法を提案する。
論文 参考訳（メタデータ） (2022-06-15T18:11:37Z) - Cluster-Promoting Quantization with Bit-Drop for Minimizing Network
Quantization Loss [61.26793005355441]
クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。
DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。
本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
論文 参考訳（メタデータ） (2021-09-05T15:15:07Z) - Q-SpiNN: A Framework for Quantizing Spiking Neural Networks [14.727296040550392]
精度を著しく低下させることなく、スパイキングニューラルネットワーク(SNN)のメモリフットプリントを削減するための顕著なテクニックは量子化である。
メモリ効率の高いSNNのための新しい量子化フレームワークQ-SpiNNを提案する。
教師なしネットワークでは、Q-SpiNNはメモリフットプリントを4倍削減し、MNISTデータセットのベースラインから1%以内の精度を維持する。
教師ネットワークでは、Q-SpiNNは、DVS-Gestureデータセットのベースラインから2%以内の精度を維持しながら、メモリを2倍削減する。
論文 参考訳（メタデータ） (2021-07-05T06:01:15Z) - A Statistical Framework for Low-bitwidth Training of Deep Neural
Networks [70.77754244060384]
フル量子化トレーニング(FQT)は、ニューラルネットワークモデルのアクティベーション、重み、勾配を定量化することで、低ビット幅のハードウェアを使用する。
FQTの最大の課題は、特に勾配量子化が収束特性にどのように影響するかという理論的な理解の欠如である。
論文 参考訳（メタデータ） (2020-10-27T13:57:33Z) - Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。
本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
論文 参考訳（メタデータ） (2020-09-18T09:13:26Z) - Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。
既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。
本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文 参考訳（メタデータ） (2020-02-03T04:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。