論文の概要: On the Effects of Quantisation on Model Uncertainty in Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2102.11062v1
• Date: Mon, 22 Feb 2021 14:36:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-23 15:14:23.252899
• Title: On the Effects of Quantisation on Model Uncertainty in Bayesian Neural Networks
• Title（参考訳）: ベイズニューラルネットワークのモデル不確実性に及ぼす量子化の影響
• Authors: Martin Ferianc, Partha Maji, Matthew Mattina and Miguel Rodrigues
• Abstract要約: 決定をしながら不確実性を定量化できることは、モデルが過度に信頼されているかを理解する上で不可欠です。 BNNは、主にメモリと計算コストの増大のために、工業的にはあまり使われていない。 我々は,3種類の量子化BNNについて検討し,幅広い設定で評価し,BNNに適用される一様量子化方式が不確実性評価の質を著しく低下させないことを実証した。
• 参考スコア（独自算出の注目度）: 8.234236473681472
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Bayesian neural networks (BNNs) are making significant progress in many research areas where decision making needs to be accompanied by uncertainty estimation. Being able to quantify uncertainty while making decisions is essential for understanding when the model is over-/under-confident, and hence BNNs are attracting interest in safety-critical applications, such as autonomous driving, healthcare and robotics. Nevertheless, BNNs have not been as widely used in industrial practice, mainly because of their increased memory and compute costs. In this work, we investigate quantisation of BNNs by compressing 32-bit floating-point weights and activations to their integer counterparts, that has already been successful in reducing the compute demand in standard pointwise neural networks. We study three types of quantised BNNs, we evaluate them under a wide range of different settings, and we empirically demonstrate that an uniform quantisation scheme applied to BNNs does not substantially decrease their quality of uncertainty estimation.
• Abstract（参考訳）: ベイジアンニューラルネットワーク(BNN)は、意思決定が不確実性推定を伴う必要がある多くの研究分野で大きな進歩を遂げています。 不確実性を定量化し、意思決定を可能にすることは、モデルが過剰/過信である場合の理解に不可欠であり、BNNは、自動運転、医療、ロボット工学などの安全クリティカルなアプリケーションに関心を寄せています。 しかしながら、BNNは、主にメモリと計算コストの増大のために、工業的にはあまり使われていない。 本研究では,32ビットの浮動小数点重みとアクティベーションを整数に圧縮することにより,BNNの量子化について検討する。 我々は,3種類の量子化BNNについて検討し,幅広い設定で評価し,BNNに適用される一様量子化方式が不確実性評価の質を著しく低下させないことを実証した。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• Uncertainty in Graph Neural Networks: A Survey [50.63474656037679]
  グラフニューラルネットワーク(GNN)は、様々な現実世界のアプリケーションで広く使われている。 しかし、多様な情報源から生じるGNNの予測的不確実性は、不安定で誤った予測につながる可能性がある。 本調査は,不確実性の観点からGNNの概要を概観することを目的としている。
  論文  参考訳（メタデータ） (2024-03-11T21:54:52Z)
• Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
  ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。 提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-20T22:34:53Z)
• Make Me a BNN: A Simple Strategy for Estimating Bayesian Uncertainty from Pre-trained Models [40.38541033389344]
  ディープニューラルネットワーク(Deep Neural Networks, DNN)は、様々なコンピュータビジョンタスクのための強力なツールであるが、信頼性の高い不確実性定量化に苦慮することが多い。 本稿では、DNNをBNNにシームレスに変換するシンプルでスケーラブルな戦略であるAdaptable Bayesian Neural Network (ABNN)を紹介する。 画像分類とセマンティックセグメンテーションタスクのための複数のデータセットにわたる広範囲な実験を行い、ABNNが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-12-23T16:39:24Z)
• An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
  量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。 本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
  論文  参考訳（メタデータ） (2023-07-29T06:27:28Z)
• Efficient Uncertainty Estimation in Spiking Neural Networks via MC-dropout [3.692069129522824]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンのスパースとイベント駆動通信のモデルとして注目されている。 SNNにおける不確実性推定のための効率的なモンテカルロ・ドロップアウト手法を提案する。
  論文  参考訳（メタデータ） (2023-04-20T10:05:57Z)
• Posterior Regularized Bayesian Neural Network Incorporating Soft and Hard Knowledge Constraints [12.050265348673078]
  本稿では,異なる種類の知識制約を組み込んだ後正規化ベイズニューラルネットワーク(PR-BNN)モデルを提案する。 航空機着陸予測と太陽エネルギー出力予測のシミュレーション実験と2つのケーススタディにより,提案モデルの知識制約と性能改善が示された。
  論文  参考訳（メタデータ） (2022-10-16T18:58:50Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
  ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。 我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。 逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
  論文  参考訳（メタデータ） (2021-11-16T16:14:44Z)
• BDD4BNN: A BDD-based Quantitative Analysis Framework for Binarized Neural Networks [7.844146033635129]
  一般実数ニューラルネットワークの1ビット量子化であるBinarized Neural Networks(BNNs)の検証問題について検討する。 我々のアプローチは,BNNの内部構造を利用して,BNNをBDD(Bibinary Decision Diagram)にエンコードすることである。 符号化に基づいて,BNNの高精度かつ包括的分析が可能なBNNの定量的検証フレームワークを開発する。
  論文  参考訳（メタデータ） (2021-03-12T12:02:41Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。