論文の概要: Model Architecture Adaption for Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2202.04392v1
• Date: Wed, 9 Feb 2022 10:58:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-10 20:07:48.515167
• Title: Model Architecture Adaption for Bayesian Neural Networks
• Title（参考訳）: ベイズニューラルネットワークのためのモデルアーキテクチャ適応
• Authors: Duo Wang, Yiren Zhao, Ilia Shumailov, Robert Mullins
• Abstract要約: 我々はBNNを精度と不確実性の両方に最適化する新しいネットワークアーキテクチャサーチ(NAS)を示す。 我々の実験では,探索されたモデルでは,最先端(ディープアンサンブル)と比較して,不確実性と精度が比較できる。
• 参考スコア（独自算出の注目度）: 9.978961706999833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian Neural Networks (BNNs) offer a mathematically grounded framework to quantify the uncertainty of model predictions but come with a prohibitive computation cost for both training and inference. In this work, we show a novel network architecture search (NAS) that optimizes BNNs for both accuracy and uncertainty while having a reduced inference latency. Different from canonical NAS that optimizes solely for in-distribution likelihood, the proposed scheme searches for the uncertainty performance using both in- and out-of-distribution data. Our method is able to search for the correct placement of Bayesian layer(s) in a network. In our experiments, the searched models show comparable uncertainty quantification ability and accuracy compared to the state-of-the-art (deep ensemble). In addition, the searched models use only a fraction of the runtime compared to many popular BNN baselines, reducing the inference runtime cost by $2.98 \times$ and $2.92 \times$ respectively on the CIFAR10 dataset when compared to MCDropout and deep ensemble.
• Abstract（参考訳）: Bayesian Neural Networks (BNN) は、モデル予測の不確実性を定量化する数学的基盤を持つフレームワークを提供するが、トレーニングと推論の両方において計算コストが禁じられている。 本研究では,BNNを精度と不確実性の両方に最適化し,推論遅延を低減した新しいネットワークアーキテクチャ探索(NAS)を提案する。 分布内確率のみを最適化する標準NASとは異なり,提案手法は分布内データと分布外データの両方を用いて不確実性を探索する。 本手法は,ネットワーク内のベイズ層配置の正しい位置を探索することができる。 実験では, 最先端(深層アンサンブル)と比較して, 不確実な定量化能力と精度を示した。 さらに、検索されたモデルは、多くの一般的なbnnベースラインと比べてランタイムのほんの一部しか使用せず、mcdropoutとdeep ensembleと比較して、cifar10データセット上で推論ランタイムコストをそれぞれ2.98 \times$と2.92 \times$に削減した。

関連論文リスト

• Bayesian Inference Accelerator for Spiking Neural Networks [3.145754107337963]
  スパイキングニューラルネットワーク(SNN)は、計算面積と電力を減らす可能性がある。 本研究では,効率的なベイズSNNをハードウェア上で開発・実装するための最適化フレームワークについて述べる。 我々は、完全精度のベルヌーイパラメータを持つベイジアンバイナリネットワークに匹敵するアキュラ級数を示し、最大25時間分のスパイクを減らした。
  論文  参考訳（メタデータ） (2024-01-27T16:27:19Z)
• Scale-Dropout: Estimating Uncertainty in Deep Neural Networks Using Stochastic Scale [0.7025445595542577]
  ニューラルネットワーク(NN)の不確実性推定は、特に安全クリティカルなアプリケーションにおいて、予測の信頼性と信頼性を向上させる上で不可欠である。 Dropoutを近似とするBayNNは、不確実性に対する体系的なアプローチを提供するが、本質的には、電力、メモリ、定量化の点で高いハードウェアオーバーヘッドに悩まされている。 提案するBayNNに対して,スピントロニクスメモリベースのCIMアーキテクチャを導入し,最先端技術と比較して100倍以上の省エネを実現した。
  論文  参考訳（メタデータ） (2023-11-27T13:41:20Z)
• Constraining cosmological parameters from N-body simulations with Variational Bayesian Neural Networks [0.0]
  乗法正規化フロー (MNFs) はBNNのパラメータの近似後流の族である。 我々は,標準BNNとフリップアウト推定器についてMNFの比較を行った。 MNFは、変動近似によって導入されたバイアスを緩和する真の後部へのより現実的な予測分布を提供する。
  論文  参考訳（メタデータ） (2023-01-09T16:07:48Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
  Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。 そこで本研究では、3次内積の計算複雑性を2。 性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
  論文  参考訳（メタデータ） (2020-08-12T04:26:18Z)
• Search What You Want: Barrier Panelty NAS for Mixed Precision Quantization [51.26579110596767]
  混合精度量子化のための新しいバリアペナルティベースNAS(BP-NAS)を提案する。 BP-NASは、分類(Cifar-10, ImageNet)と検出(COCO)の両方に基づいて芸術の新たな状態を設定する
  論文  参考訳（メタデータ） (2020-07-20T12:00:48Z)
• Accuracy Prediction with Non-neural Model for Neural Architecture Search [185.0651567642238]
  精度予測に非神経モデルを用いる別の手法について検討する。 我々は、ニューラルネットワーク探索(NAS)の予測因子として、勾配向上決定木(GBDT)を活用する。 NASBench-101とImageNetの実験は、NASの予測器としてGBDTを使用することの有効性を示した。
  論文  参考訳（メタデータ） (2020-07-09T13:28:49Z)
• Compromise-free Bayesian neural networks [0.0]
  我々は,全(非ガウスおよびマルチモーダル)ネットワークを後方で数値的にサンプリングし,ベイズ証拠の数値的な推定値を得る。 ReLU$アクティベーション関数を持つネットワークは、$tanh$関数を持つネットワークよりも一貫して高いエビデンスを持つ。
  論文  参考訳（メタデータ） (2020-04-25T19:12:56Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。