論文の概要: Make Me a BNN: A Simple Strategy for Estimating Bayesian Uncertainty from Pre-trained Models

• arxiv url: http://arxiv.org/abs/2312.15297v1
• Date: Sat, 23 Dec 2023 16:39:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 18:36:09.475910
• Title: Make Me a BNN: A Simple Strategy for Estimating Bayesian Uncertainty from Pre-trained Models
• Title（参考訳）: Make Me a BNN: 事前訓練されたモデルからベイズの不確かさを推定するための簡単な戦略
• Authors: Gianni Franchi, Olivier Laurent, Maxence Legu\'ery, Andrei Bursuc, Andrea Pilzer and Angela Yao
• Abstract要約: ディープニューラルネットワーク(Deep Neural Networks, DNN)は、様々なコンピュータビジョンタスクのための強力なツールであるが、信頼性の高い不確実性定量化に苦慮することが多い。 本稿では、DNNをBNNにシームレスに変換するシンプルでスケーラブルな戦略であるAdaptable Bayesian Neural Network (ABNN)を紹介する。 画像分類とセマンティックセグメンテーションタスクのための複数のデータセットにわたる広範囲な実験を行い、ABNNが最先端の性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 40.38541033389344
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Deep Neural Networks (DNNs) are powerful tools for various computer vision tasks, yet they often struggle with reliable uncertainty quantification - a critical requirement for real-world applications. Bayesian Neural Networks (BNN) are equipped for uncertainty estimation but cannot scale to large DNNs that are highly unstable to train. To address this challenge, we introduce the Adaptable Bayesian Neural Network (ABNN), a simple and scalable strategy to seamlessly transform DNNs into BNNs in a post-hoc manner with minimal computational and training overheads. ABNN preserves the main predictive properties of DNNs while enhancing their uncertainty quantification abilities through simple BNN adaptation layers (attached to normalization layers) and a few fine-tuning steps on pre-trained models. We conduct extensive experiments across multiple datasets for image classification and semantic segmentation tasks, and our results demonstrate that ABNN achieves state-of-the-art performance without the computational budget typically associated with ensemble methods.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、様々なコンピュータビジョンタスクのための強力なツールであるが、現実のアプリケーションにとって重要な要件である信頼性のある不確実性定量化にしばしば苦労する。 ベイズニューラルネットワーク(BNN)は不確実性推定機能を備えているが、訓練に非常に不安定な大規模DNNには拡張できない。 この課題に対処するために,適応ベイズニューラルネットワーク(ABNN)を導入し,計算とトレーニングのオーバーヘッドを最小限に抑えてDNNをBNNにシームレスに変換する,シンプルでスケーラブルな戦略を提案する。 ABNNは、DNNの主な予測特性を保ちながら、単純なBNN適応層(正規化層に付加)と、事前訓練されたモデルにおけるいくつかの微調整ステップを通じて、不確実な定量化能力を向上する。 画像分類とセマンティックセグメンテーションタスクのための複数のデータセットを対象とした広範囲な実験を行い、ABNNが通常アンサンブル手法に関連する計算予算を伴わずに最先端のパフォーマンスを達成することを示す。

関連論文リスト

• Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
  我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。 完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。 予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-01-19T23:48:04Z)
• An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
  量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。 本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
  論文  参考訳（メタデータ） (2023-07-29T06:27:28Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Examining the Robustness of Spiking Neural Networks on Non-ideal Memristive Crossbars [4.184276171116354]
  ニューラルネットワークの低消費電力代替としてスパイキングニューラルネットワーク(SNN)が登場している。 本研究では,SNNの性能に及ぼすクロスバー非理想性と本質性の影響について検討した。
  論文  参考訳（メタデータ） (2022-06-20T07:07:41Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Rethinking Pretraining as a Bridge from ANNs to SNNs [13.984523794353477]
  スパイキングニューラルネットワーク(SNN)は、特有の特徴を持つ脳にインスパイアされた典型的なモデルとして知られている。 高い精度のモデルを得る方法は、常にSNNの分野における主要な課題である。
  論文  参考訳（メタデータ） (2022-03-02T14:59:57Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
  ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。 我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。 逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
  論文  参考訳（メタデータ） (2021-11-16T16:14:44Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。