論文の概要: BayesAdapter: Being Bayesian, Inexpensively and Reliably, via Bayesian Fine-tuning

• arxiv url: http://arxiv.org/abs/2010.01979v4
• Date: Wed, 31 Mar 2021 09:43:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 20:48:26.055054
• Title: BayesAdapter: Being Bayesian, Inexpensively and Reliably, via Bayesian Fine-tuning
• Title（参考訳）: BayesAdapter:Bayesianのファインチューニングによるベイズ的、過度かつ信頼性
• Authors: Zhijie Deng, Hao Zhang, Xiao Yang, Yinpeng Dong, Jun Zhu
• Abstract要約: 変分BNNを学習するためのBayesAdapterフレームワークを開発した。 その結果,BayesAdapterはスクラッチの変分推論よりも高い品質で後部を連続的に誘導できることが示唆された。
• 参考スコア（独自算出の注目度）: 42.507186049696834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite their theoretical appealingness, Bayesian neural networks (BNNs) are left behind in real-world adoption, due to persistent concerns on their scalability, accessibility, and reliability. In this work, we aim to relieve these concerns by developing the BayesAdapter framework for learning variational BNNs. In particular, we propose to adapt the pre-trained deterministic NNs to be BNNs via cost-effective Bayesian fine-tuning. To make BayesAdapter more practical, we technically contribute 1) a modularized, user-friendly implementation for the learning of variational BNNs under two representative variational distributions, 2) a generally applicable strategy for reducing the gradient variance in stochastic variational inference, 3) an explanation for the unreliability issue of BNNs' uncertainty estimates, and a corresponding prescription. Through extensive experiments on diverse benchmarks, we show that BayesAdapter can consistently induce posteriors with higher quality than the from-scratch variational inference and other competitive baselines, especially in large-scale settings, yet significantly reducing training overheads.
• Abstract（参考訳）: 理論的に魅力的であるにもかかわらず、ベイジアンニューラルネットワーク(BNN)は、スケーラビリティ、アクセシビリティ、信頼性に関する懸念から、現実に採用されている。 本研究では,変分BNNを学習するためのBayesAdapterフレームワークを開発することで,これらの懸念を解消することを目指している。 特に、コスト効率の良いベイズ微調整により、事前学習された決定論的NNをBNNに適応させることを提案する。 BayesAdapterをより実用的にするためには、技術的に貢献する 1) 2つの代表的変分分布下における変分bnnの学習のためのモジュール化されたユーザフレンドリーな実装 2)確率的変分推論における勾配分散を減少させる一般的な戦略。 3)BNNの不確実性推定の不確実性問題とそれに対応する処方薬についての説明。 多様なベンチマークに関する広範囲な実験を通じて、ベイズアダプタは、特に大規模環境では、スクラッチ変動推論や他の競合ベースラインよりも品質の高い後頭葉を一貫して誘導できるが、トレーニングオーバーヘッドは大幅に削減できることを示した。

関連論文リスト

• Model and Feature Diversity for Bayesian Neural Networks in Mutual Learning [33.629630904922465]
  深層学習によるBNNの性能向上のための新しい手法を提案する。 実験結果から, 分類精度, 負の対数類似度, キャリブレーション誤差が有意に向上した。
  論文  参考訳（メタデータ） (2024-07-03T00:25:25Z)
• A Framework for Variational Inference of Lightweight Bayesian Neural Networks with Heteroscedastic Uncertainties [0.31457219084519006]
  異種性失語症とてんかんのばらつきを学習したBNNパラメータのばらつきに埋め込むことができることを示す。 軽量BNNに適したサンプリング不要な変分推論のための比較的単純なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T13:24:43Z)
• Sparsifying Bayesian neural networks with latent binary variables and normalizing flows [10.865434331546126]
  潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。 まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。 さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
  論文  参考訳（メタデータ） (2023-05-05T09:40:28Z)
• Incorporating Unlabelled Data into Bayesian Neural Networks [48.25555899636015]
  本稿では,事前予測分布の適切なモデル学習に非ラベルデータを用いた自己教師付きベイズニューラルネットワークを提案する。 自己教師型BNNの事前予測分布は,従来のBNNよりも問題セマンティクスが優れていることを示す。 提案手法は, 従来のBNN, 特に低予算体制において, 予測性能を向上する。
  論文  参考訳（メタデータ） (2023-04-04T12:51:35Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Bayesian Neural Networks With Maximum Mean Discrepancy Regularization [13.97417198693205]
  画像分類タスクを含む複数のベンチマークにおいて,BNNの精度が向上することを示す。 また, ある予測に対する不確実性を推定するための新しい定式化を行い, 敵の攻撃に対してより堅牢な行動を示す。
  論文  参考訳（メタデータ） (2020-03-02T14:54:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。