論文の概要: Efficient and Scalable Bayesian Neural Nets with Rank-1 Factors

• arxiv url: http://arxiv.org/abs/2005.07186v2
• Date: Fri, 14 Aug 2020 20:39:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 04:29:21.145616
• Title: Efficient and Scalable Bayesian Neural Nets with Rank-1 Factors
• Title（参考訳）: Rank-1因子を有する効率良くスケーラブルなベイズニューラルネットワーク
• Authors: Michael W. Dusenberry, Ghassen Jerfel, Yeming Wen, Yi-An Ma, Jasper Snoek, Katherine Heller, Balaji Lakshminarayanan, Dustin Tran
• Abstract要約: そこで,各重み行列はランク1部分空間上の分布のみを含むBNNのランク1パラメータ化を提案する。 また、複数のモードをキャプチャするために、混合近似後続法を用いて再検討し、典型的な混合法とは異なり、この手法はメモリ増加を著しく小さくする。 ImageNetのResNet-50、CIFAR-10/100のWide ResNet 28-10、MIMIC-IIIのRNNでは、ランク1のBNNはログ、精度、キャリブレーションで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 36.56528603807598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian neural networks (BNNs) demonstrate promising success in improving the robustness and uncertainty quantification of modern deep learning. However, they generally struggle with underfitting at scale and parameter efficiency. On the other hand, deep ensembles have emerged as alternatives for uncertainty quantification that, while outperforming BNNs on certain problems, also suffer from efficiency issues. It remains unclear how to combine the strengths of these two approaches and remediate their common issues. To tackle this challenge, we propose a rank-1 parameterization of BNNs, where each weight matrix involves only a distribution on a rank-1 subspace. We also revisit the use of mixture approximate posteriors to capture multiple modes, where unlike typical mixtures, this approach admits a significantly smaller memory increase (e.g., only a 0.4% increase for a ResNet-50 mixture of size 10). We perform a systematic empirical study on the choices of prior, variational posterior, and methods to improve training. For ResNet-50 on ImageNet, Wide ResNet 28-10 on CIFAR-10/100, and an RNN on MIMIC-III, rank-1 BNNs achieve state-of-the-art performance across log-likelihood, accuracy, and calibration on the test sets and out-of-distribution variants.
• Abstract（参考訳）: ベイズニューラルネットワーク(BNN)は、現代のディープラーニングの堅牢性と不確実性定量化を改善するための有望な成功を示す。 しかし、一般的にはスケールやパラメータの効率の低下に苦しむ。 一方、深いアンサンブルは不確実な定量化の代替として現れており、特定の問題においてBNNよりも優れている一方で、効率上の問題も抱えている。 これら2つのアプローチの強みを結合し、それらの共通の問題を是正する方法はまだ不明である。 この課題に対処するために,各重み行列はランク1部分空間上の分布のみを含むBNNのランク1パラメータ化を提案する。 また,従来の混合モードと異なり,メモリの増大がかなり小さい(resnet-50サイズ(10)の混合では0.4%増)ことも確認した。 我々は、事前、変動後、および訓練を改善する方法の選択に関する系統的研究を行った。 ImageNetのResNet-50、CIFAR-10/100のWide ResNet 28-10、MIMIC-IIIのRNNでは、ランク1のBNNは、テストセットと配布外の変種に対して、ログライクな精度、キャリブレーションで最先端のパフォーマンスを達成する。

関連論文リスト

• Binary domain generalization for sparsifying binary neural networks [3.2462411268263964]
  バイナリニューラルネットワーク(BNN)は、リソース制約のあるデバイスにおいて、ディープニューラルネットワーク(DNN)ベースのアプリケーションを開発、デプロイするための魅力的なソリューションである。 BNNの軽量プルーニングは性能劣化を招き、BNNの標準バイナライズドメインがタスクに適していないことを示唆している。 この研究は、プルーニング技術に対してより堅牢な標準バイナリドメインを拡張した、より一般的なバイナリドメインを提案する。
  論文  参考訳（メタデータ） (2023-06-23T14:32:16Z)
• DIFUSCO: Graph-based Diffusion Solvers for Combinatorial Optimization [51.517956081644186]
  グラフベースの拡散フレームワークであるDIFUSCOを導入する。 本フレームワークは, NPC問題を離散0, 1ベクトル最適化問題とみなす。 MIS問題に対して、DIFUSCOは、挑戦的なSATLIBベンチマークにおいて、以前の最先端のニューラルソルバよりも優れている。
  論文  参考訳（メタデータ） (2023-02-16T11:13:36Z)
• Partial Binarization of Neural Networks for Budget-Aware Efficient Learning [10.613066533991292]
  バイナリ化はニューラルネットワークの強力な圧縮技術である。 そこで我々は,MixBin戦略を用いた予算付きバイナリニューラルネットワーク(B2NN)の構築により,部分バイナライゼーションの制御手法を提案する。
  論文  参考訳（メタデータ） (2022-11-12T20:30:38Z)
• Elastic-Link for Binarized Neural Network [9.83865304744923]
  ELモジュールは、その後の畳み込み出力特徴に実値入力特徴を適応的に付加することにより、BNN内の情報フローを豊かにする。 ELは、大規模なImageNetデータセットに挑戦する上で、大幅に改善されている。 ReActNetの統合により、71.9%の精度で新しい最先端結果が得られる。
  論文  参考訳（メタデータ） (2021-12-19T13:49:29Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Boost Neural Networks by Checkpoints [9.411567653599358]
  本稿では,ディープニューラルネットワーク(DNN)のチェックポイントをアンサンブルする新しい手法を提案する。 同じトレーニング予算で,Cifar-100では4.16%,Tiny-ImageNetでは6.96%,ResNet-110アーキテクチャでは6.96%の誤差を達成した。
  論文  参考訳（メタデータ） (2021-10-03T09:14:15Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。