論文の概要: Masked Bayesian Neural Networks : Computation and Optimality

• arxiv url: http://arxiv.org/abs/2206.00853v2
• Date: Tue, 23 May 2023 05:40:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 01:50:02.782564
• Title: Masked Bayesian Neural Networks : Computation and Optimality
• Title（参考訳）: マスクベイズ型ニューラルネットワーク : 計算と最適性
• Authors: Insung Kong, Dongyoon Yang, Jongjin Lee, Ilsang Ohn, Yongdai Kim
• Abstract要約: そこで本稿では, 適切な複雑性を伴って, 優れた深層ニューラルネットワークを探索する, スパースベイズニューラルネットワーク(BNN)を提案する。 我々は各ノードのマスキング変数を用いて、後続分布に応じていくつかのノードをオフにし、ノードワイズDNNを生成する。 いくつかのベンチマークデータセットを解析することにより,提案したBNNが既存手法と比較してよく動作することを示す。
• 参考スコア（独自算出の注目度）: 1.3649494534428745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As data size and computing power increase, the architectures of deep neural networks (DNNs) have been getting more complex and huge, and thus there is a growing need to simplify such complex and huge DNNs. In this paper, we propose a novel sparse Bayesian neural network (BNN) which searches a good DNN with an appropriate complexity. We employ the masking variables at each node which can turn off some nodes according to the posterior distribution to yield a nodewise sparse DNN. We devise a prior distribution such that the posterior distribution has theoretical optimalities (i.e. minimax optimality and adaptiveness), and develop an efficient MCMC algorithm. By analyzing several benchmark datasets, we illustrate that the proposed BNN performs well compared to other existing methods in the sense that it discovers well condensed DNN architectures with similar prediction accuracy and uncertainty quantification compared to large DNNs.
• Abstract（参考訳）: データサイズと計算能力の増大に伴い、ディープニューラルネットワーク(DNN)のアーキテクチャは複雑で巨大になり、このような複雑で巨大なDNNを単純化する必要性が高まっている。 本稿では,適切な複雑さで優れたDNNを探索する,スパースベイズニューラルネットワーク(BNN)を提案する。 各ノードのマスキング変数を用いて、後続分布に応じていくつかのノードをオフにし、ノードワイズDNNを生成する。 我々は、後続分布が理論的最適性(すなわち極小最適性と適応性)を持つような事前分布を考案し、効率的なMCMCアルゴリズムを開発する。 いくつかのベンチマークデータセットを解析することにより、提案手法は他の手法と比較してよく機能し、大きなDNNと比較して予測精度と不確実性のあるよく凝縮したDNNアーキテクチャを発見できることを示す。

関連論文リスト

• On Generalization Bounds for Deep Compound Gaussian Neural Networks [1.4425878137951238]
  Unrolled Deep Neural Network(DNN)は、標準的なDNNよりも優れた解釈性と優れた経験的パフォーマンスを提供する。 本稿では,複合ガウス事前情報に基づく非学習型DNNのクラスに対する新しい一般化誤差境界を開発する。 現実的な条件下では、最悪の場合、一般化誤差は信号次元で$mathcalO(nsqrt(n))$、ネットワークサイズで$mathcalO(($Network Size$)3/2)$である。
  論文  参考訳（メタデータ） (2024-02-20T16:01:39Z)
• Masked Bayesian Neural Networks : Theoretical Guarantee and its Posterior Inference [1.2722697496405464]
  本稿では,理論特性が良好で,計算可能な新しいノードスパースBNNモデルを提案する。 我々は、真のモデルに対する後部濃度速度が、真のモデルの滑らかさに適応する最小限の最適値に近いことを証明した。 さらに,ノードスパースBNNモデルのベイズ推定を現実的に実現可能な新しいMCMCアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-05-24T06:16:11Z)
• Wide Bayesian neural networks have a simple weight posterior: theory and accelerated sampling [48.94555574632823]
  再帰化は、ベイズニューラルネットワーク(BNN)の後部を、層幅が大きくなるにつれてKLがBNNに分岐する分布に変換する。 我々は,BNNを高速に混合するマルコフ連鎖モンテカルロ (MCMC) 後方サンプリングアルゴリズムを開発した。 完全接続ネットワークと残留ネットワークの双方の分離を伴わないため, 最大50倍の有効試料サイズを観測した。
  論文  参考訳（メタデータ） (2022-06-15T17:11:08Z)
• Searching Similarity Measure for Binarized Neural Networks [14.847148292246374]
  バイナリニューラルネットワーク(BNN)は、リソース制限されたデバイスにデプロイされる有望なモデルである。 BNNは難解な精度の劣化に悩まされ、様々な領域で適用が制限される。 遺伝的アルゴリズムに基づくBNN調整類似度尺度の自動探索手法を提案する。
  論文  参考訳（メタデータ） (2022-06-05T06:53:53Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Sub-bit Neural Networks: Learning to Compress and Accelerate Binary Neural Networks [72.81092567651395]
  Sub-bit Neural Networks (SNN) は、BNNの圧縮と高速化に適した新しいタイプのバイナリ量子化設計である。 SNNは、微細な畳み込みカーネル空間におけるバイナリ量子化を利用するカーネル対応最適化フレームワークで訓練されている。 ビジュアル認識ベンチマークの実験とFPGA上でのハードウェア展開は、SNNの大きな可能性を検証する。
  論文  参考訳（メタデータ） (2021-10-18T11:30:29Z)
• Explore the Knowledge contained in Network Weights to Obtain Sparse Neural Networks [2.649890751459017]
  本稿では,ニューラルネットワーク(NN)における疎結合層の自動獲得のための新しい学習手法を提案する。 タスクニューラルネットワーク(TNN)の構造を最適化するためにスイッチングニューラルネットワーク(SNN)を設計する。
  論文  参考訳（メタデータ） (2021-03-26T11:29:40Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)
• Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
  正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。 実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
  論文  参考訳（メタデータ） (2020-06-18T13:57:04Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。