論文の概要: Impact of Parameter Sparsity on Stochastic Gradient MCMC Methods for Bayesian Deep Learning

• arxiv url: http://arxiv.org/abs/2202.03770v1
• Date: Tue, 8 Feb 2022 10:34:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-09 23:54:02.610714
• Title: Impact of Parameter Sparsity on Stochastic Gradient MCMC Methods for Bayesian Deep Learning
• Title（参考訳）: ベイズ深層学習のための確率勾配MCMC法に対するパラメータ空間の影響
• Authors: Meet P. Vadera, Adam D. Cobb, Brian Jalaian, Benjamin M. Marlin
• Abstract要約: 本稿では,分散ネットワーク構造がストレージコストと推論実行時間とを柔軟にトレードオフする可能性について検討する。 ランダムに選択されたサブストラクチャのクラスは、最先端の反復的プルーニング法から派生したサブストラクチャと同様に実行可能であることを示す。
• 参考スコア（独自算出の注目度）: 15.521736934292354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian methods hold significant promise for improving the uncertainty quantification ability and robustness of deep neural network models. Recent research has seen the investigation of a number of approximate Bayesian inference methods for deep neural networks, building on both the variational Bayesian and Markov chain Monte Carlo (MCMC) frameworks. A fundamental issue with MCMC methods is that the improvements they enable are obtained at the expense of increased computation time and model storage costs. In this paper, we investigate the potential of sparse network structures to flexibly trade-off model storage costs and inference run time against predictive performance and uncertainty quantification ability. We use stochastic gradient MCMC methods as the core Bayesian inference method and consider a variety of approaches for selecting sparse network structures. Surprisingly, our results show that certain classes of randomly selected substructures can perform as well as substructures derived from state-of-the-art iterative pruning methods while drastically reducing model training times.
• Abstract（参考訳）: ベイズ法は、ディープニューラルネットワークモデルの不確実性定量化能力とロバスト性を改善するための重要な約束を持っている。 近年の研究では、変分ベイズとマルコフ連鎖モンテカルロ(MCMC)の両方のフレームワークに基づいて、ディープニューラルネットワークに対する近似ベイズ推定法が数多く研究されている。 MCMC法における基本的な問題は、計算時間とモデル記憶コストの増大を犠牲にして、それらの改善が得られたことである。 本稿では,モデルストレージコストと予測性能と不確実性定量化能力に対する実行時間とを柔軟にトレードオフするスパースネットワーク構造の可能性を検討する。 確率勾配MCMC法をベイズ推定法として使用し,スパースネットワーク構造を選択するための様々なアプローチを検討する。 その結果, ランダムに選択したサブストラクチャのクラスは, モデルトレーニング時間を劇的に短縮しつつ, 最先端反復プルーニング法から派生したサブストラクチャを実現できることがわかった。

関連論文リスト

• Linear Noise Approximation Assisted Bayesian Inference on Mechanistic Model of Partially Observed Stochastic Reaction Network [2.325005809983534]
  本稿では、部分的に観察された酵素反応ネットワーク(SRN)に対する効率的なベイズ推論手法を開発する。 線形雑音近似(LNA)メタモデルを提案する。 マルコフ・チェイン・モンテカルロの収束を高速化するために、導出確率の勾配を利用して効率的な後方サンプリング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-05T01:54:21Z)
• Fast Value Tracking for Deep Reinforcement Learning [7.648784748888187]
  強化学習(Reinforcement Learning, RL)は、環境と対話するエージェントを作成することによって、シーケンシャルな意思決定問題に取り組む。 既存のアルゴリズムはしばしばこれらの問題を静的とみなし、期待される報酬を最大化するためにモデルパラメータの点推定に重点を置いている。 我々の研究は、カルマンパラダイムを活用して、Langevinized Kalman TemporalTDと呼ばれる新しい定量化およびサンプリングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-03-19T22:18:19Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Bayesian neural networks via MCMC: a Python-based tutorial [0.17999333451993949]
  変分推論とマルコフ連鎖モンテカルロサンプリング法を用いてベイズ推定を行う。 このチュートリアルはPythonのコードに、その使用と拡張を可能にするデータとインストラクションを提供する。
  論文  参考訳（メタデータ） (2023-04-02T02:19:15Z)
• Bayesian deep learning framework for uncertainty quantification in high dimensions [6.282068591820945]
  我々はベイズニューラルネットワーク(BNN)とハミルトンモンテカルロ(HMC)に基づく偏微分方程式の不確実性定量化のための新しい深層学習法を開発した。 BNNは、ネットワークパラメータに対してベイズ推論を行うことにより、ディープニューラルネットワークにおけるパラメータの後方分布を効率的に学習する。 後部分布は、HMCを用いて効率よくサンプリングされ、システムの不確かさを定量化する。
  論文  参考訳（メタデータ） (2022-10-21T05:20:06Z)
• FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear Modulation [69.34011200590817]
  本稿では,特徴量線形変調の概念に基づく暗黙のアンサンブル手法であるFiLM-Ensembleを紹介する。 単一ディープネットワークのネットワークアクティベーションをFiLMで変調することにより、高多様性のモデルアンサンブルを得る。 我々は、FiLM-Ensembleが他の暗黙のアンサンブル法よりも優れており、ネットワークの明示的なアンサンブルの上限に非常に近いことを示す。
  論文  参考訳（メタデータ） (2022-05-31T18:33:15Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• Bayesian graph convolutional neural networks via tempered MCMC [0.41998444721319217]
  畳み込みニューラルネットワークのようなディープラーニングモデルは、画像やマルチメディアタスクに長い間適用されてきた。 最近では、グラフで表現できる非構造化データにもっと注意が払われている。 これらのタイプのデータは、健康と医学、ソーシャルネットワーク、および研究データリポジトリでよく見られます。
  論文  参考訳（メタデータ） (2021-04-17T04:03:25Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。