論文の概要: Large-scale Score-based Variational Posterior Inference for Bayesian Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2602.05873v1
• Date: Thu, 05 Feb 2026 16:51:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:09.058377
• Title: Large-scale Score-based Variational Posterior Inference for Bayesian Deep Neural Networks
• Title（参考訳）: ベイジアンディープニューラルネットワークの大規模スコアベース変分後部推論
• Authors: Minyoung Kim,
• Abstract要約: 本稿では,BNN変分推論のためのスコアベースの代替手法を提案する。 そこで本研究では,学習目的が繰り返しのスコアマッチング損失と近位ペナルティ項を組み合わせた,スケーラブルなVI法を提案する。 これにより、視覚変換器を含む大規模ニューラルネットワークに拡張性を持たせ、よりリッチな変動密度ファミリを実現することができる。
• 参考スコア（独自算出の注目度）: 7.945670209718052
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian (deep) neural networks (BNN) are often more attractive than the mainstream point-estimate vanilla deep learning in various aspects including uncertainty quantification, robustness to noise, resistance to overfitting, and more. The variational inference (VI) is one of the most widely adopted approximate inference methods. Whereas the ELBO-based variational free energy method is a dominant choice in the literature, in this paper we introduce a score-based alternative for BNN variational inference. Although there have been quite a few score-based variational inference methods proposed in the community, most are not adequate for large-scale BNNs for various computational and technical reasons. We propose a novel scalable VI method where the learning objective combines the score matching loss and the proximal penalty term in iterations, which helps our method avoid the reparametrized sampling, and allows for noisy unbiased mini-batch scores through stochastic gradients. This in turn makes our method scalable to large-scale neural networks including Vision Transformers, and allows for richer variational density families. On several benchmarks including visual recognition and time-series forecasting with large-scale deep networks, we empirically show the effectiveness of our approach.
• Abstract（参考訳）: ベイジアン(ディープ)ニューラルネットワーク(BNN)は、不確実性の定量化、ノイズに対する堅牢性、過度な適合に対する抵抗性など、様々な面で主流のベニラディープラーニングよりも魅力的であることが多い。 変分推論(VI)は最も広く採用されている近似推論手法の1つである。 ELBOに基づく変動自由エネルギー法は文献において支配的な選択であるが,本論文では,BNN変分推定の楽譜に基づく代替手法を提案する。 楽譜に基づく変分推定法がコミュニティで提案されているが, 大規模BNNでは, 様々な計算や技術的理由から, 多くが不十分である。 本稿では,学習目的が繰り返しにおけるスコアマッチング損失と近位ペナルティ項を組み合わせ,再パラメータ化サンプリングを回避し,確率勾配による雑音のないミニバッチスコアを可能にする,スケーラブルなVI法を提案する。 これにより、視覚変換器を含む大規模ニューラルネットワークに拡張性を持たせ、よりリッチな変動密度ファミリを実現することができる。 大規模深層ネットワークを用いた画像認識や時系列予測などのベンチマークでは,提案手法の有効性を実証的に示す。

関連論文リスト

• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• A Variational Bayesian Approach to Learning Latent Variables for Acoustic Knowledge Transfer [55.20627066525205]
  本稿では,ディープニューラルネットワーク(DNN)モデルにおける潜伏変数の分布を学習するための変分ベイズ(VB)アプローチを提案する。 我々の提案するVBアプローチは,ターゲットデバイスにおいて良好な改善が得られ,しかも,13の最先端知識伝達アルゴリズムを一貫して上回っている。
  論文  参考訳（メタデータ） (2021-10-16T15:54:01Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。