論文の概要: Variational Bayesian Bow tie Neural Networks with Shrinkage

• arxiv url: http://arxiv.org/abs/2411.11132v2
• Date: Tue, 19 Nov 2024 13:13:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:37:20.946610
• Title: Variational Bayesian Bow tie Neural Networks with Shrinkage
• Title（参考訳）: 収縮を伴う変分ベイズボウ結合ニューラルネットワーク
• Authors: Alisa Sheinkman, Sara Wade,
• Abstract要約: 我々は、標準フィードフォワード修正ニューラルネットワークの緩和版を構築した。 我々は、条件付き線形およびガウス的モデルをレンダリングするために、Polya-Gammaデータ拡張トリックを用いる。 層間における分布仮定や独立性を回避する変分推論アルゴリズムを導出する。
• 参考スコア（独自算出の注目度）: 0.276240219662896
• License:
• Abstract: Despite the dominant role of deep models in machine learning, limitations persist, including overconfident predictions, susceptibility to adversarial attacks, and underestimation of variability in predictions. The Bayesian paradigm provides a natural framework to overcome such issues and has become the gold standard for uncertainty estimation with deep models, also providing improved accuracy and a framework for tuning critical hyperparameters. However, exact Bayesian inference is challenging, typically involving variational algorithms that impose strong independence and distributional assumptions. Moreover, existing methods are sensitive to the architectural choice of the network. We address these issues by constructing a relaxed version of the standard feed-forward rectified neural network, and employing Polya-Gamma data augmentation tricks to render a conditionally linear and Gaussian model. Additionally, we use sparsity-promoting priors on the weights of the neural network for data-driven architectural design. To approximate the posterior, we derive a variational inference algorithm that avoids distributional assumptions and independence across layers and is a faster alternative to the usual Markov Chain Monte Carlo schemes.
• Abstract（参考訳）: 機械学習における深層モデルの主要な役割にもかかわらず、過信予測、敵攻撃に対する感受性、予測における変動性の過小評価など、限界は持続する。 ベイズパラダイムはそのような問題を克服するための自然なフレームワークを提供し、深層モデルによる不確実性推定のゴールドスタンダードとなり、精度の向上と臨界ハイパーパラメータのチューニングのためのフレームワークを提供する。 しかし、正確なベイズ推定は困難であり、典型的には強い独立性や分布仮定を課す変分アルゴリズムを含む。 さらに,既存の手法はネットワークのアーキテクチャ的選択に敏感である。 我々は、標準フィードフォワード整流ニューラルネットワークの緩和版を構築し、Plya-Gammaデータ拡張トリックを用いて条件付き線形およびガウス的モデルを描画することで、これらの問題に対処する。 さらに、我々は、データ駆動アーキテクチャ設計のために、ニューラルネットワークの重みに関するスパーシティプロモーティングの先行値を使用します。 後部を近似するために、層間の分布仮定や独立性を避け、通常のマルコフ連鎖モンテカルロスキームの高速な代替となる変分推論アルゴリズムを導出する。

関連論文リスト

• Alpha-VI DeepONet: A prior-robust variational Bayesian approach for enhancing DeepONets with uncertainty quantification [0.0]
  一般化変分推論(GVI)を組み込んだ新しいディープオペレータネットワーク(DeepONet)を提案する。 分岐ネットワークとトランクネットワークのビルディングブロックとしてベイズニューラルネットワークを組み込むことで,不確実な定量化が可能なDeepONetを実現する。 変動目的関数の修正は平均二乗誤差を最小化する点で優れた結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-08-01T16:22:03Z)
• Deep Grey-Box Modeling With Adaptive Data-Driven Models Toward Trustworthy Estimation of Theory-Driven Models [88.63781315038824]
  本稿では,ニューラルネットワークのアーキテクチャとトレーニング目標にわずかな変化を伴って,レギュレータの動作を経験的に分析することのできるフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-24T10:42:26Z)
• Regression modelling of spatiotemporal extreme U.S. wildfires via partially-interpretable neural networks [0.0]
  人工ニュートラルネットワークを用いた極端量子レグレッションを実現するための新しい手法フレームワークを提案する。 我々は、線形で付加的な回帰手法をディープラーニングと統合し、部分的に解釈可能なニューラルネットワークを作成する。
  論文  参考訳（メタデータ） (2022-08-16T07:42:53Z)
• Variational Bayes Deep Operator Network: A data-driven Bayesian solver for parametric differential equations [0.0]
  演算子学習のための変分ベイズDeepONet(VB-DeepONet)を提案する。 VB-DeepONetは、高次元後部分布を考慮した変分推論を用いる。
  論文  参考訳（メタデータ） (2022-06-12T04:20:11Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Bayesian Attention Belief Networks [59.183311769616466]
  注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。 本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。 提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-09T17:46:22Z)
• Multivariate Deep Evidential Regression [77.34726150561087]
  不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。 本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
  論文  参考訳（メタデータ） (2021-04-13T12:20:18Z)
• Towards Trustworthy Predictions from Deep Neural Networks with Fast Adversarial Calibration [2.8935588665357077]
  本稿では,ドメインシフト後に得られたサンプルに対して,信頼度の高い信頼度を得るための効率的かつ汎用的なモデリング手法を提案する。 本稿では,エントロピー増大損失項と逆キャリブレーション損失項を組み合わせた新しいトレーニング戦略を導入し,この結果が適切に調整され,技術的に信頼できる予測となることを示す。
  論文  参考訳（メタデータ） (2020-12-20T13:39:29Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。