論文の概要: Variational Inference on the Final-Layer Output of Neural Networks
- arxiv url: http://arxiv.org/abs/2302.02420v5
- Date: Wed, 06 Nov 2024 07:58:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-07 19:21:32.532873
- Title: Variational Inference on the Final-Layer Output of Neural Networks
- Title（参考訳）: ニューラルネットワークのファイナルライヤー出力の変分推論
- Authors: Yadi Wei, Roni Khardon,
- Abstract要約: 本稿では、最終層出力空間(VIFO)における変分推論を行うことにより、両方のアプローチの利点を組み合わせることを提案する。
ニューラルネットワークを用いて確率出力の平均と分散を学習する。
実験により、VIFOは、特に分布データ外において、実行時間と不確実性定量化の観点から良いトレードオフを提供することが示された。
- 参考スコア（独自算出の注目度）: 3.146069168382982
- License:
- Abstract: Traditional neural networks are simple to train but they typically produce overconfident predictions. In contrast, Bayesian neural networks provide good uncertainty quantification but optimizing them is time consuming due to the large parameter space. This paper proposes to combine the advantages of both approaches by performing Variational Inference in the Final layer Output space (VIFO), because the output space is much smaller than the parameter space. We use neural networks to learn the mean and the variance of the probabilistic output. Using the Bayesian formulation we incorporate collapsed variational inference with VIFO which significantly improves the performance in practice. On the other hand, like standard, non-Bayesian models, VIFO enjoys simple training and one can use Rademacher complexity to provide risk bounds for the model. Experiments show that VIFO provides a good tradeoff in terms of run time and uncertainty quantification, especially for out of distribution data.
- Abstract（参考訳）: 従来のニューラルネットワークは訓練が簡単だが、通常は過信的な予測を生成する。
対照的に、ベイジアンニューラルネットワークは不確実性の定量化に優れるが、大きなパラメータ空間のためにそれらを最適化することは時間を要する。
本稿では、パラメータ空間よりも出力空間がはるかに小さいため、ファイナル層出力空間(VIFO)において変分推論を行うことにより、両方のアプローチの利点を組み合わせることを提案する。
ニューラルネットワークを用いて確率的出力の平均と分散を学習する。
ベイジアン定式化を用いて,VIFOによる崩壊変分推論を組み込んだ結果,実際の性能が大幅に向上した。
一方、標準的な非ベイズモデルと同様に、VIFOは単純なトレーニングを楽しみ、モデルのリスクバウンダリを提供するためにRadecherの複雑さを使用することができる。
実験により、VIFOは、特に分布データ外において、実行時間と不確実性定量化の観点から良いトレードオフを提供することが示された。
関連論文リスト
- Favour: FAst Variance Operator for Uncertainty Rating [0.034530027457862]
機械学習予測を解釈するための重要なアプローチとしてベイズニューラルネットワーク(BNN)が登場した。
後部分布からサンプリングすることで、データサイエンティストは推論の不確実性を推定することができる。
以前の研究は、ネットワークを介して後部の第1モーメントと第2モーメントを伝播することを提案した。
この方法はサンプリングよりも遅いため、伝播分散を近似する必要がある。
私たちの貢献は、より原則化された分散伝播フレームワークです。
論文 参考訳（メタデータ） (2023-11-21T22:53:20Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Evidence Networks: simple losses for fast, amortized, neural Bayesian
model comparison [0.0]
Evidence Networksは、最先端のメソッドがフェールした場合にベイズモデルの比較を可能にする。
リークパリティオード電力変換を導入し、新しいl-POP-Exponential'損失関数を導出する。
Evidence Networks はパラメータ空間の次元性に明示的に依存しており、後続確率密度関数の複雑さと軽度にスケール可能であることを示す。
論文 参考訳（メタデータ） (2023-05-18T18:14:53Z) - Sparsifying Bayesian neural networks with latent binary variables and
normalizing flows [10.865434331546126]
潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。
まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。
さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
論文 参考訳（メタデータ） (2023-05-05T09:40:28Z) - GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。
最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。
GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
論文 参考訳（メタデータ） (2022-10-24T03:00:01Z) - Look beyond labels: Incorporating functional summary information in
Bayesian neural networks [11.874130244353253]
予測確率に関する要約情報を組み込むための簡単な手法を提案する。
利用可能な要約情報は、拡張データとして組み込まれ、ディリクレプロセスでモデル化される。
本稿では,タスクの難易度やクラス不均衡をモデルに示す方法について述べる。
論文 参考訳（メタデータ） (2022-07-04T07:06:45Z) - Transformers Can Do Bayesian Inference [56.99390658880008]
我々はPFN(Presideed Data Fitted Networks)を提案する。
PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。
我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
論文 参考訳（メタデータ） (2021-12-20T13:07:39Z) - Kalman Bayesian Neural Networks for Closed-form Online Learning [5.220940151628734]
閉形式ベイズ推論によるBNN学習のための新しい手法を提案する。
出力の予測分布の計算と重み分布の更新をベイズフィルタおよび平滑化問題として扱う。
これにより、勾配降下のないシーケンシャル/オンライン方式でネットワークパラメータをトレーニングするためのクローズドフォーム表現が可能になる。
論文 参考訳（メタデータ） (2021-10-03T07:29:57Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。