論文の概要: Favour: FAst Variance Operator for Uncertainty Rating

• arxiv url: http://arxiv.org/abs/2311.13036v1
• Date: Tue, 21 Nov 2023 22:53:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 16:59:54.720174
• Title: Favour: FAst Variance Operator for Uncertainty Rating
• Title（参考訳）: Favour: 不確実性評価のためのFAst変数演算子
• Authors: Thomas D. Ahle, Sahar Karimi, Peter Tak Peter Tang
• Abstract要約: 機械学習予測を解釈するための重要なアプローチとしてベイズニューラルネットワーク(BNN)が登場した。 後部分布からサンプリングすることで、データサイエンティストは推論の不確実性を推定することができる。 以前の研究は、ネットワークを介して後部の第1モーメントと第2モーメントを伝播することを提案した。 この方法はサンプリングよりも遅いため、伝播分散を近似する必要がある。 私たちの貢献は、より原則化された分散伝播フレームワークです。
• 参考スコア（独自算出の注目度）: 0.034530027457862
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian Neural Networks (BNN) have emerged as a crucial approach for interpreting ML predictions. By sampling from the posterior distribution, data scientists may estimate the uncertainty of an inference. Unfortunately many inference samples are often needed, the overhead of which greatly hinder BNN's wide adoption. To mitigate this, previous work proposed propagating the first and second moments of the posterior directly through the network. However, on its own this method is even slower than sampling, so the propagated variance needs to be approximated such as assuming independence between neural nodes. The resulting trade-off between quality and inference time did not match even plain Monte Carlo sampling. Our contribution is a more principled variance propagation framework based on "spiked covariance matrices", which smoothly interpolates between quality and inference time. This is made possible by a new fast algorithm for updating a diagonal-plus-low-rank matrix approximation under various operations. We tested our algorithm against sampling based MC Dropout and Variational Inference on a number of downstream uncertainty themed tasks, such as calibration and out-of-distribution testing. We find that Favour is as fast as performing 2-3 inference samples, while matching the performance of 10-100 samples. In summary, this work enables the use of BNN in the realm of performance critical tasks where they have previously been out of reach.
• Abstract（参考訳）: 機械学習予測を解釈するための重要なアプローチとしてベイズニューラルネットワーク(BNN)が登場した。 後方分布からサンプリングすることで、データ科学者は推論の不確かさを推定することができる。 残念ながら多くの推論サンプルが必要であり、そのオーバーヘッドはBNNの広範な採用を妨げる。 これを軽減するために、以前の研究は、ネットワークを介して後部の第一モーメントと第二モーメントを伝播することを提案した。 しかし、この手法自体はサンプリングよりも遅いため、ニューラルネットワーク間の独立性を仮定するなど、伝播する分散を近似する必要がある。 その結果、品質と推論時間のトレードオフは、普通のモンテカルロサンプリングとは一致しなかった。 私たちの貢献は、品質と推論時間の間をスムーズに補間する"spiked covariance matrices"に基づく、より原則的な分散伝播フレームワークである。 これは、様々な演算の下で対角+低ランク行列近似を更新する新しい高速アルゴリズムによって実現されている。 本アルゴリズムは,サンプリングに基づくmcドロップアウトと,キャリブレーションやアウト・オブ・ディストリビューションテストなど,下流の不確かさをテーマとしたタスクの変分推論に対してテストを行った。 その結果,Favourは10～100個のサンプルと同等の性能を示しながら,2～3個の推論サンプルの実行に匹敵する速さを示した。 要約すると、この作業は、これまで到達できなかったパフォーマンスクリティカルなタスクの領域で、BNNの使用を可能にする。

関連論文リスト

• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Variational Inference on the Final-Layer Output of Neural Networks [3.146069168382982]
  本稿では、最終層出力空間(VIFO)における変分推論を行うことにより、両方のアプローチの利点を組み合わせることを提案する。 ニューラルネットワークを用いて確率出力の平均と分散を学習する。 実験により、VIFOは、特に分布データ外において、実行時間と不確実性定量化の観点から良いトレードオフを提供することが示された。
  論文  参考訳（メタデータ） (2023-02-05T16:19:01Z)
• Distribution estimation and change-point detection for time series via DNN-based GANs [0.0]
  GAN(Generative Adversarial Network)は、独立および同一の分散データの分布を推定するために最近応用されている。 本稿では,定常時系列の分布を推定するためのGANの有効性を示すためにブロッキング手法を用いる。
  論文  参考訳（メタデータ） (2022-11-26T14:33:34Z)
• ZigZag: Universal Sampling-free Uncertainty Estimation Through Two-Step Inference [54.17205151960878]
  汎用的でデプロイが容易なサンプリング不要のアプローチを導入します。 我々は,最先端手法と同等の信頼性のある不確実性推定を,計算コストを著しく低減した形で生成する。
  論文  参考訳（メタデータ） (2022-11-21T13:23:09Z)
• GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
  モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。 最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。 GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
  論文  参考訳（メタデータ） (2022-10-24T03:00:01Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。