論文の概要: Sample-based Uncertainty Quantification with a Single Deterministic Neural Network

• arxiv url: http://arxiv.org/abs/2209.08418v1
• Date: Sat, 17 Sep 2022 22:37:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 18:55:05.242568
• Title: Sample-based Uncertainty Quantification with a Single Deterministic Neural Network
• Title（参考訳）: 単一決定論的ニューラルネットワークを用いたサンプルベース不確かさ定量化
• Authors: Takuya Kanazawa and Chetan Gupta
• Abstract要約: より安定かつスムーズなトレーニングを実現するために,disCOネットのニューラルネットワークの改良を提案する。 本稿では,エネルギースコアを用いた予測分布の学習の有効性に関する基礎的証明を提案する。
• 参考スコア（独自算出の注目度）: 4.7210697296108926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Development of an accurate, flexible, and numerically efficient uncertainty quantification (UQ) method is one of fundamental challenges in machine learning. Previously, a UQ method called DISCO Nets has been proposed (Bouchacourt et al., 2016) that trains a neural network by minimizing the so-called energy score on training data. This method has shown superior performance on a hand pose estimation task in computer vision, but it remained unclear whether this method works as nicely for regression on tabular data, and how it competes with more recent advanced UQ methods such as NGBoost. In this paper, we propose an improved neural architecture of DISCO Nets that admits a more stable and smooth training. We benchmark this approach on miscellaneous real-world tabular datasets and confirm that it is competitive with or even superior to standard UQ baselines. We also provide a new elementary proof for the validity of using the energy score to learn predictive distributions. Further, we point out that DISCO Nets in its original form ignore epistemic uncertainty and only capture aleatoric uncertainty. We propose a simple fix to this problem.
• Abstract（参考訳）: 正確で柔軟で数値的に効率的な不確実性定量化(uq)法の開発は、機械学習における基本的な課題の1つである。 従来は、トレーニングデータにおけるいわゆるエネルギースコアを最小化してニューラルネットワークをトレーニングするdisCO Nets(Bouchacourt et al., 2016)と呼ばれるUQ手法が提案されていた。 本手法はコンピュータビジョンにおける手振り推定タスクにおいて優れた性能を示してきたが,この手法が表計算データの回帰に適しているかどうか,またNGBoostのような最近の先進的UQ手法とどのように競合するかは定かではない。 本稿では,より安定かつスムーズなトレーニングを実現するために,disCOネットのニューラルネットワークアーキテクチャの改良を提案する。 このアプローチを実世界の雑多な表形式のデータセットにベンチマークし、標準的なUQベースラインと競合するか、さらに優れているかを確認する。 また,予測分布の学習にエネルギースコアを用いることの有効性を示す基礎的証明も提供する。 さらに,ディスコネットの原形は認識的不確実性を無視し,アレエータ的不確実性のみを捉えていることを指摘する。 この問題に対する簡単な修正を提案する。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• A Rate-Distortion View of Uncertainty Quantification [36.85921945174863]
  教師付き学習では、入力がトレーニングデータに近接していることを理解することは、モデルが信頼できる予測に達する十分な証拠を持っているかどうかを判断するのに役立つ。 本稿では,この特性でディープニューラルネットワークを強化するための新しい手法であるDistance Aware Bottleneck (DAB)を紹介する。
  論文  参考訳（メタデータ） (2024-06-16T01:33:22Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Efficient Uncertainty Quantification and Reduction for Over-Parameterized Neural Networks [23.7125322065694]
  不確実性定量化(UQ)は、機械学習モデルの信頼性評価と強化に重要である。 統計学的に保証されたスキームを作成し、主に、過剰パラメータ化ニューラルネットワークの不確実性である、エンフェラクタライズし、エンフェレモーブする。 特に,PNC予測器(Procedural-noise-correcting, Procedural-noise-correcting, PNC)に基づくアプローチでは,適切なラベル付きデータセットでトレーニングされたEmphone補助ネットワークのみを用いることで,手続き的不確実性を取り除く。
  論文  参考訳（メタデータ） (2023-06-09T05:15:53Z)
• Boosting Low-Data Instance Segmentation by Unsupervised Pre-training with Saliency Prompt [103.58323875748427]
  この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。 近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。 実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:49:03Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Using Sum-Product Networks to Assess Uncertainty in Deep Active Learning [3.7507283158673212]
  本稿では,畳み込みニューラルネットワーク(CNN)を用いた深層能動学習における不確かさの計算方法を提案する。 CNN が抽出した特徴表現を Sum-Product Network (SPN) のトレーニングデータとして利用する。
  論文  参考訳（メタデータ） (2022-06-20T14:28:19Z)
• A Simple Approach to Improve Single-Model Deep Uncertainty via Distance-Awareness [33.09831377640498]
  本研究では,1つの決定論的表現に基づく1つのネットワークの不確実性向上手法について検討する。 本稿では,現代のDNNにおける距離認識能力を向上させる簡易な手法として,スペクトル正規化ニューラルガウス過程(SNGP)を提案する。 ビジョンと言語理解のベンチマークスイートでは、SNGPは予測、キャリブレーション、ドメイン外検出において、他の単一モデルアプローチよりも優れている。
  論文  参考訳（メタデータ） (2022-05-01T05:46:13Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。