論文の概要: Can a single neuron learn predictive uncertainty?

• arxiv url: http://arxiv.org/abs/2106.03702v3
• Date: Thu, 20 Apr 2023 12:59:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 18:05:53.055598
• Title: Can a single neuron learn predictive uncertainty?
• Title（参考訳）: 単一ニューロンは予測の不確かさを学習できるか?
• Authors: Edgardo Solano-Carrillo
• Abstract要約: 本稿では,一自由度を持つ最も単純なニューラルネットワークアーキテクチャ(単一ニューロン)に基づく,連続確率変数に対する新しい非パラメトリック量子化推定手法を提案する。 実世界の応用では、この手法は分割共形予測設定の下で予測の不確かさの定量化に利用できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Uncertainty estimation methods using deep learning approaches strive against separating how uncertain the state of the world manifests to us via measurement (objective end) from the way this gets scrambled with the model specification and training procedure used to predict such state (subjective means) -- e.g., number of neurons, depth, connections, priors (if the model is bayesian), weight initialization, etc. This poses the question of the extent to which one can eliminate the degrees of freedom associated with these specifications and still being able to capture the objective end. Here, a novel non-parametric quantile estimation method for continuous random variables is introduced, based on the simplest neural network architecture with one degree of freedom: a single neuron. Its advantage is first shown in synthetic experiments comparing with the quantile estimation achieved from ranking the order statistics (specifically for small sample size) and with quantile regression. In real-world applications, the method can be used to quantify predictive uncertainty under the split conformal prediction setting, whereby prediction intervals are estimated from the residuals of a pre-trained model on a held-out validation set and then used to quantify the uncertainty in future predictions -- the single neuron used here as a structureless ``thermometer'' that measures how uncertain the pre-trained model is. Benchmarking regression and classification experiments demonstrate that the method is competitive in quality and coverage with state-of-the-art solutions, with the added benefit of being more computationally efficient.
• Abstract（参考訳）: ディープラーニングアプローチを用いた不確実性推定手法では、測定(客観的な目的)を通じて世界の状態がどの程度不確実であるかを、そのような状態を予測するのに使用されるモデル仕様とトレーニング手順(例えば、ニューロンの数、深さ、接続、事前(モデルがベイズ的である場合)、重み初期化など)と切り離そうとしている。 このことは、これらの仕様に関連付けられた自由の度合いを排除し、客観的な目的を達成できるかどうかという問題を引き起こします。 本稿では,1自由度を持つ最も単純なニューラルネットワークアーキテクチャである単一ニューロンに基づいて,連続的確率変数に対する新しい非パラメトリック量子性推定法を提案する。 その利点は合成実験において初めて示され、順序統計(特に小さなサンプルサイズで)のランク付けと量的回帰によって得られる量的推定と比較された。 実世界のアプリケーションでは、この方法は、分割共形予測設定の下で予測の不確実性を定量化するために使用され、予測間隔は、保持された検証セット上の事前訓練されたモデルの残差から推定され、将来の予測における不確実性を定量化するために使用される。 ベンチマーク回帰と分類実験により、この手法は最先端のソリューションと品質とカバレッジの競争力があり、さらに計算効率が良いという利点が示された。

関連論文リスト

• Awareness of uncertainty in classification using a multivariate model and multi-views [1.3048920509133808]
  提案モデルでは,不確かさ予測を正規化し,予測と不確かさ推定の両方を計算する訓練を行う。 複数ビュー予測と不確かさと信頼度を考慮し、最終的な予測を計算する方法をいくつか提案した。 提案手法はクリーンでノイズの多いラベル付きCIFAR-10データセットを用いて検証した。
  論文  参考訳（メタデータ） (2024-04-16T06:40:51Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Last layer state space model for representation learning and uncertainty quantification [0.0]
  本稿では,低次元状態を学ぶための表現学習段階と,不確実性推定のための状態空間モデルという2つのステップで分類・回帰タスクを分解することを提案する。 我々は、状態空間をベースとした最後の層を追加することで、既存のトレーニング済みニューラルネットワーク上に予測分布を推定する方法を実証する。 我々のモデルは、未知あるいは不利用可能な変数のため、ノイズの多いデータ構造を考慮し、予測に対して信頼区間を提供することができる。
  論文  参考訳（メタデータ） (2023-07-04T08:37:37Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Confidence estimation of classification based on the distribution of the neural network output layer [4.529188601556233]
  現実の世界における予測モデルの適用を防ぐための最も一般的な問題の1つは一般化の欠如である。 ニューラルネットワーク分類モデルにより生成された特定の予測の不確かさを推定する新しい手法を提案する。 提案手法は,この予測に対応するロジット値の分布に基づいて,特定の予測の信頼性を推定する。
  論文  参考訳（メタデータ） (2022-10-14T12:32:50Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。