論文の概要: Non-Asymptotic Uncertainty Quantification in High-Dimensional Learning

• arxiv url: http://arxiv.org/abs/2407.13666v1
• Date: Thu, 18 Jul 2024 16:42:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 14:41:26.039370
• Title: Non-Asymptotic Uncertainty Quantification in High-Dimensional Learning
• Title（参考訳）: 高次元学習における非漸近不確かさの定量化
• Authors: Frederik Hoppe, Claudio Mayrink Verdun, Hannah Laus, Felix Krahmer, Holger Rauhut,
• Abstract要約: 不確かさの定量化は多くの高次元回帰や学習問題において決定的だが難しい課題である。 我々は、古典的回帰アプローチとニューラルネットワークの両方に適用可能な、回帰におけるUQのための新しいデータ駆動アプローチを開発した。
• 参考スコア（独自算出の注目度）: 5.318766629972959
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Uncertainty quantification (UQ) is a crucial but challenging task in many high-dimensional regression or learning problems to increase the confidence of a given predictor. We develop a new data-driven approach for UQ in regression that applies both to classical regression approaches such as the LASSO as well as to neural networks. One of the most notable UQ techniques is the debiased LASSO, which modifies the LASSO to allow for the construction of asymptotic confidence intervals by decomposing the estimation error into a Gaussian and an asymptotically vanishing bias component. However, in real-world problems with finite-dimensional data, the bias term is often too significant to be neglected, resulting in overly narrow confidence intervals. Our work rigorously addresses this issue and derives a data-driven adjustment that corrects the confidence intervals for a large class of predictors by estimating the means and variances of the bias terms from training data, exploiting high-dimensional concentration phenomena. This gives rise to non-asymptotic confidence intervals, which can help avoid overestimating uncertainty in critical applications such as MRI diagnosis. Importantly, our analysis extends beyond sparse regression to data-driven predictors like neural networks, enhancing the reliability of model-based deep learning. Our findings bridge the gap between established theory and the practical applicability of such debiased methods.
• Abstract（参考訳）: 不確実性定量化(英: Uncertainty Quantification, UQ)は、多くの高次元回帰問題や学習問題において、与えられた予測子の信頼性を高めるために重要な課題である。 我々は、LASSOのような古典的回帰アプローチとニューラルネットワークの両方に適用可能な、回帰におけるUQのための新しいデータ駆動アプローチを開発した。 最も重要なUQ手法の1つは脱バイアスLASSO(英語版)であり、これは、推定誤差をガウスと漸近的に消滅するバイアス成分に分解することで、漸近的な信頼区間を構築するためにLASSOを変更するものである。 しかし、有限次元データを持つ実世界の問題では、バイアス項は無視されるには重要すぎることが多く、過度に信頼区間が狭くなる。 我々の研究は、この問題に厳格に対処し、トレーニングデータからバイアス項の手段と分散を推定し、高次元濃度現象を利用して、大規模な予測器の信頼区間を補正するデータ駆動調整を導出する。 これにより、非漸近的な信頼区間が生まれ、MRI診断のような重要な応用における不確実性を過度に見積もることを避けることができる。 重要なことは、ニューラルネットワークのようなデータ駆動予測器へのスパースレグレッションを超えて、モデルベースのディープラーニングの信頼性を高めることです。 本研究は,確立された理論と,そのような偏りのある手法の実践的適用性とのギャップを埋めるものである。

関連論文リスト

• On Measuring Calibration of Discrete Probabilistic Neural Networks [3.120856767382004]
  高次元確率分布を最大極大で適合させるニューラルネットワークの訓練は、不確実性定量化の有効な方法となっている。 expected Error (ECE) や Negative Log Likelihood (NLL) といった従来のメトリクスには制限がある。 本稿では,これらのバイアスや仮定を伴わずにキャリブレーションの誤差を測定するために,条件付きカーネル平均埋め込みを用いた新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-20T23:30:07Z)
• Deep Evidential Learning for Dose Prediction [0.0]
  本稿では放射線治療用線量予測分野におけるDeep Evidential Learningと呼ばれる不確実性定量化フレームワークの新たな応用法を提案する。 このモデルは,ネットワークトレーニング完了時の予測誤差と相関関係を持つ不確実性推定に有効に活用できることを見出した。
  論文  参考訳（メタデータ） (2024-04-26T02:43:45Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Likelihood Annealing: Fast Calibrated Uncertainty for Regression [39.382916579076344]
  この研究は、Likelihood Annealingと呼ばれる回帰タスクに対する高速な校正不確実性推定手法を提案する。 低次元回帰問題にのみ焦点をあてる従来の回帰の不確実性を校正する手法とは異なり、本手法は高次元回帰を含む幅広い回帰問題に対してうまく機能する。
  論文  参考訳（メタデータ） (2023-02-21T21:24:35Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
  本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。 我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。 実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
  論文  参考訳（メタデータ） (2021-05-25T14:35:46Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。