論文の概要: Understanding the Under-Coverage Bias in Uncertainty Estimation

• arxiv url: http://arxiv.org/abs/2106.05515v1
• Date: Thu, 10 Jun 2021 06:11:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 14:29:05.094229
• Title: Understanding the Under-Coverage Bias in Uncertainty Estimation
• Title（参考訳）: 不確実性推定における被覆バイアスの理解
• Authors: Yu Bai, Song Mei, Huan Wang, Caiming Xiong
• Abstract要約: 量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。 我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。 我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
• 参考スコア（独自算出の注目度）: 58.03725169462616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating the data uncertainty in regression tasks is often done by learning a quantile function or a prediction interval of the true label conditioned on the input. It is frequently observed that quantile regression -- a vanilla algorithm for learning quantiles with asymptotic guarantees -- tends to \emph{under-cover} than the desired coverage level in reality. While various fixes have been proposed, a more fundamental understanding of why this under-coverage bias happens in the first place remains elusive. In this paper, we present a rigorous theoretical study on the coverage of uncertainty estimation algorithms in learning quantiles. We prove that quantile regression suffers from an inherent under-coverage bias, in a vanilla setting where we learn a realizable linear quantile function and there is more data than parameters. More quantitatively, for $\alpha>0.5$ and small $d/n$, the $\alpha$-quantile learned by quantile regression roughly achieves coverage $\alpha - (\alpha-1/2)\cdot d/n$ regardless of the noise distribution, where $d$ is the input dimension and $n$ is the number of training data. Our theory reveals that this under-coverage bias stems from a certain high-dimensional parameter estimation error that is not implied by existing theories on quantile regression. Experiments on simulated and real data verify our theory and further illustrate the effect of various factors such as sample size and model capacity on the under-coverage bias in more practical setups.
• Abstract（参考訳）: 回帰タスクにおけるデータ不確実性の推定は、しばしば、入力に条件付けられた真のラベルの量子関数や予測間隔を学ぶことによって行われる。 漸近的保証を持つ分位数を学習するためのバニラアルゴリズムである分位数回帰は、現実の所望のカバレッジレベルよりも\emph{under-cover} が多いことがしばしば観察される。 様々な修正が提案されているが、この過大な偏見がそもそもなぜ起こるのかというより根本的な理解はいまだに解明されていない。 本稿では,学習量論における不確かさ推定アルゴリズムの適用範囲に関する厳密な理論的研究を行う。 定位回帰は, 線形定位関数が実現可能であり, パラメータ以上のデータが存在するバニラ設定において, 固有の非被覆バイアスに苦しむことを証明した。 より定量的に、$\alpha>0.5$ と small $d/n$ に対して、量子化回帰によって学習された$\alpha$-quantile は、ノイズ分布に関係なく$\alpha - (\alpha-1/2)\cdot d/n$ の範囲をほぼ達成し、$d$ は入力次元、$n$ はトレーニングデータ数である。 本理論では, この非被覆バイアスは, 定位回帰理論に含まない特定の高次元パラメータ推定誤差に起因していることを明らかにした。 シミュレーションおよび実データを用いた実験は,本理論を検証し,サンプルサイズやモデルキャパシティなどの諸要因が,より実践的な設定における下層偏差に及ぼす影響を検証した。

関連論文リスト

• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Robust deep learning from weakly dependent data [0.0]
  本稿では, 弱い依存度を持つ観測結果から, 非有界損失関数と非有界入力/出力を含む頑健な深層学習を考察する。 これらの境界と$r$の関係を導き、データが任意の順序のモーメント(すなわち$r=infty$)を持つとき、収束率はよく知られた結果に近い。
  論文  参考訳（メタデータ） (2024-05-08T14:25:40Z)
• Lazy Estimation of Variable Importance for Large Neural Networks [22.95405462638975]
  そこで本研究では,重要な推論保証付き縮小モデルを高速かつフレキシブルに近似する手法を提案する。 いくつかのデータ生成体制下では,本手法が高速かつ正確であることを示し,季節風予報の例で実世界の適用性を示す。
  論文  参考訳（メタデータ） (2022-07-19T06:28:17Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Flexible Model Aggregation for Quantile Regression [92.63075261170302]
  量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。 条件付き量子モデルの任意の数を集約する手法について検討する。 この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
  論文  参考訳（メタデータ） (2021-02-26T23:21:16Z)
• Regularization Strategies for Quantile Regression [8.232258589877942]
  連続的な量子の分布に対するピンボール損失を最小化することは、特定の量子の予測のみを行う場合でも良い正則化器であることを示す。 格子モデルにより予測された分布を位置スケールの族に正規化できることを示す。
  論文  参考訳（メタデータ） (2021-02-09T21:10:35Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。