論文の概要: Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes

• arxiv url: http://arxiv.org/abs/2210.07612v1
• Date: Fri, 14 Oct 2022 08:09:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 15:31:27.040261
• Title: Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes
• Title（参考訳）: ガウス過程を用いた不確かさ推定における単調性と二重降下
• Authors: Liam Hodgkinson, Chris van der Heide, Fred Roosta, Michael W. Mahoney
• Abstract要約: ガウス過程の設定において、部分的に肯定的かつ部分的に否定的な答えを与える。 最適調整GPのモデル品質は, 入力次元が大きい場合, 限界条件下で高いモデル品質が得られることを示す。 非単調性を示す後部予測損失の関連型を強調した。
• 参考スコア（独自算出の注目度）: 52.92110730286403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The quality of many modern machine learning models improves as model complexity increases, an effect that has been quantified, for predictive performance, with the non-monotonic double descent learning curve. Here, we address the overarching question: is there an analogous theory of double descent for models which estimate uncertainty? We provide a partially affirmative and partially negative answer in the setting of Gaussian processes (GP). Under standard assumptions, we prove that higher model quality for optimally-tuned GPs (including uncertainty prediction) under marginal likelihood is realized for larger input dimensions, and therefore exhibits a monotone error curve. After showing that marginal likelihood does not naturally exhibit double descent in the input dimension, we highlight related forms of posterior predictive loss that do exhibit non-monotonicity. Finally, we verify empirically that our results hold for real data, beyond our considered assumptions, and we explore consequences involving synthetic covariates.
• Abstract（参考訳）: モデルの複雑さが増すにつれて、多くの現代の機械学習モデルの品質が向上し、非単調な二重降下学習曲線によって予測性能が定量化されている。 ここでは、不確実性を見積もるモデルに対して、二重降下の類似理論があるだろうか? ガウス過程(GP)の設定において、部分的に肯定的かつ部分的に否定的な答えを与える。 標準の仮定の下では、より広い入力次元において、最適に調整されたgps(不確実性予測を含む)のモデル品質がより高まることを証明し、モノトーン誤差曲線を示す。 入力次元において辺縁性は自然に二重降下しないことを示した後、非単調性を示す後部予測損失の関連形式を強調した。 最後に,結果が実データに対して成り立つことを実証的に検証し,合成共変量を含む結果について検討する。

関連論文リスト

• Regulating Model Reliance on Non-Robust Features by Smoothing Input Marginal Density [93.32594873253534]
  信頼できる機械学習は、非ロバストな特徴に依存するモデルの厳密な規制を必要とする。 本稿では,モデル予測を入力に関連付けることによって,そのような特徴を記述・規制するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T09:16:56Z)
• Valid causal inference with unobserved confounding in high-dimensional settings [0.0]
  半パラメトリックな推論が、観測されていない共同創設者や高次元ニュアンスモデルの存在下でどのように得られるかを示す。 本研究では、観測不能な共振を許容する不確実区間を提案し、観測不能な共振の量が小さい場合、その結果の推論が有効であることを示す。
  論文  参考訳（メタデータ） (2024-01-12T13:21:20Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Leveraging Self-Consistency for Data-Efficient Amortized Bayesian Inference [9.940560505044122]
  本稿では,償却ベイズ推定の効率と精度を向上させる手法を提案する。 我々は,関節モデルの近似表現に基づいて限界確率を推定する。
  論文  参考訳（メタデータ） (2023-10-06T17:41:41Z)
• Measurement-altered Ising quantum criticality [6.436344983789632]
  その結果, アンタングゲートの選択, アンシラ測定基準, 測定結果, およびアシラ相関の性質に依存して, 長距離相関を変更できることが示唆された。 また, 測定量の平均値におけるIsing臨界度を検出するための2つの手法を同定した。
  論文  参考訳（メタデータ） (2023-02-08T20:40:26Z)
• Bayesian Model Selection, the Marginal Likelihood, and Generalization [49.19092837058752]
  まず,学習制約と仮説テストの限界的可能性の魅力について再考する。 ニューラルアーキテクチャ探索において,限界確率が一般化と負の相関関係を持つことが示唆された。 また, 限界確率とPAC-Bayes境界との接続を再検討し, モデル選択における限界確率の欠点をさらに解明するためにこの接続を利用する。
  論文  参考訳（メタデータ） (2022-02-23T18:38:16Z)
• Theoretical characterization of uncertainty in high-dimensional linear classification [24.073221004661427]
  本研究では,高次元入力データとラベルの限られたサンプル数から学習する不確実性が,近似メッセージパッシングアルゴリズムによって得られることを示す。 我々は,信頼度を適切に正則化することで緩和する方法について論じるとともに,損失に対するクロスバリデーションが0/1誤差よりもキャリブレーションが優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-07T15:32:07Z)
• When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
  既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。 不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。 本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-07T18:31:47Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)
• Uncertainty-Gated Stochastic Sequential Model for EHR Mortality Prediction [6.170898159041278]
  本稿では,欠落変数の分布を推定し,隠れ状態の更新を行い,院内死亡の可能性を予測できる新しい変動再帰ネットワークを提案する。 我々のモデルは、これらの手順を1つのストリームで実行し、エンドツーエンドで全てのネットワークパラメータを共同で学習できることは注目に値する。
  論文  参考訳（メタデータ） (2020-03-02T04:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。