論文の概要: Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes

• arxiv url: http://arxiv.org/abs/2210.07612v2
• Date: Tue, 25 Jul 2023 22:51:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-27 16:23:00.129944
• Title: Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes
• Title（参考訳）: ガウス過程を用いた不確かさ推定における単調性と二重降下
• Authors: Liam Hodgkinson, Chris van der Heide, Fred Roosta, Michael W. Mahoney
• Abstract要約: 限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。 我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。 また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
• 参考スコア（独自算出の注目度）: 52.92110730286403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite their importance for assessing reliability of predictions, uncertainty quantification (UQ) measures for machine learning models have only recently begun to be rigorously characterized. One prominent issue is the curse of dimensionality: it is commonly believed that the marginal likelihood should be reminiscent of cross-validation metrics and that both should deteriorate with larger input dimensions. We prove that by tuning hyperparameters to maximize marginal likelihood (the empirical Bayes procedure), the performance, as measured by the marginal likelihood, improves monotonically} with the input dimension. On the other hand, we prove that cross-validation metrics exhibit qualitatively different behavior that is characteristic of double descent. Cold posteriors, which have recently attracted interest due to their improved performance in certain settings, appear to exacerbate these phenomena. We verify empirically that our results hold for real data, beyond our considered assumptions, and we explore consequences involving synthetic covariates.
• Abstract（参考訳）: 予測の信頼性を評価する重要性にもかかわらず、機械学習モデルに対する不確実性定量化(uq)対策が厳密に特徴付けられるようになったのはごく最近である。 1つの顕著な問題は次元の呪いであり、周縁の確率は相互評価の指標を思い起こさせるべきであり、両者はより大きな入力次元で劣化するべきであると一般に信じられている。 実験的なベイズ法(ベイズ法)を最大化するためにハイパーパラメータをチューニングすることにより、その性能が入力次元とともに単調に向上することを証明する。 一方,交叉評価指標が二重降下の特徴である定性的に異なる挙動を示すことを証明した。 寒冷な後部は、特定の環境での性能向上により最近関心を惹きつけており、これらの現象が悪化しているようである。 我々は,結果が実データに対して成り立つことを実証的に検証し,合成共変量を含む結果について検討する。

関連論文リスト

• Regulating Model Reliance on Non-Robust Features by Smoothing Input Marginal Density [93.32594873253534]
  信頼できる機械学習は、非ロバストな特徴に依存するモデルの厳密な規制を必要とする。 本稿では,モデル予測を入力に関連付けることによって,そのような特徴を記述・規制するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T09:16:56Z)
• Valid causal inference with unobserved confounding in high-dimensional settings [0.0]
  半パラメトリックな推論が、観測されていない共同創設者や高次元ニュアンスモデルの存在下でどのように得られるかを示す。 本研究では、観測不能な共振を許容する不確実区間を提案し、観測不能な共振の量が小さい場合、その結果の推論が有効であることを示す。
  論文  参考訳（メタデータ） (2024-01-12T13:21:20Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Leveraging Self-Consistency for Data-Efficient Amortized Bayesian Inference [9.940560505044122]
  本稿では,償却ベイズ推定の効率と精度を向上させる手法を提案する。 我々は,関節モデルの近似表現に基づいて限界確率を推定する。
  論文  参考訳（メタデータ） (2023-10-06T17:41:41Z)
• Measurement-altered Ising quantum criticality [6.436344983789632]
  その結果, アンタングゲートの選択, アンシラ測定基準, 測定結果, およびアシラ相関の性質に依存して, 長距離相関を変更できることが示唆された。 また, 測定量の平均値におけるIsing臨界度を検出するための2つの手法を同定した。
  論文  参考訳（メタデータ） (2023-02-08T20:40:26Z)
• Bayesian Model Selection, the Marginal Likelihood, and Generalization [49.19092837058752]
  まず,学習制約と仮説テストの限界的可能性の魅力について再考する。 ニューラルアーキテクチャ探索において,限界確率が一般化と負の相関関係を持つことが示唆された。 また, 限界確率とPAC-Bayes境界との接続を再検討し, モデル選択における限界確率の欠点をさらに解明するためにこの接続を利用する。
  論文  参考訳（メタデータ） (2022-02-23T18:38:16Z)
• Theoretical characterization of uncertainty in high-dimensional linear classification [24.073221004661427]
  本研究では,高次元入力データとラベルの限られたサンプル数から学習する不確実性が,近似メッセージパッシングアルゴリズムによって得られることを示す。 我々は,信頼度を適切に正則化することで緩和する方法について論じるとともに,損失に対するクロスバリデーションが0/1誤差よりもキャリブレーションが優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-07T15:32:07Z)
• When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
  既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。 不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。 本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-07T18:31:47Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)
• Uncertainty-Gated Stochastic Sequential Model for EHR Mortality Prediction [6.170898159041278]
  本稿では,欠落変数の分布を推定し,隠れ状態の更新を行い,院内死亡の可能性を予測できる新しい変動再帰ネットワークを提案する。 我々のモデルは、これらの手順を1つのストリームで実行し、エンドツーエンドで全てのネットワークパラメータを共同で学習できることは注目に値する。
  論文  参考訳（メタデータ） (2020-03-02T04:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。