論文の概要: Maximum Likelihood Estimation in Gaussian Process Regression is Ill-Posed

• arxiv url: http://arxiv.org/abs/2203.09179v3
• Date: Tue, 25 Apr 2023 07:59:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 00:21:40.724576
• Title: Maximum Likelihood Estimation in Gaussian Process Regression is Ill-Posed
• Title（参考訳）: ガウス過程回帰における最大確率推定は不適切である
• Authors: Toni Karvonen and Chris J. Oates
• Abstract要約: 最大極大推定が適切である状況を確立することは、依然として未解決の問題である。 本稿は、最大可能性推定器が正しく提示されないシナリオを特定する。 最大推定の失敗はガウス過程の民俗学の一部ではあるが、これらの厳密な理論的な結果はそれらの種類の最初のものと思われる。
• 参考スコア（独自算出の注目度）: 7.018149356115115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian process regression underpins countless academic and industrial applications of machine learning and statistics, with maximum likelihood estimation routinely used to select appropriate parameters for the covariance kernel. However, it remains an open problem to establish the circumstances in which maximum likelihood estimation is well-posed, that is, when the predictions of the regression model are insensitive to small perturbations of the data. This article identifies scenarios where the maximum likelihood estimator fails to be well-posed, in that the predictive distributions are not Lipschitz in the data with respect to the Hellinger distance. These failure cases occur in the noiseless data setting, for any Gaussian process with a stationary covariance function whose lengthscale parameter is estimated using maximum likelihood. Although the failure of maximum likelihood estimation is part of Gaussian process folklore, these rigorous theoretical results appear to be the first of their kind. The implication of these negative results is that well-posedness may need to be assessed post-hoc, on a case-by-case basis, when maximum likelihood estimation is used to train a Gaussian process model.
• Abstract（参考訳）: ガウス過程の回帰は、機械学習と統計学の無数の学術的および工業的応用を基盤としており、最大推定値は、共分散カーネルの適切なパラメータを選択するために日常的に使用される。 しかしながら、回帰モデルの予測がデータの小さな摂動に影響を受けないような場合、最大帰納推定が適切に設定される状況を確立することは、まだ未解決の問題である。 本稿は,データ内の予測分布がヘリンガー距離に関してリプシッツではない場合に,最大確率推定器が適切に適用されないシナリオを明らかにする。 これらの障害ケースは、最大確率で長さスケールパラメータを推定する定常共分散関数を持つガウス過程において、ノイズのないデータ設定で発生する。 最大推定の失敗はガウス過程の民俗学の一部ではあるが、これらの厳密な理論的な結果がこの種の最初のものと思われる。 これらの負の結果は、ガウス過程モデルのトレーニングに最大推定値を用いた場合、ケース・バイ・ケース・ケース・バイ・ケースにおいて、適切性を評価する必要があることを示唆している。

関連論文リスト

• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Robust Gaussian Process Regression with Huber Likelihood [2.7184224088243365]
  本稿では,ハマー確率分布として表される観測データの可能性を考慮した,ガウス過程フレームワークにおけるロバストなプロセスモデルを提案する。 提案モデルでは、予測統計に基づく重みを用いて、残差を拡大し、潜伏関数推定における垂直外れ値と悪レバレッジ点の影響を限定する。
  論文  参考訳（メタデータ） (2023-01-19T02:59:33Z)
• Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
  ガウスのプロセスはデータセットのサイズとともに違法にスケールする。 多くの近似法が開発されており、必然的に近似誤差を導入している。 この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。 本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
  論文  参考訳（メタデータ） (2022-05-30T22:16:25Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression [91.3373131262391]
  不確かさが唯一の確実性である。 伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。 現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
  論文  参考訳（メタデータ） (2021-03-25T06:56:09Z)
• Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
  パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。 我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
  論文  参考訳（メタデータ） (2020-10-11T19:05:49Z)
• Maximum likelihood estimation and uncertainty quantification for Gaussian process approximation of deterministic functions [10.319367855067476]
  本稿は、ガウス過程の回帰の文脈において、ノイズのないデータセットを用いた最初の理論的分析の1つを提供する。 本稿では,スケールパラメータのみの最大推定がガウス過程モデルの不特定に対する顕著な適応をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-01-29T17:20:21Z)
• Robust Gaussian Process Regression with a Bias Model [0.6850683267295248]
  既存のほとんどのアプローチは、重い尾の分布から誘導される非ガウス的確率に、外れやすいガウス的確率を置き換えるものである。 提案手法は、未知の回帰関数の雑音および偏りの観測として、外れ値をモデル化する。 バイアス推定に基づいて、ロバストなGP回帰を標準のGP回帰問題に還元することができる。
  論文  参考訳（メタデータ） (2020-01-14T06:21:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。