論文の概要: Robust Gaussian Processes via Relevance Pursuit

• arxiv url: http://arxiv.org/abs/2410.24222v1
• Date: Thu, 31 Oct 2024 17:59:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:02:35.595568
• Title: Robust Gaussian Processes via Relevance Pursuit
• Title（参考訳）: 関係探索によるロバストガウス過程
• Authors: Sebastian Ament, Elizabeth Santorella, David Eriksson, Ben Letham, Maximilian Balandat, Eytan Bakshy,
• Abstract要約: 本稿では,データポイント固有ノイズレベルを推定することにより,スパースアウトレーヤに対するロバスト性を実現するGPモデルを提案する。 我々は,データポイント固有ノイズ分散において,関連する対数限界確率が強く抑制されるようなパラメータ化が可能であることを,驚くべきことに示している。
• 参考スコア（独自算出の注目度）: 17.39376866275623
• License:
• Abstract: Gaussian processes (GPs) are non-parametric probabilistic regression models that are popular due to their flexibility, data efficiency, and well-calibrated uncertainty estimates. However, standard GP models assume homoskedastic Gaussian noise, while many real-world applications are subject to non-Gaussian corruptions. Variants of GPs that are more robust to alternative noise models have been proposed, and entail significant trade-offs between accuracy and robustness, and between computational requirements and theoretical guarantees. In this work, we propose and study a GP model that achieves robustness against sparse outliers by inferring data-point-specific noise levels with a sequential selection procedure maximizing the log marginal likelihood that we refer to as relevance pursuit. We show, surprisingly, that the model can be parameterized such that the associated log marginal likelihood is strongly concave in the data-point-specific noise variances, a property rarely found in either robust regression objectives or GP marginal likelihoods. This in turn implies the weak submodularity of the corresponding subset selection problem, and thereby proves approximation guarantees for the proposed algorithm. We compare the model's performance relative to other approaches on diverse regression and Bayesian optimization tasks, including the challenging but common setting of sparse corruptions of the labels within or close to the function range.
• Abstract（参考訳）: ガウス過程 (GP) は非パラメトリック確率回帰モデルであり、その柔軟性、データ効率、よく校正された不確実性推定によって人気がある。 しかし、標準的なGPモデルはホモスケダス的ガウスノイズを仮定するが、現実の多くの応用はガウス的でない汚職の対象となっている。 代替ノイズモデルに対してより堅牢なGPの変数が提案され、精度とロバスト性、計算要求と理論的保証の間に大きなトレードオフが生じる。 本研究では,データポイント固有ノイズレベルを逐次選択法で推定し,スパークアウトレーヤに対するロバスト性を実現するGPモデルを提案する。 我々は,ロバストな回帰目標やGPの辺縁確率にはほとんど見つからない特性であるデータポイント固有ノイズ分散において,関連する対数限界確率が強いようにパラメータ化できることを示した。 このことは、対応する部分集合選択問題の弱部分モジュラリティを意味し、その結果、提案アルゴリズムの近似保証が証明される。 モデルの性能を,様々な回帰およびベイズ最適化タスクに対する他の手法と比較して比較する。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Continuous Bayesian Model Selection for Multivariate Causal Discovery [22.945274948173182]
  現在の因果的発見アプローチは、構造的識別可能性を確保するために、限定的なモデル仮定や介入データへのアクセスを必要とする。 近年の研究では、ベイズモデルの選択はより柔軟な仮定のために制限的モデリングを交換することで精度を大幅に向上させることができることが示されている。 合成データセットと実世界のデータセットの両方において、我々のアプローチの競争力を実証する。
  論文  参考訳（メタデータ） (2024-11-15T12:55:05Z)
• Likelihood approximations via Gaussian approximate inference [3.4991031406102238]
  ガウス密度による非ガウス確率の影響を近似する効率的なスキームを提案する。 その結果,大規模な点推定および分布推定設定における二進分類と多進分類の近似精度が向上した。 副産物として,提案した近似ログ類似度は,ニューラルネットワーク分類のためのラベルの最小二乗よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-28T05:39:26Z)
• Noise-Aware Differentially Private Variational Inference [5.4619385369457225]
  差分プライバシー(DP)は統計的推測に対して堅牢なプライバシー保証を提供するが、これは下流アプリケーションにおいて信頼性の低い結果とバイアスをもたらす可能性がある。 勾配変動推定に基づく雑音を考慮した近似ベイズ推定法を提案する。 また,より正確な雑音認識後部評価手法を提案する。
  論文  参考訳（メタデータ） (2024-10-25T08:18:49Z)
• Neural Operator Variational Inference based on Regularized Stein Discrepancy for Deep Gaussian Processes [23.87733307119697]
  本稿では,深いガウス過程に対するニューラル演算子変分推論(NOVI)を提案する。 NOVIは、ニューラルジェネレータを使用してサンプリング装置を取得し、生成された分布と真の後部の間のL2空間における正規化スタインの離散性を最小化する。 提案手法が提案するバイアスは定数で発散を乗算することで制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-09-22T06:56:35Z)
• Towards Better Certified Segmentation via Diffusion Models [62.21617614504225]
  セグメンテーションモデルは敵の摂動に弱いため、医療や自動運転といった重要な意思決定システムでの使用を妨げます。 近年,理論的保証を得るためにガウス雑音を入力に加えることにより,セグメント化予測のランダム化が提案されている。 本稿では,ランダムな平滑化と拡散モデルを組み合わせたセグメンテーション予測の問題に対処する。
  論文  参考訳（メタデータ） (2023-06-16T16:30:39Z)
• Gaussian Processes with State-Dependent Noise for Stochastic Control [2.842794675894731]
  力学系の残留モデル不確実性はガウス過程(GP)を用いて学習される 2つのGPは相互依存しており、反復アルゴリズムを用いて共同で学習される。
  論文  参考訳（メタデータ） (2023-05-25T16:36:57Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Partial Identification with Noisy Covariates: A Robust Optimization Approach [94.10051154390237]
  観測データセットからの因果推論は、しばしば共変量の測定と調整に依存する。 このロバストな最適化手法により、広範囲な因果調整法を拡張し、部分的同定を行うことができることを示す。 合成および実データセット全体で、このアプローチは既存の手法よりも高いカバレッジ確率でATEバウンダリを提供する。
  論文  参考訳（メタデータ） (2022-02-22T04:24:26Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。