論文の概要: Stationarity without mean reversion: Improper Gaussian process regression and improper kernels

• arxiv url: http://arxiv.org/abs/2310.02877v1
• Date: Wed, 4 Oct 2023 15:11:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 14:41:49.083654
• Title: Stationarity without mean reversion: Improper Gaussian process regression and improper kernels
• Title（参考訳）: 平均回帰のない定常性:不適切なガウス過程回帰と不適切な核
• Authors: Luca Ambrogioni
• Abstract要約: 我々は,不適切なGPを無限分散に先立って使用することにより,定常だが逆転を意味するものではないプロセスを定義することができることを示す。 具体的には、無限に滑らかなサンプルを生成するSmooth Walkカーネルと、不適切なMat'ernカーネル群を紹介する。
• 参考スコア（独自算出の注目度）: 6.4322891559626125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian processes (GP) regression has gained substantial popularity in machine learning applications. The behavior of a GP regression depends on the choice of covariance function. Stationary covariance functions are favorite in machine learning applications. However, (non-periodic) stationary covariance functions are always mean reverting and can therefore exhibit pathological behavior when applied to data that does not relax to a fixed global mean value. In this paper, we show that it is possible to use improper GP prior with infinite variance to define processes that are stationary but not mean reverting. To this aim, we introduce a large class of improper kernels that can only be defined in this improper regime. Specifically, we introduce the Smooth Walk kernel, which produces infinitely smooth samples, and a family of improper Mat\'ern kernels, which can be defined to be $j$-times differentiable for any integer $j$. The resulting posterior distributions can be computed analytically and it involves a simple correction of the usual formulas. By analyzing both synthetic and real data, we demonstrate that these improper kernels solve some known pathologies of mean reverting GP regression while retaining most of the favourable properties of ordinary smooth stationary kernels.
• Abstract（参考訳）: ガウス過程(gp)回帰は機械学習アプリケーションでかなりの人気を集めている。 GP回帰の挙動は共分散関数の選択に依存する。 定常共分散関数は機械学習アプリケーションで好まれる。 しかし、(周期的でない)定常共分散関数は常に平均反転であり、固定された大域平均値に緩和しないデータに適用すると、病的挙動を示すことができる。 本稿では,不適切なGPを無限分散に先立って使用することにより,定常だが逆転ではないプロセスを定義することができることを示す。 この目的のために、この不適切なレジームでのみ定義可能な不適切なカーネルの大規模なクラスを導入する。 具体的には、無限に滑らかなサンプルを生成するSmooth Walkカーネルと、任意の整数$j$に対して$j$-times微分可能と定義できる不適切なMat\'ernカーネル群を紹介する。 結果として得られる後続分布は解析的に計算でき、通常の公式の単純な修正が伴う。 これらの不適切なカーネルは、合成データと実データの両方を解析することにより、通常のスムーズな定常カーネルのほとんどの特性を維持しつつ、平均反転GP回帰の既知の病理を解くことを示した。

関連論文リスト

• High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization [83.06112052443233]
  本稿では,共変量シフト下での高次元におけるカーネルリッジの回帰について検討する。 バイアス分散分解により、再重み付け戦略が分散を減少させることができることを理論的に証明する。 偏見について,任意の偏見の正則化を解析し,偏見が正則化の異なる尺度で非常に異なる振る舞いをすることができることを示す。
  論文  参考訳（メタデータ） (2024-06-05T12:03:27Z)
• Sample Path Regularity of Gaussian Processes from the Covariance Kernel [25.021782278452005]
  ガウス過程(英: Gaussian process、GP)は、函数の空間上の確率分布を定義するための最も一般的な形式である。 対応するGPのサンプルパスに対する共分散カーネルに必要十分条件を与え、与えられた正則性を達成する。 この結果から,機械学習アプリケーションでよく用いられるGPのサンプルパス規則性の,新規かつ異常に厳密なキャラクタリゼーションが可能となった。
  論文  参考訳（メタデータ） (2023-12-22T18:05:18Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Shallow and Deep Nonparametric Convolutions for Gaussian Processes [0.0]
  GPの非パラメトリックプロセス畳み込み定式化を導入し,機能サンプリング手法を用いて弱点を緩和する。 古典的ディープGPモデルの代替となるこれらの非パラメトリック畳み込みの合成を提案する。
  論文  参考訳（メタデータ） (2022-06-17T19:03:04Z)
• Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
  本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:15:09Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Disentangling Derivatives, Uncertainty and Error in Gaussian Process Models [12.229461458053809]
  本稿では,GPモデルの誘導体を用いて解析誤差伝播の定式化を行う方法を紹介する。 赤外線観測データから温度予測問題における予測分散と伝播誤差項を解析した。
  論文  参考訳（メタデータ） (2020-12-09T10:03:13Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• Sequential Gaussian Processes for Online Learning of Nonstationary Functions [9.997259201098602]
  連続モンテカルロアルゴリズムは,オンラインの分散推論を可能としながら,非定常挙動を捉えたGPの無限混合に適合する。 提案手法は,時系列データにおける非定常性の存在下でのオンラインGP推定における最先端手法の性能を実証的に改善する。
  論文  参考訳（メタデータ） (2019-05-24T02:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。