論文の概要: Physics Inspired Approaches Towards Understanding Gaussian Processes

• arxiv url: http://arxiv.org/abs/2305.10748v1
• Date: Thu, 18 May 2023 06:39:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 16:32:36.030885
• Title: Physics Inspired Approaches Towards Understanding Gaussian Processes
• Title（参考訳）: ガウス過程を理解するための物理学的アプローチ
• Authors: Maximilian P. Niroomand and Luke Dicks and Edward O. Pyzer-Knapp and David J. Wales
• Abstract要約: 本稿では,GPモデルにおける損失状況の解析に物理手法を用いて貢献する。 マターン核に対する$nu$-continuityを示し、損失ランドスケープにおける臨界点におけるカタストロフィ理論の側面を概説する。 また、GPアンサンブルの効果を評価するための事前手法を提案し、損失景観の物理的特性に基づく様々な投票手法について議論する。
• 参考スコア（独自算出の注目度）: 0.9712140341805067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prior beliefs about the latent function to shape inductive biases can be incorporated into a Gaussian Process (GP) via the kernel. However, beyond kernel choices, the decision-making process of GP models remains poorly understood. In this work, we contribute an analysis of the loss landscape for GP models using methods from physics. We demonstrate $\nu$-continuity for Matern kernels and outline aspects of catastrophe theory at critical points in the loss landscape. By directly including $\nu$ in the hyperparameter optimisation for Matern kernels, we find that typical values of $\nu$ are far from optimal in terms of performance, yet prevail in the literature due to the increased computational speed. We also provide an a priori method for evaluating the effect of GP ensembles and discuss various voting approaches based on physical properties of the loss landscape. The utility of these approaches is demonstrated for various synthetic and real datasets. Our findings provide an enhanced understanding of the decision-making process behind GPs and offer practical guidance for improving their performance and interpretability in a range of applications.
• Abstract（参考訳）: 誘導バイアスを形成する潜在関数に関する以前の信念は、カーネルを介してガウス過程(GP)に組み込むことができる。 しかし、カーネル選択以外にもgpモデルの意思決定過程はよく分かっていない。 本研究では,GPモデルにおける損失状況の解析に物理手法を用いて貢献する。 我々は,母子核に対する$\nu$-continuityを実証し,損失景観の臨界点におけるカタストロフィー理論の概要を示す。 Maternカーネルのハイパーパラメータ最適化に$\nu$を直接組み込むことで、$\nu$の典型的な値は性能面では最適ではないが、計算速度の増大により文献で広く用いられている。 また、GPアンサンブルの効果を評価するための事前手法を提案し、損失景観の物理的特性に基づく様々な投票手法について議論する。 これらのアプローチの有用性は、様々な合成および実データに対して実証される。 本研究は,GPの背後にある意思決定プロセスの理解を深め,様々なアプリケーションの性能向上と解釈可能性向上のための実践的なガイダンスを提供する。

関連論文リスト

• Kernel Approximation of Fisher-Rao Gradient Flows [52.154685604660465]
  本稿では,フィッシャー・ラオ型およびワッサーシュタイン型勾配流の勾配構造,流れ方程式,および核近似に関する厳密な研究を行う。 具体的には、フィッシャー・ラオ幾何学とその様々なカーネルに基づく近似に注目し、原理的な理論的枠組みを開発する。
  論文  参考訳（メタデータ） (2024-10-27T22:52:08Z)
• Amortized Variational Inference for Deep Gaussian Processes [0.0]
  ディープガウス過程(DGP)はガウス過程(GP)の多層一般化である 本稿では,DGPに対して,各観測を変動パラメータにマッピングする推論関数を学習するアモータライズされた変分推論を導入する。 本手法は, 計算コストの低い従来の手法よりも, 同様に, あるいはより優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-18T20:23:27Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• FaDIn: Fast Discretized Inference for Hawkes Processes with General Parametric Kernels [82.53569355337586]
  この研究は、有限なサポートを持つ一般パラメトリックカーネルを用いた時間点プロセス推論の効率的な解を提供する。 脳磁図(MEG)により記録された脳信号からの刺激誘発パターンの発生をモデル化し,その有効性を評価する。 その結果,提案手法により,最先端技術よりもパターン遅延の推定精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-10-10T12:35:02Z)
• Meta-learning Feature Representations for Adaptive Gaussian Processes via Implicit Differentiation [1.5293427903448025]
  メタラーニングと従来の学習の補間により深層カーネルを学習するための一般的なフレームワークを提案する。 ADKFは完全に一般的な方法であるが、薬物発見問題に特に適していると論じる。
  論文  参考訳（メタデータ） (2022-05-05T15:26:53Z)
• Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
  本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:15:09Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Adversarial Robustness Guarantees for Gaussian Processes [22.403365399119107]
  ガウス過程(GP)は、モデルの不確実性の原理的計算を可能にし、安全性に重要なアプリケーションに魅力的です。 境界付き摂動に対するモデル決定の不変性として定義されるGPの対向的堅牢性を分析するためのフレームワークを提案する。 我々は境界を洗練し、任意の$epsilon > 0$に対して、我々のアルゴリズムが有限個の反復で実際の値に$epsilon$-closeの値に収束することを保証していることを示す分岐とバウンドのスキームを開発する。
  論文  参考訳（メタデータ） (2021-04-07T15:14:56Z)
• KrigHedge: Gaussian Process Surrogates for Delta Hedging [0.0]
  ガウス過程(GP)サロゲートに基づくギリシャ語の近似をオプション化する機械学習手法について検討する。 本稿では,カーネルファミリーの選択,シミュレーション設計,トレンド関数の選択,ノイズの影響など,GPサロゲートのさまざまな側面を詳細に分析する。 デルタ近似の品質と離散時間ヘッジ損失を関連付ける新しいLemmaを含むデルタヘッジへの応用について論じる。
  論文  参考訳（メタデータ） (2020-10-16T14:08:13Z)
• Beyond variance reduction: Understanding the true impact of baselines on policy optimization [24.09670734037029]
  学習力学は損失関数の曲率と勾配推定の雑音によって制御されることを示す。 我々は,少なくとも包帯問題では,曲率や雑音が学習力学を説明するのに十分でないことを示す理論的結果を示す。
  論文  参考訳（メタデータ） (2020-08-31T17:52:09Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。