論文の概要: Tighter Bounds on the Log Marginal Likelihood of Gaussian Process Regression Using Conjugate Gradients

• arxiv url: http://arxiv.org/abs/2102.08314v1
• Date: Tue, 16 Feb 2021 17:54:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 15:16:08.387212
• Title: Tighter Bounds on the Log Marginal Likelihood of Gaussian Process Regression Using Conjugate Gradients
• Title（参考訳）: 共役勾配を用いたガウス過程回帰の対辺可能性のより厳密な境界
• Authors: Artem Artemev, David R. Burt and Mark van der Wilk
• Abstract要約: 下界の最大化によるモデルパラメータの近似的最大度学習は、スパース変分アプローチの利点の多くを保っていることを示す。 実験では、他の共役グラデーションベースのアプローチと比較して、トレーニング時間の同等の量のためのモデルで予測性能の改善を示します。
• 参考スコア（独自算出の注目度）: 19.772149500352945
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a lower bound on the log marginal likelihood of Gaussian process regression models that can be computed without matrix factorisation of the full kernel matrix. We show that approximate maximum likelihood learning of model parameters by maximising our lower bound retains many of the sparse variational approach benefits while reducing the bias introduced into parameter learning. The basis of our bound is a more careful analysis of the log-determinant term appearing in the log marginal likelihood, as well as using the method of conjugate gradients to derive tight lower bounds on the term involving a quadratic form. Our approach is a step forward in unifying methods relying on lower bound maximisation (e.g. variational methods) and iterative approaches based on conjugate gradients for training Gaussian processes. In experiments, we show improved predictive performance with our model for a comparable amount of training time compared to other conjugate gradient based approaches.
• Abstract（参考訳）: 本稿では,全核行列の行列分解を伴わずに計算可能なガウス過程回帰モデルのログ周縁確率の下限を提案する。 我々は,パラメータ学習に導入されたバイアスを低減しつつ,下界の最大化によるモデルパラメータの近似的最大度学習が,スパース変分アプローチの利点の多くを保っていることを示す。 私たちの境界の基礎は、ログの限界可能性に現れるログ決定項のより慎重な分析と、勾配を共役する方法を使用して、二次形式を含む項のタイトな下限を導出することです。 我々のアプローチは、下限最大化(例えば、下限最大化)に依存するメソッドを統一する第一歩です。 変動法)およびガウス過程を訓練するための共役勾配に基づく反復的アプローチ。 実験では、他の共役グラデーションベースのアプローチと比較して、トレーニング時間の同等の量のためのモデルで予測性能の改善を示します。

関連論文リスト

• Towards Provable Log Density Policy Gradient [6.0891236991406945]
  政策勾配法は近代的な強化学習の成功を支える重要な要素である。 本研究は,この残留項が重要であり,強化学習手法のサンプル複雑度を向上させる可能性があることを論じる。 本稿では,この残差項を補正するポリシ勾配を推定するために,ログ密度勾配を提案する。
  論文  参考訳（メタデータ） (2024-03-03T20:09:09Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Model-Based Reparameterization Policy Gradient Methods: Theory and Practical Algorithms [88.74308282658133]
  Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。 近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。 本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T18:43:21Z)
• Noise Estimation in Gaussian Process Regression [1.5002438468152661]
  提案手法は, 相関誤差の分散と雑音の分散を, 限界確率関数の最大化に基づいて推定することができる。 従来のパラメータ最適化と比較して,提案手法の計算上の利点とロバスト性を示す。
  論文  参考訳（メタデータ） (2022-06-20T19:36:03Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• Sparse Orthogonal Variational Inference for Gaussian Processes [34.476453597078894]
  誘導点を用いたガウス過程に対するスパース変分近似の新しい解釈を導入する。 この定式化は既存の近似を復元し、同時に限界確率と新しい変分推論アルゴリズムのより厳密な下界を得ることができることを示す。
  論文  参考訳（メタデータ） (2019-10-23T15:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。