論文の概要: Stochastic Gradient Descent for Gaussian Processes Done Right
- arxiv url: http://arxiv.org/abs/2310.20581v1
- Date: Tue, 31 Oct 2023 16:15:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 14:16:46.433874
- Title: Stochastic Gradient Descent for Gaussian Processes Done Right
- Title(参考訳): ガウス過程を正しく行う確率的勾配降下
- Authors: Jihao Andreas Lin, Shreyas Padhy, Javier Antor\'an, Austin Tripp,
Alexander Terenin, Csaba Szepesv\'ari, Jos\'e Miguel Hern\'andez-Lobato,
David Janz
- Abstract要約: 正方形損失を用いたガウス過程の回帰を最適化する。
この問題に対する最も一般的なアプローチは、共役最適化のような正確な解法を適用することや、問題の低次バージョンに直接適用することである。
近年, 深層学習の推進により, 勾配降下が代替手段として勢いを増していることが明らかとなった。
- 参考スコア(独自算出の注目度): 41.76406324030368
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the optimisation problem associated with Gaussian process regression
using squared loss. The most common approach to this problem is to apply an
exact solver, such as conjugate gradient descent, either directly, or to a
reduced-order version of the problem. Recently, driven by successes in deep
learning, stochastic gradient descent has gained traction as an alternative. In
this paper, we show that when done right$\unicode{x2014}$by which we mean using
specific insights from the optimisation and kernel
communities$\unicode{x2014}$this approach is highly effective. We thus
introduce a particular stochastic dual gradient descent algorithm, that may be
implemented with a few lines of code using any deep learning framework. We
explain our design decisions by illustrating their advantage against
alternatives with ablation studies and show that the new method is highly
competitive. Our evaluations on standard regression benchmarks and a Bayesian
optimisation task set our approach apart from preconditioned conjugate
gradients, variational Gaussian process approximations, and a previous version
of stochastic gradient descent for Gaussian processes. On a molecular binding
affinity prediction task, our method places Gaussian process regression on par
in terms of performance with state-of-the-art graph neural networks.
- Abstract(参考訳): ガウス過程の回帰に伴う最適化問題を二乗損失を用いて検討する。
この問題に対する最も一般的なアプローチは、共役勾配降下のような厳密な解法を直接、あるいは問題の減次バージョンに適用することである。
近年, 深層学習の成功によって, 確率的勾配降下が代替手段として注目されている。
本稿では、最適化とカーネルコミュニティからの特定の洞察を用いて、right$\unicode{x2014}$byを行う場合、このアプローチは非常に効果的であることを示す。
そこで我々は,任意のディープラーニングフレームワークを用いて,数行のコードで実装可能な,確率的双対勾配勾配アルゴリズムを導入する。
我々は, 代替案に対する優位性をアブレーション研究で示し, 新たな手法が高い競争力を持つことを示すことにより, 設計決定を述べる。
標準回帰ベンチマークとベイズ最適化タスクの評価により,事前条件付き共役勾配,変分ガウス過程近似,ガウス過程に対する前バージョンの確率的勾配降下とは別個のアプローチが確立された。
分子結合親和性予測タスクでは、最先端グラフニューラルネットワークの性能の観点からガウス過程の回帰を同等に配置する。
関連論文リスト
- Asymptotically efficient one-step stochastic gradient descent [62.997667081978825]
これはフィッシャースコアリングアルゴリズムの単一ステップで補正された対数型関数の勾配勾配に基づいている。
理論的およびシミュレーションにより、これは平均勾配あるいは適応勾配勾配の通常の勾配勾配の代替として興味深いものであることをi.d設定で示す。
論文 参考訳(メタデータ) (2023-06-09T13:43:07Z) - A Particle-based Sparse Gaussian Process Optimizer [5.672919245950197]
本稿では,下降の動的過程を利用した新しいスワム・スワムベースのフレームワークを提案する。
このアプローチの最大の利点は、降下を決定する前に現在の状態についてより深い探索を行うことである。
論文 参考訳(メタデータ) (2022-11-26T09:06:15Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Tighter Bounds on the Log Marginal Likelihood of Gaussian Process
Regression Using Conjugate Gradients [19.772149500352945]
下界の最大化によるモデルパラメータの近似的最大度学習は、スパース変分アプローチの利点の多くを保っていることを示す。
実験では、他の共役グラデーションベースのアプローチと比較して、トレーニング時間の同等の量のためのモデルで予測性能の改善を示します。
論文 参考訳(メタデータ) (2021-02-16T17:54:59Z) - Stochastic Gradient Variance Reduction by Solving a Filtering Problem [0.951828574518325]
ディープニューラルネットワーク(DNN)は一般的に最適化された勾配降下(SGD)を用いる
試料を用いた勾配推定はノイズが多く信頼性が低い傾向にあり, 勾配のばらつきが大きく, 収束不良が生じる。
勾配を一貫した推定を行う効率的な最適化アルゴリズムである textbfFilter Gradient Decent (FGD) を提案する。
論文 参考訳(メタデータ) (2020-12-22T23:48:42Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - Pathwise Conditioning of Gaussian Processes [72.61885354624604]
ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。
この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。
条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
論文 参考訳(メタデータ) (2020-11-08T17:09:37Z) - Reparametrizing gradient descent [0.0]
本稿では,ノルム適応勾配勾配という最適化アルゴリズムを提案する。
我々のアルゴリズムは準ニュートン法と比較することもできるが、定常点ではなく根を求める。
論文 参考訳(メタデータ) (2020-10-09T20:22:29Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳(メタデータ) (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。