論文の概要: When are Iterative Gaussian Processes Reliably Accurate?
- arxiv url: http://arxiv.org/abs/2112.15246v1
- Date: Fri, 31 Dec 2021 00:02:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-03 13:51:24.939679
- Title: When are Iterative Gaussian Processes Reliably Accurate?
- Title（参考訳）: 反復ガウス過程はいつ確実に正確か?
- Authors: Wesley J. Maddox, Sanyam Kapoor, Andrew Gordon Wilson
- Abstract要約: ランツォス分解は高度に正確な点予測を伴うスケーラブルなガウス過程推論を達成している。
CG耐性,プレコンディショナーランク,およびLaczos分解ランクについて検討した。
本稿では,LGS-BFB が反復型 GP にとって魅力的であり,より少ない更新で収束を達成することを示す。
- 参考スコア（独自算出の注目度）: 38.523693700243975
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While recent work on conjugate gradient methods and Lanczos decompositions
have achieved scalable Gaussian process inference with highly accurate point
predictions, in several implementations these iterative methods appear to
struggle with numerical instabilities in learning kernel hyperparameters, and
poor test likelihoods. By investigating CG tolerance, preconditioner rank, and
Lanczos decomposition rank, we provide a particularly simple prescription to
correct these issues: we recommend that one should use a small CG tolerance
($\epsilon \leq 0.01$) and a large root decomposition size ($r \geq 5000$).
Moreover, we show that L-BFGS-B is a compelling optimizer for Iterative GPs,
achieving convergence with fewer gradient updates.
- Abstract（参考訳）: 共役勾配法とランチョス分解に関する最近の研究は、高精度な点予測によるスケーラブルなガウス過程推論を達成しているが、いくつかの実装では、これらの反復的手法は、カーネルハイパーパラメータの学習における数値不安定性やテスト可能性の低さに苦しむようである。
CG許容度、プレコンディショナーランク、およびランツォス分解ランクを調査することにより、これらの問題を修正するための特に単純な処方令を提供する: CG許容度(\epsilon \leq 0.01$)と大きな根分解サイズ(r \geq 5000$)を使用することを推奨する。
さらに,L-BFGS-Bが反復型GPの高次最適化であり,勾配更新の少ない収束を実現していることを示す。
関連論文リスト
- From Gradient Clipping to Normalization for Heavy Tailed SGD [19.369399536643773]
最近の実証的な証拠は、機械学習の応用が重尾ノイズを伴い、実際に有界分散の標準的な仮定に挑戦していることを示している。
本稿では, 勾配依存型雑音収束問題において, テール雑音下での厳密性を実現することができることを示す。
論文 参考訳（メタデータ） (2024-10-17T17:59:01Z) - Low-Precision Arithmetic for Fast Gaussian Processes [39.720581185327816]
低精度算術はニューラルネットワークの訓練に変換効果をもたらした。
本稿では,共役勾配の直交化,混合精度,プレコンディショニングを含む多面的アプローチを提案する。
提案手法は, 広範囲な設定において, 低精度での共役勾配の数値安定性と実用性能を著しく向上させる。
論文 参考訳（メタデータ） (2022-07-14T12:20:46Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳（メタデータ） (2022-02-26T19:10:48Z) - Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent:
Convergence Guarantees and Empirical Benefits [21.353189917487512]
勾配降下(SGD)とその変種は、機械学習問題のアルゴリズムとして確立されている。
我々は、最小バッチSGDが全ログ類似損失関数の臨界点に収束することを証明して一歩前進する。
我々の理論的な保証は、核関数が指数的あるいは固有デカイを示すことを前提としている。
論文 参考訳（メタデータ） (2021-11-19T22:28:47Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳（メタデータ） (2021-10-20T02:25:25Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳（メタデータ） (2021-06-10T18:17:57Z) - Top-k Training of GANs: Improving GAN Performance by Throwing Away Bad
Samples [67.11669996924671]
GAN(Generative Adversarial Network)トレーニングアルゴリズムに,簡単な修正(一行のコード)を導入する。
ジェネレータパラメータを更新するとき、批判者が最も現実的に評価するバッチの要素から勾配のコントリビューションをゼロにします。
このトップk更新の手順が一般的に適用可能な改善であることを示す。
論文 参考訳（メタデータ） (2020-02-14T19:27:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。