論文の概要: Low-Precision Arithmetic for Fast Gaussian Processes
- arxiv url: http://arxiv.org/abs/2207.06856v1
- Date: Thu, 14 Jul 2022 12:20:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-15 14:11:36.063273
- Title: Low-Precision Arithmetic for Fast Gaussian Processes
- Title(参考訳): 高速ガウス過程に対する低精度算術
- Authors: Wesley J. Maddox, Andres Potapczynski, Andrew Gordon Wilson
- Abstract要約: 低精度算術はニューラルネットワークの訓練に変換効果をもたらした。
本稿では,共役勾配の直交化,混合精度,プレコンディショニングを含む多面的アプローチを提案する。
提案手法は, 広範囲な設定において, 低精度での共役勾配の数値安定性と実用性能を著しく向上させる。
- 参考スコア(独自算出の注目度): 39.720581185327816
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Low-precision arithmetic has had a transformative effect on the training of
neural networks, reducing computation, memory and energy requirements. However,
despite its promise, low-precision arithmetic has received little attention for
Gaussian processes (GPs), largely because GPs require sophisticated linear
algebra routines that are unstable in low-precision. We study the different
failure modes that can occur when training GPs in half precision. To circumvent
these failure modes, we propose a multi-faceted approach involving conjugate
gradients with re-orthogonalization, mixed precision, and preconditioning. Our
approach significantly improves the numerical stability and practical
performance of conjugate gradients in low-precision over a wide range of
settings, enabling GPs to train on $1.8$ million data points in $10$ hours on a
single GPU, without any sparse approximations.
- Abstract(参考訳): 低精度算術は、ニューラルネットワークのトレーニングに変換効果を持ち、計算、メモリ、エネルギーの要求を減らした。
しかし、その期待にもかかわらず、低精度算術はガウス過程(gps)にはほとんど注目されず、主にgpsは低精度で不安定な洗練された線形代数ルーチンを必要とする。
GPを半精度で訓練する際に発生する様々な障害モードについて検討する。
これらの障害モードを回避するために,共役勾配の直交化,混合精度,プレコンディショニングを含む多面的アプローチを提案する。
提案手法は,低精度の共役勾配の数値的安定性と実用性を大幅に向上させ,GPが1つのGPU上で1時間10ドルで180万ドルのデータポイントを訓練することを可能にする。
関連論文リスト
- Convergence under Lipschitz smoothness of ease-controlled Random
Reshuffling gradient Algorithms [0.0]
非常に多くの滑らかで非単調な勾配関数の平均を最小化することを検討する。
我々は、IG/RR反復をウォッチドッグルールと、収束を保証するために散発的にのみ活性化するラインサーチの導関数を用いて制御する、モノトーンまたはノンモノトーンの2つの弱いスキームを定義する。
論文 参考訳(メタデータ) (2022-12-04T15:26:36Z) - Non-Convergence and Limit Cycles in the Adam optimizer [0.0]
本稿では,2周期の極限周期が2次目的関数のバッチモードに存在することを示す。
これらの極限周期の安定性を解析し、近似収束が示される他の結果と分析を関連付ける。
論文 参考訳(メタデータ) (2022-10-05T07:44:33Z) - Revisiting Active Sets for Gaussian Process Decoders [0.0]
我々は最近発見されたクロスバリデーションのリンクに基づいて,ログマージ可能性の新たな推定法を開発した。
結果の能動集合 (SAS) 近似がGPデコーダトレーニングの堅牢性を大幅に向上することを示す。
論文 参考訳(メタデータ) (2022-09-10T10:49:31Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳(メタデータ) (2022-02-26T19:10:48Z) - When are Iterative Gaussian Processes Reliably Accurate? [38.523693700243975]
ランツォス分解は高度に正確な点予測を伴うスケーラブルなガウス過程推論を達成している。
CG耐性,プレコンディショナーランク,およびLaczos分解ランクについて検討した。
本稿では,LGS-BFB が反復型 GP にとって魅力的であり,より少ない更新で収束を達成することを示す。
論文 参考訳(メタデータ) (2021-12-31T00:02:18Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Balancing Rates and Variance via Adaptive Batch-Size for Stochastic
Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。
ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文 参考訳(メタデータ) (2020-07-02T16:02:02Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳(メタデータ) (2020-05-21T20:59:11Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳(メタデータ) (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。