論文の概要: Low-Precision Arithmetic for Fast Gaussian Processes

• arxiv url: http://arxiv.org/abs/2207.06856v1
• Date: Thu, 14 Jul 2022 12:20:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-15 14:11:36.063273
• Title: Low-Precision Arithmetic for Fast Gaussian Processes
• Title（参考訳）: 高速ガウス過程に対する低精度算術
• Authors: Wesley J. Maddox, Andres Potapczynski, Andrew Gordon Wilson
• Abstract要約: 低精度算術はニューラルネットワークの訓練に変換効果をもたらした。 本稿では,共役勾配の直交化,混合精度,プレコンディショニングを含む多面的アプローチを提案する。 提案手法は, 広範囲な設定において, 低精度での共役勾配の数値安定性と実用性能を著しく向上させる。
• 参考スコア（独自算出の注目度）: 39.720581185327816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-precision arithmetic has had a transformative effect on the training of neural networks, reducing computation, memory and energy requirements. However, despite its promise, low-precision arithmetic has received little attention for Gaussian processes (GPs), largely because GPs require sophisticated linear algebra routines that are unstable in low-precision. We study the different failure modes that can occur when training GPs in half precision. To circumvent these failure modes, we propose a multi-faceted approach involving conjugate gradients with re-orthogonalization, mixed precision, and preconditioning. Our approach significantly improves the numerical stability and practical performance of conjugate gradients in low-precision over a wide range of settings, enabling GPs to train on $1.8$ million data points in $10$ hours on a single GPU, without any sparse approximations.
• Abstract（参考訳）: 低精度算術は、ニューラルネットワークのトレーニングに変換効果を持ち、計算、メモリ、エネルギーの要求を減らした。 しかし、その期待にもかかわらず、低精度算術はガウス過程(gps)にはほとんど注目されず、主にgpsは低精度で不安定な洗練された線形代数ルーチンを必要とする。 GPを半精度で訓練する際に発生する様々な障害モードについて検討する。 これらの障害モードを回避するために,共役勾配の直交化,混合精度,プレコンディショニングを含む多面的アプローチを提案する。 提案手法は,低精度の共役勾配の数値的安定性と実用性を大幅に向上させ,GPが1つのGPU上で1時間10ドルで180万ドルのデータポイントを訓練することを可能にする。

関連論文リスト

• Beyond adaptive gradient: Fast-Controlled Minibatch Algorithm for large-scale optimization [1.6749379740049926]
  そこで我々は,F-CMA,F-Controlled Mini-batchアルゴリズムを導入し,各エポックあたりの損失低減を確保するために,十分な減少条件とライン探索手順を備えたランダムリシャッフル法を提案する。 テストでは、トレーニング時間全体の68%の削減、エポック毎の効率の最大20%向上、モデル精度の最大5%向上など、大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-11-24T11:46:47Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• Non-Convergence and Limit Cycles in the Adam optimizer [0.0]
  本稿では,2周期の極限周期が2次目的関数のバッチモードに存在することを示す。 これらの極限周期の安定性を解析し、近似収束が示される他の結果と分析を関連付ける。
  論文  参考訳（メタデータ） (2022-10-05T07:44:33Z)
• Revisiting Active Sets for Gaussian Process Decoders [0.0]
  我々は最近発見されたクロスバリデーションのリンクに基づいて,ログマージ可能性の新たな推定法を開発した。 結果の能動集合 (SAS) 近似がGPデコーダトレーニングの堅牢性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-09-10T10:49:31Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• When are Iterative Gaussian Processes Reliably Accurate? [38.523693700243975]
  ランツォス分解は高度に正確な点予測を伴うスケーラブルなガウス過程推論を達成している。 CG耐性,プレコンディショナーランク,およびLaczos分解ランクについて検討した。 本稿では,LGS-BFB が反復型 GP にとって魅力的であり,より少ない更新で収束を達成することを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:02:18Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。