論文の概要: Sparse Kernel Gaussian Processes through Iterative Charted Refinement (ICR)

• arxiv url: http://arxiv.org/abs/2206.10634v1
• Date: Tue, 21 Jun 2022 18:00:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-23 14:58:05.293250
• Title: Sparse Kernel Gaussian Processes through Iterative Charted Refinement (ICR)
• Title（参考訳）: 反復チャートリファインメント(ICR)によるスパースカーネルガウス過程
• Authors: Gordian Edenhofer and Reimar H. Leike and Philipp Frank and Torsten A. En{\ss}lin
• Abstract要約: 本稿では,ガウス過程をモデル化するためのICR(Iterative Charted Refinement)という新しい生成手法を提案する。 ICRは、様々な解像度でモデル化された場所のビューとユーザが提供する座標チャートを組み合わせることで、長距離および短距離の相関を表現している。 ICRは、CPUとGPUの1桁の計算速度で既存の手法より優れています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian Processes (GPs) are highly expressive, probabilistic models. A major limitation is their computational complexity. Naively, exact GP inference requires $\mathcal{O}(N^3)$ computations with $N$ denoting the number of modeled points. Current approaches to overcome this limitation either rely on sparse, structured or stochastic representations of data or kernel respectively and usually involve nested optimizations to evaluate a GP. We present a new, generative method named Iterative Charted Refinement (ICR) to model GPs on nearly arbitrarily spaced points in $\mathcal{O}(N)$ time for decaying kernels without nested optimizations. ICR represents long- as well as short-range correlations by combining views of the modeled locations at varying resolutions with a user-provided coordinate chart. In our experiment with points whose spacings vary over two orders of magnitude, ICR's accuracy is comparable to state-of-the-art GP methods. ICR outperforms existing methods in terms of computational speed by one order of magnitude on the CPU and GPU and has already been successfully applied to model a GP with $122$ billion parameters.
• Abstract（参考訳）: ガウス過程(英: Gaussian Processs, GP)は、確率モデルである。 主な制限は計算の複雑さである。 正確には、GP推論は$\mathcal{O}(N^3)$計算を必要とし、$N$はモデル化された点の数を表す。 この制限を克服するための現在のアプローチは、それぞれデータやカーネルのスパース、構造化、あるいは確率的な表現に依存しており、GPを評価するためにネスト最適化を伴っている。 ネスト最適化なしで崩壊するカーネルの時間を$\mathcal{O}(N)$で、ほぼ任意の空間の点上でGPをモデル化するための、ICR(Iterative Charted Refinement)と呼ばれる新しい生成法を提案する。 icrは、様々な解像度でモデル化された位置のビューとユーザが提供する座標チャートを組み合わせることで、長距離および短距離相関を表す。 2桁以上の間隔の異なる点を用いた実験では、icrの精度は最先端gp法に匹敵する。 ICRは、CPUとGPUで計算速度の点で既存の手法よりも優れており、すでに122億ドルのパラメータを持つGPのモデル化に成功している。

関連論文リスト

• Exploiting Hankel-Toeplitz Structures for Fast Computation of Kernel Precision Matrices [14.25435308779899]
  ヒルベルト空間ガウス過程(HGP)アプローチは、GP推論を高速化するための超独立基底関数近似を提供する。 本稿では,この計算複雑性を,余分な近似を伴わずに$mathcalO(NM)$に下げる。 我々の貢献は、いくつかの既存の、広く使われているGP近似の純粋なスピードアップを提供するが、それ以上の近似は行わない。
  論文  参考訳（メタデータ） (2024-08-05T09:45:31Z)
• Shallow and Deep Nonparametric Convolutions for Gaussian Processes [0.0]
  GPの非パラメトリックプロセス畳み込み定式化を導入し,機能サンプリング手法を用いて弱点を緩和する。 古典的ディープGPモデルの代替となるこれらの非パラメトリック畳み込みの合成を提案する。
  論文  参考訳（メタデータ） (2022-06-17T19:03:04Z)
• Matching Pursuit Based Scheduling for Over-the-Air Federated Learning [67.59503935237676]
  本稿では,フェデレートラーニング手法を用いて,オーバー・ザ・エアラーニングのための低複雑さデバイススケジューリングアルゴリズムのクラスを開発する。 最先端の提案方式と比較すると,提案方式は極めて低効率なシステムである。 提案手法の有効性は,CIFARデータセットを用いた実験により確認した。
  論文  参考訳（メタデータ） (2022-06-14T08:14:14Z)
• Exact Gaussian Processes for Massive Datasets via Non-Stationary Sparsity-Discovering Kernels [0.0]
  本稿では,カーネルがスパース構造を誘導する代わりに,自然に構造されたスパース性を活用することを提案する。 超フレキシブル、コンパクトサポート、非定常カーネルの原理とHPCと制約付き最適化を組み合わせることで、500万のデータポイントを超える正確なGPをスケールできる。
  論文  参考訳（メタデータ） (2022-05-18T16:56:53Z)
• Scaling Gaussian Process Optimization by Evaluating a Few Unique Candidates Multiple Times [119.41129787351092]
  GPに基づく逐次ブラックボックス最適化は,複数の評価ステップの候補解に固執することで効率よく行うことができることを示す。 GP-UCB と GP-EI の2つのよく確立されたGP-Opt アルゴリズムを改良し,バッチ化された GP-Opt の規則を適応させる。
  論文  参考訳（メタデータ） (2022-01-30T20:42:14Z)
• Fast and Scalable Spike and Slab Variable Selection in High-Dimensional Gaussian Processes [12.667478571732449]
  任意の異なるカーネルで抽出可能なスパイクとスラブGPの高速かつスケーラブルな変分推論アルゴリズムを開発した。 実験では、同様のランタイムを維持しながら、バニラおよびスパース変分GPを一貫して上回ります。
  論文  参考訳（メタデータ） (2021-11-08T15:13:24Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
  プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。 プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。 基本的に無視可能なコストで、同時に分散を低減することができる。
  論文  参考訳（メタデータ） (2021-07-01T06:43:11Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• MuyGPs: Scalable Gaussian Process Hyperparameter Estimation Using Local Cross-Validation [1.2233362977312945]
  本稿では,新しいGPハイパーパラメータ推定法であるMuyGPを提案する。 MuyGPsは、データの最も近い隣人構造を利用する事前のメソッドの上に構築される。 提案手法は, 解法と予測値の平均二乗誤差の両方において, 既知の競合よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-29T18:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。