論文の概要: A Partitioned Sparse Variational Gaussian Process for Fast, Distributed Spatial Modeling

• arxiv url: http://arxiv.org/abs/2507.16771v1
• Date: Tue, 22 Jul 2025 17:20:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:14.216271
• Title: A Partitioned Sparse Variational Gaussian Process for Fast, Distributed Spatial Modeling
• Title（参考訳）: 高速分散空間モデリングのための分割スパース変分ガウス過程
• Authors: Michael Grosskopf, Kellin Rumsey, Ayan Biswas, Earl Lawrence,
• Abstract要約: 次世代のエネルギースーパーコンピュータは、エクサスケール計算が可能である。 これらのマシンでは、ディスクに保存できるものよりもはるかに多くの計算が可能になります。 その場でトレーニングできる機械学習アルゴリズムには、緊急に必要なものがあります。
• 参考スコア（独自算出の注目度）: 1.4549461207028445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The next generation of Department of Energy supercomputers will be capable of exascale computation. For these machines, far more computation will be possible than that which can be saved to disk. As a result, users will be unable to rely on post-hoc access to data for uncertainty quantification and other statistical analyses and there will be an urgent need for sophisticated machine learning algorithms which can be trained in situ. Algorithms deployed in this setting must be highly scalable, memory efficient and capable of handling data which is distributed across nodes as spatially contiguous partitions. One suitable approach involves fitting a sparse variational Gaussian process (SVGP) model independently and in parallel to each spatial partition. The resulting model is scalable, efficient and generally accurate, but produces the undesirable effect of constructing discontinuous response surfaces due to the disagreement between neighboring models at their shared boundary. In this paper, we extend this idea by allowing for a small amount of communication between neighboring spatial partitions which encourages better alignment of the local models, leading to smoother spatial predictions and a better fit in general. Due to our decentralized communication scheme, the proposed extension remains highly scalable and adds very little overhead in terms of computation (and none, in terms of memory). We demonstrate this Partitioned SVGP (PSVGP) approach for the Energy Exascale Earth System Model (E3SM) and compare the results to the independent SVGP case.
• Abstract（参考訳）: 次世代のエネルギースーパーコンピュータは、エクサスケール計算が可能である。 これらのマシンでは、ディスクに保存できるものよりもはるかに多くの計算が可能になります。 その結果、ユーザーは不確実な定量化やその他の統計分析のためにデータへのポストホックアクセスに頼ることができなくなり、その場でトレーニングできる高度な機械学習アルゴリズムが緊急に必要になる。 この設定でデプロイされるアルゴリズムは、高度にスケーラブルで、メモリ効率が高く、空間的に連続したパーティションとしてノードに分散したデータを処理できなければなりません。 1つの適切なアプローチは、各空間分割に独立かつ平行にスパース変分法ガウス過程(SVGP)モデルを適用することである。 得られたモデルは拡張性があり、効率的で、概ね正確であるが、隣り合うモデル間の相違により、不連続な応答面を構築するという望ましくない効果が生じる。 本稿では,局所モデルの整合性を向上し,よりスムーズな空間予測と一般の適合性を高めるため,隣接する空間分割間の通信を短時間で行えるようにすることで,この考え方を拡張した。 分散化された通信方式のため、提案された拡張は高いスケーラビリティを保ち、計算の面ではオーバーヘッドがほとんどありません。 本研究では,エネルギ・エクサスケール・アース・システム・モデル(E3SM)に対するこの分割SVGP(PSVGP)アプローチを実証し,独立SVGPの場合と比較する。

関連論文リスト

• Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
  我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。 この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
  論文  参考訳（メタデータ） (2024-11-01T21:11:48Z)
• Scalable Data Assimilation with Message Passing [9.55393191483615]
  ベイズ推論問題としてデータ同化を定式化して,空間的推論問題の解法としてメッセージパスアルゴリズムを適用した。 高い精度と計算とメモリ要件を維持しながら、アルゴリズムを非常に大きなグリッドサイズにスケールすることができる。
  論文  参考訳（メタデータ） (2024-04-19T15:54:15Z)
• Gaussian Ensemble Belief Propagation for Efficient Inference in High-Dimensional Systems [3.6773638205393198]
  高次元モデルにおける効率的な推論は、機械学習における中心的な課題である。 本稿では,Gaussian Ensemble Belief Propagation (GEnBP)アルゴリズムを紹介する。 本稿では,GEnBPが既存の信念手法よりも精度と計算効率で優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-13T03:31:36Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Flag Aggregator: Scalable Distributed Training under Failures and Augmented Losses using Convex Optimization [14.732408788010313]
  MLアプリケーションはますます、複雑なディープラーニングモデルと大規模なデータセットに依存している。 計算とデータをスケールするために、これらのモデルはノードのクラスタ内で分散的にトレーニングされ、それらの更新はモデルに適用される前に集約される。 これらの設定にデータ拡張を加えることで、堅牢で効率的なアグリゲーションシステムが必要である。 この手法は,最先端のビザンツ系レジリエントアグリゲータのロバスト性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-02-12T06:38:30Z)
• CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
  この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。 また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。 提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
  論文  参考訳（メタデータ） (2022-07-31T21:39:15Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Probabilistic partition of unity networks: clustering based deep approximation [0.0]
  ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。 ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。 本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
  論文  参考訳（メタデータ） (2021-07-07T08:02:00Z)
• Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
  局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。 入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。 実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2020-06-16T18:43:31Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。