論文の概要: Scalable Data Assimilation with Message Passing
- arxiv url: http://arxiv.org/abs/2404.12968v2
- Date: Tue, 01 Oct 2024 11:01:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-02 16:31:27.926941
- Title: Scalable Data Assimilation with Message Passing
- Title（参考訳）: メッセージパッシングによるスケーラブルなデータ同化
- Authors: Oscar Key, So Takao, Daniel Giles, Marc Peter Deisenroth,
- Abstract要約: ベイズ推論問題としてデータ同化を定式化して,空間的推論問題の解法としてメッセージパスアルゴリズムを適用した。
高い精度と計算とメモリ要件を維持しながら、アルゴリズムを非常に大きなグリッドサイズにスケールすることができる。
- 参考スコア（独自算出の注目度）: 9.55393191483615
- License:
- Abstract: Data assimilation is a core component of numerical weather prediction systems. The large quantity of data processed during assimilation requires the computation to be distributed across increasingly many compute nodes, yet existing approaches suffer from synchronisation overhead in this setting. In this paper, we exploit the formulation of data assimilation as a Bayesian inference problem and apply a message-passing algorithm to solve the spatial inference problem. Since message passing is inherently based on local computations, this approach lends itself to parallel and distributed computation. In combination with a GPU-accelerated implementation, we can scale the algorithm to very large grid sizes while retaining good accuracy and compute and memory requirements.
- Abstract（参考訳）: データ同化は数値天気予報システムの中核的な構成要素である。
同化時に処理される大量のデータは、ますます多くの計算ノードに分散する必要があるが、既存のアプローチでは、この設定の同期オーバーヘッドに悩まされている。
本稿では,ベイズ推論問題としてデータ同化を定式化して,空間的推論問題の解法としてメッセージパッシングアルゴリズムを適用する。
メッセージパッシングは本質的には局所的な計算に基づいているため、このアプローチは並列および分散計算に向いている。
GPUを高速化した実装と組み合わせることで、高い精度と計算およびメモリ要求を維持しながら、アルゴリズムを非常に大きなグリッドサイズにスケールすることができる。
関連論文リスト
- An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-30T15:57:14Z) - Randomized Polar Codes for Anytime Distributed Machine Learning [66.46612460837147]
本稿では,低速な計算ノードに対して堅牢で,線形演算の近似計算と精度の両立が可能な分散コンピューティングフレームワークを提案する。
本稿では,復号化のための計算複雑性を低く保ちながら,実数値データを扱うための逐次復号アルゴリズムを提案する。
大規模行列乗算やブラックボックス最適化など,様々な文脈において,このフレームワークの潜在的な応用を実証する。
論文 参考訳（メタデータ） (2023-09-01T18:02:04Z) - Linearized Wasserstein dimensionality reduction with approximation
guarantees [65.16758672591365]
LOT Wassmap は、ワーッサーシュタイン空間の低次元構造を明らかにするための計算可能なアルゴリズムである。
我々は,LOT Wassmapが正しい埋め込みを実現し,サンプルサイズの増加とともに品質が向上することを示す。
また、LOT Wassmapがペア距離計算に依存するアルゴリズムと比較して計算コストを大幅に削減することを示す。
論文 参考訳（メタデータ） (2023-02-14T22:12:16Z) - Efficient Wind Speed Nowcasting with GPU-Accelerated Nearest Neighbors
Algorithm [0.0]
本稿では, 簡易かつ効率的な高高度風速流路を提案する。
空域全体にわたって航空機が記録した大量のライブデータを効率的に処理する。
データセットの各ポイントごとにユニークなコンテキストを生成し、そこから外挿する。
論文 参考訳（メタデータ） (2021-12-20T09:15:27Z) - Degree-Based Random Walk Approach for Graph Embedding [0.0]
計算量が少なく,ノード接続性に配慮した一様サンプリング手法を提案する。
提案アルゴリズムの利点は,大規模グラフに適用した場合にさらに向上する。
論文 参考訳（メタデータ） (2021-10-21T19:16:16Z) - Learning Optical Flow from a Few Matches [67.83633948984954]
密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。
実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
論文 参考訳（メタデータ） (2021-04-05T21:44:00Z) - Sparse Algorithms for Markovian Gaussian Processes [18.999495374836584]
スパースマルコフ過程は、誘導変数の使用と効率的なカルマンフィルタライク再帰を結合する。
我々は,局所ガウス項を用いて非ガウス的確率を近似する一般的なサイトベースアプローチであるsitesを導出する。
提案手法は,変動推論,期待伝播,古典非線形カルマンスムーサなど,機械学習と信号処理の両方から得られるアルゴリズムの新たなスパース拡張の一群を導出する。
派生した方法は、モデルが時間と空間の両方で別々の誘導点を持つ文学時間データに適しています。
論文 参考訳（メタデータ） (2021-03-19T09:50:53Z) - Communication-efficient distributed eigenspace estimation [31.69089186688224]
我々は,データ行列の先頭不変部分空間を計算するための通信効率のよい分散アルゴリズムを開発した。
提案アルゴリズムは局所解と参照解の間のプロクリスト距離を最小化する新しいアライメント方式を用いる。
本アルゴリズムは,集中型推定器と同様の誤差率を示す。
論文 参考訳（メタデータ） (2020-09-05T02:11:22Z) - Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。
入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。
実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
論文 参考訳（メタデータ） (2020-06-16T18:43:31Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。