論文の概要: Compressing multidimensional weather and climate data into neural
networks
- arxiv url: http://arxiv.org/abs/2210.12538v1
- Date: Sat, 22 Oct 2022 19:57:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 22:02:04.554982
- Title: Compressing multidimensional weather and climate data into neural
networks
- Title(参考訳): 多次元気象・気候データをニューラルネットワークに圧縮する
- Authors: Langwen Huang, Torsten Hoefler
- Abstract要約: 本研究では,多次元気象データと気候データを圧縮する新しい手法を提案する。
座標ベースのニューラルネットワークは、データに過度に適合するように訓練される。
得られたパラメータは、元のグリッドベースのデータのコンパクトな表現とみなす。
- 参考スコア(独自算出の注目度): 15.550642865898816
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Weather and climate simulations produce petabytes of high-resolution data
that are later analyzed by researchers in order to understand climate change or
severe weather. We propose a new method of compressing this multidimensional
weather and climate data: a coordinate-based neural network is trained to
overfit the data, and the resulting parameters are taken as a compact
representation of the original grid-based data. While compression ratios range
from 300x to more than 3,000x, our method outperforms the state-of-the-art
compressor SZ3 in terms of weighted RMSE, MAE. It can faithfully preserve
important large scale atmosphere structures and does not introduce artifacts.
When using the resulting neural network as a 790x compressed dataloader to
train the WeatherBench forecasting model, its RMSE increases by less than 2%.
The three orders of magnitude compression democratizes access to
high-resolution climate data and enables numerous new research directions.
- Abstract(参考訳): 気象・気候シミュレーションは、気候変動や厳しい天候を理解するために、後に研究者によって分析される高解像度データのペタバイトを生成する。
本稿では,この多次元の気象データと気候データを圧縮する新しい手法を提案する。座標ベースのニューラルネットワークをトレーニングし,その結果のパラメータを元のグリッドベースのデータのコンパクトな表現とする。
圧縮比は300倍から3000倍以上であるが,本手法は加重RMSE,MAEにおいて最先端圧縮機SZ3より優れている。
重要な大規模大気構造を忠実に保存でき、人工物は導入しない。
結果のニューラルネットワークを790x圧縮データローダとして使用して、WeatherBench予測モデルをトレーニングする場合、RMSEは2%未満増加します。
3桁のマグニチュード圧縮は、高解像度の気候データへのアクセスを民主化し、多くの新しい研究の方向性を可能にする。
関連論文リスト
- Spatiotemporally adaptive compression for scientific dataset with
feature preservation -- a case study on simulation data with extreme climate
events analysis [11.299989876672605]
適応的, 誤差制御された損失圧縮を用いて, 解析後の精度を向上しながら, ストレージコストに対処する手法を提案する。
データ圧縮とサイクロン特徴検出を統合し,高次元空間における適応誤差境界圧縮により圧縮比が大きくなることを示す。
論文 参考訳(メタデータ) (2024-01-06T22:32:34Z) - SRN-SZ: Deep Leaning-Based Scientific Error-bounded Lossy Compression
with Super-resolution Neural Networks [13.706955134941385]
本研究では,SRN-SZを提案する。
SRN-SZはその圧縮に最も高度な超解像ネットワークHATを適用している。
実験では、SRN-SZは最大75%の圧縮比の改善を同じ誤差境界下で達成する。
論文 参考訳(メタデータ) (2023-09-07T22:15:32Z) - Hierarchical Autoencoder-based Lossy Compression for Large-scale
High-resolution Scientific Data [1.847740135967371]
この研究は、大規模な科学的データを著しく圧縮し、高い再構成品質を維持するニューラルネットワークを示す。
提案モデルは,大規模高分解能気候モデルデータセットに適用可能な科学ベンチマークデータを用いて検証した。
本モデルでは,再構成品質を損なうことなく,複数のベンチマークデータセットに対して140の圧縮比を達成している。
論文 参考訳(メタデータ) (2023-07-09T16:11:02Z) - Spatial-temporal Prompt Learning for Federated Weather Forecasting [50.379491498793485]
フェデレート気象予報は、異なる国や地域の参加者間で気象データを分析するための有望な協調学習フレームワークである。
本稿では,多くの分散型低リソースセンサを異なる場所に配置するフェデレート環境での気象データをモデル化する。
論文 参考訳(メタデータ) (2023-05-23T16:59:20Z) - ClimaX: A foundation model for weather and climate [51.208269971019504]
ClimaXは気象と気候科学のディープラーニングモデルである。
気候データセットの自己教師型学習目標で事前トレーニングすることができる。
気候や気候の様々な問題に対処するために、微調整が可能である。
論文 参考訳(メタデータ) (2023-01-24T23:19:01Z) - GraphCast: Learning skillful medium-range global weather forecasting [107.40054095223779]
我々は、再分析データから直接トレーニングできる「GraphCast」と呼ばれる機械学習ベースの手法を導入する。
全世界で10日以上、0.25度で、数百の気象変動を1分以内で予測する。
我々は,GraphCastが1380の検証対象の90%において,最も正確な運用決定システムよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-12-24T18:15:39Z) - Scalable Hybrid Learning Techniques for Scientific Data Compression [6.803722400888276]
科学者は、抽出された興味の量(QoIs)を正確に保存する圧縮技術を必要とする
本稿では,データ圧縮のためのエンドツーエンドでスケーラブルなGPUベースのパイプラインとして実装された物理インフォームド圧縮手法を提案する。
論文 参考訳(メタデータ) (2022-12-21T03:00:18Z) - Pangu-Weather: A 3D High-Resolution Model for Fast and Accurate Global
Weather Forecast [91.9372563527801]
我々は,世界天気予報を迅速かつ高精度に予測するためのディープラーニングベースのシステムであるPangu-Weatherを紹介する。
初めてAIベースの手法が、最先端の数値天気予報法(NWP)を精度で上回った。
Pangu-Weatherは、極端な天気予報や大規模なアンサンブル予測など、幅広い下流予測シナリオをサポートしている。
論文 参考訳(メタデータ) (2022-11-03T17:19:43Z) - COIN++: Data Agnostic Neural Compression [55.27113889737545]
COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。
様々なデータモダリティを圧縮することで,本手法の有効性を示す。
論文 参考訳(メタデータ) (2022-01-30T20:12:04Z) - Deep Learning Based Cloud Cover Parameterization for ICON [55.49957005291674]
我々は,実地域およびグローバルICONシミュレーションに基づいて,粗粒度データを用いたNNベースのクラウドカバーパラメータ化を訓練する。
グローバルに訓練されたNNは、地域シミュレーションのサブグリッドスケールのクラウドカバーを再現することができる。
我々は,コラムベースNNがグローバルから局所的な粗粒データに完全に一般化できない理由として,特定の湿度と雲氷上の過剰なエンハンシスを同定する。
論文 参考訳(メタデータ) (2021-12-21T16:10:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。