論文の概要: Compressing multidimensional weather and climate data into neural networks

• arxiv url: http://arxiv.org/abs/2210.12538v3
• Date: Fri, 14 Apr 2023 14:57:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-17 16:43:47.688044
• Title: Compressing multidimensional weather and climate data into neural networks
• Title（参考訳）: 多次元気象・気候データをニューラルネットワークに圧縮する
• Authors: Langwen Huang, Torsten Hoefler
• Abstract要約: 本研究では,多次元気象データと気候データを圧縮する新しい手法を提案する。 座標ベースのニューラルネットワークは、データに過度に適合するように訓練される。 得られたパラメータは、元のグリッドベースのデータのコンパクトな表現とみなす。
• 参考スコア（独自算出の注目度）: 15.550642865898816
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Weather and climate simulations produce petabytes of high-resolution data that are later analyzed by researchers in order to understand climate change or severe weather. We propose a new method of compressing this multidimensional weather and climate data: a coordinate-based neural network is trained to overfit the data, and the resulting parameters are taken as a compact representation of the original grid-based data. While compression ratios range from 300x to more than 3,000x, our method outperforms the state-of-the-art compressor SZ3 in terms of weighted RMSE, MAE. It can faithfully preserve important large scale atmosphere structures and does not introduce artifacts. When using the resulting neural network as a 790x compressed dataloader to train the WeatherBench forecasting model, its RMSE increases by less than 2%. The three orders of magnitude compression democratizes access to high-resolution climate data and enables numerous new research directions.
• Abstract（参考訳）: 気象・気候シミュレーションは、気候変動や厳しい天候を理解するために、後に研究者によって分析される高解像度データのペタバイトを生成する。 本稿では,この多次元の気象データと気候データを圧縮する新しい手法を提案する。座標ベースのニューラルネットワークをトレーニングし,その結果のパラメータを元のグリッドベースのデータのコンパクトな表現とする。 圧縮比は300倍から3000倍以上であるが,本手法は加重RMSE,MAEにおいて最先端圧縮機SZ3より優れている。 重要な大規模大気構造を忠実に保存でき、人工物は導入しない。 結果のニューラルネットワークを790x圧縮データローダとして使用して、WeatherBench予測モデルをトレーニングする場合、RMSEは2%未満増加します。 3桁のマグニチュード圧縮は、高解像度の気候データへのアクセスを民主化し、多くの新しい研究の方向性を可能にする。

関連論文リスト

• Compressing high-resolution data through latent representation encoding for downscaling large-scale AI weather forecast model [10.634513279883913]
  本稿では,高解像度データセットの圧縮に適した変分オートエンコーダフレームワークを提案する。 本フレームワークは,HRCLDASデータの3年間の保存容量を8.61TBから204GBに削減し,必須情報を保存した。
  論文  参考訳（メタデータ） (2024-10-10T05:38:03Z)
• Enhancing Lossy Compression Through Cross-Field Information for Scientific Applications [11.025583805165455]
  ロスシー圧縮は、複数のデータフィールドを含む科学データのサイズを減らす最も効果的な方法の1つである。 従来のアプローチでは、ターゲットデータポイントを予測する際に、単一のターゲットフィールドからのローカル情報を使用し、より高い圧縮比を達成する可能性を制限する。 本稿では,CNNを用いた新たなハイブリッド予測モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-26T21:06:53Z)
• Neural Compression of Atmospheric States [19.938380199858454]
  ニューラルネットワークの手法を用いて大気状態を圧縮する手法を提案する。 モデルの両方の族が小さな平均誤差のデシラタを満たすことを示す。 大気中における1000倍を超える圧縮比を示すとともに, 大気中における圧縮と減圧を約1秒の速さで示す。
  論文  参考訳（メタデータ） (2024-07-16T12:38:39Z)
• CRA5: Extreme Compression of ERA5 for Portable Global Climate and Weather Research via an Efficient Variational Transformer [22.68937280154092]
  気候データを極端に圧縮するために,効率的なニューラルネットワークである変分オートエンコーダ変換器(VAEformer)を導入する。 VAEformerは、気候データにおける既存の最先端圧縮手法よりも優れています。 実験により、CRA5データセットでトレーニングされた地球規模の天気予報モデルが、元のデータセットでトレーニングされたモデルに匹敵する予測精度を達成することが示された。
  論文  参考訳（メタデータ） (2024-05-06T11:30:55Z)
• DIRESA, a distance-preserving nonlinear dimension reduction technique based on regularized autoencoders [0.0]
  気象学では、過去のデータセットで類似した気象パターンやアナログを見つけることは、データの同化、予測、後処理に有用である。 気候科学において、歴史的および気候予測データのアナログは帰属研究や影響研究に使用される。 本稿では,オートエンコーダ(AE)ニューラルネットワークを用いた次元削減手法を提案し,これらのデータセットを圧縮し,解釈可能な圧縮潜在空間で探索を行う。
  論文  参考訳（メタデータ） (2024-04-28T20:54:57Z)
• Deep Learning for Day Forecasts from Sparse Observations [60.041805328514876]
  深層ニューラルネットワークは、気象条件をモデル化するための代替パラダイムを提供する。 MetNet-3は、密度とスパースの両方のデータセンサーから学習し、降水、風、温度、露点を最大24時間前に予測する。 MetNet-3は、それぞれ時間分解能と空間分解能が高く、最大2分と1km、運用遅延は低い。
  論文  参考訳（メタデータ） (2023-06-06T07:07:54Z)
• ClimaX: A foundation model for weather and climate [51.208269971019504]
  ClimaXは気象と気候科学のディープラーニングモデルである。 気候データセットの自己教師型学習目標で事前トレーニングすることができる。 気候や気候の様々な問題に対処するために、微調整が可能である。
  論文  参考訳（メタデータ） (2023-01-24T23:19:01Z)
• GraphCast: Learning skillful medium-range global weather forecasting [107.40054095223779]
  我々は、再分析データから直接トレーニングできる「GraphCast」と呼ばれる機械学習ベースの手法を導入する。 全世界で10日以上、0.25度で、数百の気象変動を1分以内で予測する。 我々は,GraphCastが1380の検証対象の90%において,最も正確な運用決定システムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-24T18:15:39Z)
• Pangu-Weather: A 3D High-Resolution Model for Fast and Accurate Global Weather Forecast [91.9372563527801]
  我々は,世界天気予報を迅速かつ高精度に予測するためのディープラーニングベースのシステムであるPangu-Weatherを紹介する。 初めてAIベースの手法が、最先端の数値天気予報法(NWP)を精度で上回った。 Pangu-Weatherは、極端な天気予報や大規模なアンサンブル予測など、幅広い下流予測シナリオをサポートしている。
  論文  参考訳（メタデータ） (2022-11-03T17:19:43Z)
• COIN++: Data Agnostic Neural Compression [55.27113889737545]
  COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。 様々なデータモダリティを圧縮することで,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-01-30T20:12:04Z)
• Deep Learning Based Cloud Cover Parameterization for ICON [55.49957005291674]
  我々は,実地域およびグローバルICONシミュレーションに基づいて,粗粒度データを用いたNNベースのクラウドカバーパラメータ化を訓練する。 グローバルに訓練されたNNは、地域シミュレーションのサブグリッドスケールのクラウドカバーを再現することができる。 我々は,コラムベースNNがグローバルから局所的な粗粒データに完全に一般化できない理由として,特定の湿度と雲氷上の過剰なエンハンシスを同定する。
  論文  参考訳（メタデータ） (2021-12-21T16:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。