論文の概要: Spatiotemporally adaptive compression for scientific dataset with
feature preservation -- a case study on simulation data with extreme climate
events analysis
- arxiv url: http://arxiv.org/abs/2401.03317v1
- Date: Sat, 6 Jan 2024 22:32:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 19:27:28.161334
- Title: Spatiotemporally adaptive compression for scientific dataset with
feature preservation -- a case study on simulation data with extreme climate
events analysis
- Title(参考訳): 特徴保存を伴う科学データセットの時空間適応圧縮-極端気候事象解析を用いたシミュレーションデータのケーススタディ
- Authors: Qian Gong, Chengzhu Zhang, Xin Liang, Viktor Reshniak, Jieyang Chen,
Anand Rangarajan, Sanjay Ranka, Nicolas Vidal, Lipeng Wan, Paul Ullrich,
Norbert Podhorszki, Robert Jacob, Scott Klasky
- Abstract要約: 適応的, 誤差制御された損失圧縮を用いて, 解析後の精度を向上しながら, ストレージコストに対処する手法を提案する。
データ圧縮とサイクロン特徴検出を統合し,高次元空間における適応誤差境界圧縮により圧縮比が大きくなることを示す。
- 参考スコア(独自算出の注目度): 11.299989876672605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scientific discoveries are increasingly constrained by limited storage space
and I/O capacities. For time-series simulations and experiments, their data
often need to be decimated over timesteps to accommodate storage and I/O
limitations. In this paper, we propose a technique that addresses storage costs
while improving post-analysis accuracy through spatiotemporal adaptive,
error-controlled lossy compression. We investigate the trade-off between data
precision and temporal output rates, revealing that reducing data precision and
increasing timestep frequency lead to more accurate analysis outcomes.
Additionally, we integrate spatiotemporal feature detection with data
compression and demonstrate that performing adaptive error-bounded compression
in higher dimensional space enables greater compression ratios, leveraging the
error propagation theory of a transformation-based compressor.
To evaluate our approach, we conduct experiments using the well-known E3SM
climate simulation code and apply our method to compress variables used for
cyclone tracking. Our results show a significant reduction in storage size
while enhancing the quality of cyclone tracking analysis, both quantitatively
and qualitatively, in comparison to the prevalent timestep decimation approach.
Compared to three state-of-the-art lossy compressors lacking feature
preservation capabilities, our adaptive compression framework improves
perfectly matched cases in TC tracking by 26.4-51.3% at medium compression
ratios and by 77.3-571.1% at large compression ratios, with a merely 5-11%
computational overhead.
- Abstract(参考訳): 科学的な発見は、ストレージスペースとi/o能力の制限によってますます制限されている。
時系列シミュレーションや実験では、ストレージとi/oの制限を満たすために、そのデータは時間ステップで減らさなければならない。
本稿では,時空間適応型誤り制御圧縮による解析後精度を向上しつつ,ストレージコストに対処する手法を提案する。
我々は,データ精度と時間出力率のトレードオフについて検討し,データ精度の低減と時間経過頻度の増大がより正確な分析結果をもたらすことを明らかにした。
さらに,データ圧縮と時空間特徴検出を統合し,高次元空間における適応型誤り境界圧縮により圧縮比が向上し,変換型圧縮機の誤差伝播理論を活用できることを実証する。
提案手法を評価するため,よく知られたE3SM気候シミュレーションコードを用いて実験を行い,サイクロン追跡に用いる変数の圧縮に適用した。
以上の結果より, サイクロン追跡解析の質を定量的に, 定性的に向上させながら, 保存量を大幅に減少させることが示された。
特徴保存能力に欠ける3つの最先端の損失圧縮機と比較して、適応圧縮フレームワークは、TCトラッキングにおける完全一致するケースを26.4-51.3%、大圧縮比77.3-571.1%、計算オーバーヘッド5-11%で改善する。
関連論文リスト
- Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳(メタデータ) (2024-02-07T16:32:29Z) - DAGC: Data-Volume-Aware Adaptive Sparsification Gradient Compression for
Distributed Machine Learning in Mobile Computing [21.740516733221437]
本研究では,非一様圧縮による分散機械学習の解析を紹介する。
本稿では,大容量データを扱う作業者に保守的圧縮を割り当てるDAGC-Rを提案する。
実験により,DAGC-AとDAGC-Rの両者が,高度に不均衡なデータボリューム分布と制限された通信を扱う場合,良好な性能が得られることを確認した。
論文 参考訳(メタデータ) (2023-11-13T13:24:09Z) - SRN-SZ: Deep Leaning-Based Scientific Error-bounded Lossy Compression
with Super-resolution Neural Networks [13.706955134941385]
本研究では,SRN-SZを提案する。
SRN-SZはその圧縮に最も高度な超解像ネットワークHATを適用している。
実験では、SRN-SZは最大75%の圧縮比の改善を同じ誤差境界下で達成する。
論文 参考訳(メタデータ) (2023-09-07T22:15:32Z) - Learning Accurate Performance Predictors for Ultrafast Automated Model
Compression [86.22294249097203]
フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。
本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
論文 参考訳(メタデータ) (2023-04-13T10:52:49Z) - Scalable Hybrid Learning Techniques for Scientific Data Compression [6.803722400888276]
科学者は、抽出された興味の量(QoIs)を正確に保存する圧縮技術を必要とする
本稿では,データ圧縮のためのエンドツーエンドでスケーラブルなGPUベースのパイプラインとして実装された物理インフォームド圧縮手法を提案する。
論文 参考訳(メタデータ) (2022-12-21T03:00:18Z) - On the Interaction Between Differential Privacy and Gradient Compression
in Deep Learning [55.22219308265945]
差分プライバシーと勾配圧縮のガウス的メカニズムがディープラーニングにおけるテスト精度にどのように影響するかを考察する。
勾配圧縮は一般に非プライベートトレーニングではテスト精度に悪影響を及ぼすが、差分プライベートトレーニングではテスト精度を改善することがある。
論文 参考訳(メタデータ) (2022-11-01T20:28:45Z) - Efficient Data Compression for 3D Sparse TPC via Bicephalous
Convolutional Autoencoder [8.759778406741276]
この研究は、textitBicephalous Convolutional AutoEncoder (BCAE)と呼ばれる、空間と回帰を同時に解決するデュアルヘッドオートエンコーダを導入している。
これはMGARD、SZ、ZFPといった従来のデータ圧縮手法と比較して圧縮忠実度と比の両方の利点を示している。
論文 参考訳(メタデータ) (2021-11-09T21:26:37Z) - Exploring Autoencoder-based Error-bounded Compression for Scientific
Data [14.724393511470225]
我々は,SZモデルの観点から,エラーバウンドオートエンコーダベースのフレームワークを開発する。
設計したAEベースエラーバウンド圧縮フレームワークの主段の圧縮品質を最適化する。
論文 参考訳(メタデータ) (2021-05-25T07:53:32Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳(メタデータ) (2021-05-24T12:07:38Z) - An Efficient Statistical-based Gradient Compression Technique for
Distributed Training Systems [77.88178159830905]
Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。
SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
論文 参考訳(メタデータ) (2021-01-26T13:06:00Z) - Compressing Large Sample Data for Discriminant Analysis [78.12073412066698]
判別分析フレームワーク内での大きなサンプルサイズに起因する計算問題を考察する。
線形および二次判別分析のためのトレーニングサンプル数を削減するための新しい圧縮手法を提案する。
論文 参考訳(メタデータ) (2020-05-08T05:09:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。