論文の概要: Spatiotemporally adaptive compression for scientific dataset with
feature preservation -- a case study on simulation data with extreme climate
events analysis
- arxiv url: http://arxiv.org/abs/2401.03317v1
- Date: Sat, 6 Jan 2024 22:32:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 19:27:28.161334
- Title: Spatiotemporally adaptive compression for scientific dataset with
feature preservation -- a case study on simulation data with extreme climate
events analysis
- Title（参考訳）: 特徴保存を伴う科学データセットの時空間適応圧縮-極端気候事象解析を用いたシミュレーションデータのケーススタディ
- Authors: Qian Gong, Chengzhu Zhang, Xin Liang, Viktor Reshniak, Jieyang Chen,
Anand Rangarajan, Sanjay Ranka, Nicolas Vidal, Lipeng Wan, Paul Ullrich,
Norbert Podhorszki, Robert Jacob, Scott Klasky
- Abstract要約: 適応的, 誤差制御された損失圧縮を用いて, 解析後の精度を向上しながら, ストレージコストに対処する手法を提案する。
データ圧縮とサイクロン特徴検出を統合し,高次元空間における適応誤差境界圧縮により圧縮比が大きくなることを示す。
- 参考スコア（独自算出の注目度）: 11.299989876672605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scientific discoveries are increasingly constrained by limited storage space
and I/O capacities. For time-series simulations and experiments, their data
often need to be decimated over timesteps to accommodate storage and I/O
limitations. In this paper, we propose a technique that addresses storage costs
while improving post-analysis accuracy through spatiotemporal adaptive,
error-controlled lossy compression. We investigate the trade-off between data
precision and temporal output rates, revealing that reducing data precision and
increasing timestep frequency lead to more accurate analysis outcomes.
Additionally, we integrate spatiotemporal feature detection with data
compression and demonstrate that performing adaptive error-bounded compression
in higher dimensional space enables greater compression ratios, leveraging the
error propagation theory of a transformation-based compressor.
To evaluate our approach, we conduct experiments using the well-known E3SM
climate simulation code and apply our method to compress variables used for
cyclone tracking. Our results show a significant reduction in storage size
while enhancing the quality of cyclone tracking analysis, both quantitatively
and qualitatively, in comparison to the prevalent timestep decimation approach.
Compared to three state-of-the-art lossy compressors lacking feature
preservation capabilities, our adaptive compression framework improves
perfectly matched cases in TC tracking by 26.4-51.3% at medium compression
ratios and by 77.3-571.1% at large compression ratios, with a merely 5-11%
computational overhead.
- Abstract（参考訳）: 科学的な発見は、ストレージスペースとi/o能力の制限によってますます制限されている。
時系列シミュレーションや実験では、ストレージとi/oの制限を満たすために、そのデータは時間ステップで減らさなければならない。
本稿では,時空間適応型誤り制御圧縮による解析後精度を向上しつつ,ストレージコストに対処する手法を提案する。
我々は,データ精度と時間出力率のトレードオフについて検討し,データ精度の低減と時間経過頻度の増大がより正確な分析結果をもたらすことを明らかにした。
さらに,データ圧縮と時空間特徴検出を統合し,高次元空間における適応型誤り境界圧縮により圧縮比が向上し,変換型圧縮機の誤差伝播理論を活用できることを実証する。
提案手法を評価するため,よく知られたE3SM気候シミュレーションコードを用いて実験を行い,サイクロン追跡に用いる変数の圧縮に適用した。
以上の結果より, サイクロン追跡解析の質を定量的に, 定性的に向上させながら, 保存量を大幅に減少させることが示された。
特徴保存能力に欠ける3つの最先端の損失圧縮機と比較して、適応圧縮フレームワークは、TCトラッキングにおける完全一致するケースを26.4-51.3%、大圧縮比77.3-571.1%、計算オーバーヘッド5-11%で改善する。
関連論文リスト
- EoRA: Training-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [79.56709262189953]
EoRAは、圧縮されたLLaMA2/3モデルの様々なタスクにおけるエラーを補償する従来の手法より一貫して優れている。
EoRAは、圧縮エラーを補うスケーラブルでトレーニング不要なソリューションを提供する。
論文 参考訳（メタデータ） (2024-10-28T17:59:03Z) - Fast Feedforward 3D Gaussian Splatting Compression [55.149325473447384]
3D Gaussian Splatting (FCGS) は、1つのフィードフォワードパスで3DGS表現を高速に圧縮できる最適化フリーモデルである。
FCGSは圧縮比を20倍以上に向上し、高精細度を維持しながら、ほとんどのシーン毎のSOTA最適化手法を上回ります。
論文 参考訳（メタデータ） (2024-10-10T15:13:08Z) - Enhancing Lossy Compression Through Cross-Field Information for Scientific Applications [11.025583805165455]
ロスシー圧縮は、複数のデータフィールドを含む科学データのサイズを減らす最も効果的な方法の1つである。
従来のアプローチでは、ターゲットデータポイントを予測する際に、単一のターゲットフィールドからのローカル情報を使用し、より高い圧縮比を達成する可能性を制限する。
本稿では,CNNを用いた新たなハイブリッド予測モデルを提案する。
論文 参考訳（メタデータ） (2024-09-26T21:06:53Z) - Sparse $L^1$-Autoencoders for Scientific Data Compression [0.0]
L1$-regularizedの高次元ラテント空間を用いたオートエンコーダの開発により,効率的なデータ圧縮手法を提案する。
本稿では,これらの情報に富む潜伏空間を用いて,ぼやけなどのアーティファクトを緩和し,科学的データに対する高効率なデータ圧縮手法を実現する方法について述べる。
論文 参考訳（メタデータ） (2024-05-23T07:48:00Z) - Convolutional variational autoencoders for secure lossy image compression in remote sensing [47.75904906342974]
本研究では,畳み込み変分オートエンコーダ(CVAE)に基づく画像圧縮について検討する。
CVAEは、JPEG2000のような従来の圧縮手法を圧縮ベンチマークデータセットのかなりのマージンで上回ることが示されている。
論文 参考訳（メタデータ） (2024-04-03T15:17:29Z) - Learning Accurate Performance Predictors for Ultrafast Automated Model
Compression [86.22294249097203]
フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。
本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
論文 参考訳（メタデータ） (2023-04-13T10:52:49Z) - On the Interaction Between Differential Privacy and Gradient Compression
in Deep Learning [55.22219308265945]
差分プライバシーと勾配圧縮のガウス的メカニズムがディープラーニングにおけるテスト精度にどのように影響するかを考察する。
勾配圧縮は一般に非プライベートトレーニングではテスト精度に悪影響を及ぼすが、差分プライベートトレーニングではテスト精度を改善することがある。
論文 参考訳（メタデータ） (2022-11-01T20:28:45Z) - Efficient Data Compression for 3D Sparse TPC via Bicephalous
Convolutional Autoencoder [8.759778406741276]
この研究は、textitBicephalous Convolutional AutoEncoder (BCAE)と呼ばれる、空間と回帰を同時に解決するデュアルヘッドオートエンコーダを導入している。
これはMGARD、SZ、ZFPといった従来のデータ圧縮手法と比較して圧縮忠実度と比の両方の利点を示している。
論文 参考訳（メタデータ） (2021-11-09T21:26:37Z) - Exploring Autoencoder-based Error-bounded Compression for Scientific
Data [14.724393511470225]
我々は,SZモデルの観点から,エラーバウンドオートエンコーダベースのフレームワークを開発する。
設計したAEベースエラーバウンド圧縮フレームワークの主段の圧縮品質を最適化する。
論文 参考訳（メタデータ） (2021-05-25T07:53:32Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳（メタデータ） (2021-05-24T12:07:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。