論文の概要: GWLZ: A Group-wise Learning-based Lossy Compression Framework for Scientific Data

• arxiv url: http://arxiv.org/abs/2404.13470v1
• Date: Sat, 20 Apr 2024 21:12:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 18:50:40.714381
• Title: GWLZ: A Group-wise Learning-based Lossy Compression Framework for Scientific Data
• Title（参考訳）: GWLZ:科学データのためのグループ学習型ロッシー圧縮フレームワーク
• Authors: Wenqi Jia, Sian Jin, Jinzhen Wang, Wei Niu, Dingwen Tao, Miao Yin,
• Abstract要約: 本稿では,GWLZを提案する。GWLZは,複数の軽量学習可能エンハンサモデルを備えたグループ学習型損失圧縮フレームワークである。 本稿では,GWLZが圧縮効率に悪影響を及ぼすことなく,圧縮されたデータ再構成品質を著しく向上させることを示す。
• 参考スコア（独自算出の注目度）: 14.92764869276237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid expansion of computational capabilities and the ever-growing scale of modern HPC systems present formidable challenges in managing exascale scientific data. Faced with such vast datasets, traditional lossless compression techniques prove insufficient in reducing data size to a manageable level while preserving all information intact. In response, researchers have turned to error-bounded lossy compression methods, which offer a balance between data size reduction and information retention. However, despite their utility, these compressors employing conventional techniques struggle with limited reconstruction quality. To address this issue, we draw inspiration from recent advancements in deep learning and propose GWLZ, a novel group-wise learning-based lossy compression framework with multiple lightweight learnable enhancer models. Leveraging a group of neural networks, GWLZ significantly enhances the decompressed data reconstruction quality with negligible impact on the compression efficiency. Experimental results on different fields from the Nyx dataset demonstrate remarkable improvements by GWLZ, achieving up to 20% quality enhancements with negligible overhead as low as 0.0003x.
• Abstract（参考訳）: 計算能力の急速な拡大と、現代のHPCシステムの継続的な規模拡大は、エクサスケールの科学データを管理する上で大きな課題となる。 このような膨大なデータセットに直面して、従来のロスレス圧縮技術は、すべての情報をそのまま保存しながら、データサイズを管理可能なレベルに下げるには不十分である。 これに対し、研究者はデータサイズ削減と情報保持のバランスを保ちながら、エラーバウンドの損失圧縮手法に切り替えた。 しかし、これらの圧縮機は実用性にも拘わらず、再現性に限界がある。 この問題に対処するために,近年の深層学習の進歩から着想を得たGWLZを提案する。 ニューラルネットワークのグループを活用することで、GWLZは圧縮効率に無視できない影響で、圧縮されたデータ再構成の品質を大幅に向上する。 Nyxデータセットの異なるフィールドに対する実験結果は、GWLZによる顕著な改善を示し、0.0003xという無視可能なオーバーヘッドで最大20%の品質向上を実現した。

関連論文リスト

• Compressing high-resolution data through latent representation encoding for downscaling large-scale AI weather forecast model [10.634513279883913]
  本稿では,高解像度データセットの圧縮に適した変分オートエンコーダフレームワークを提案する。 本フレームワークは,HRCLDASデータの3年間の保存容量を8.61TBから204GBに削減し,必須情報を保存した。
  論文  参考訳（メタデータ） (2024-10-10T05:38:03Z)
• NeurLZ: On Enhancing Lossy Compression Performance based on Error-Controlled Neural Learning for Scientific Data [35.36879818366783]
  大規模科学シミュレーションは、ストレージとI/Oに挑戦する巨大なデータセットを生成する。 我々は、科学データのための新しいクロスフィールド学習およびエラー制御圧縮フレームワークNeurLZを提案する。
  論文  参考訳（メタデータ） (2024-09-09T16:48:09Z)
• Convolutional variational autoencoders for secure lossy image compression in remote sensing [47.75904906342974]
  本研究では,畳み込み変分オートエンコーダ(CVAE)に基づく画像圧縮について検討する。 CVAEは、JPEG2000のような従来の圧縮手法を圧縮ベンチマークデータセットのかなりのマージンで上回ることが示されている。
  論文  参考訳（メタデータ） (2024-04-03T15:17:29Z)
• Understanding The Effectiveness of Lossy Compression in Machine Learning Training Sets [7.261516807130813]
  機械学習と人工知能(ML/AI)技術は、ハイパフォーマンスコンピューティングでますます普及している。 データ圧縮はこれらの問題の解決策となり得るが、損失圧縮がモデル品質にどのように影響するかを深く理解する必要がある。 現代の損失圧縮手法は、品質の1%以下の損失に対して、50-100倍圧縮率の改善を達成できることを示す。
  論文  参考訳（メタデータ） (2024-03-23T23:14:37Z)
• Semantic Ensemble Loss and Latent Refinement for High-Fidelity Neural Image Compression [58.618625678054826]
  本研究は、最適な視覚的忠実度のために設計された強化されたニューラル圧縮手法を提案する。 我々は,洗練されたセマンティック・アンサンブル・ロス,シャルボニエ・ロス,知覚的損失,スタイル・ロス,非バイナリ・ディバイザ・ロスを組み込んだモデルを構築した。 実験により,本手法は神経画像圧縮の統計的忠実度を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-25T08:11:27Z)
• SRN-SZ: Deep Leaning-Based Scientific Error-bounded Lossy Compression with Super-resolution Neural Networks [13.706955134941385]
  本研究では,SRN-SZを提案する。 SRN-SZはその圧縮に最も高度な超解像ネットワークHATを適用している。 実験では、SRN-SZは最大75%の圧縮比の改善を同じ誤差境界下で達成する。
  論文  参考訳（メタデータ） (2023-09-07T22:15:32Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• ScaleCom: Scalable Sparsified Gradient Compression for Communication-Efficient Distributed Training [74.43625662170284]
  最先端プラットフォーム上でのDeep Neural Networks(DNN)の大規模分散トレーニングは,通信の厳しい制約が期待できる。 本稿では,学習者間の勾配分布の類似性を活用した新しい圧縮手法を提案する。 実験により,scalecomのオーバーヘッドは小さく,勾配トラフィックを直接低減し,高い圧縮率(65～400倍)と優れたスケーラビリティ(64名までの学習者,8～12倍のバッチサイズ)を提供する。
  論文  参考訳（メタデータ） (2021-04-21T02:22:10Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• Analyzing and Mitigating JPEG Compression Defects in Deep Learning [69.04777875711646]
  本稿では,JPEG圧縮が共通タスクやデータセットに与える影響を統一的に検討する。 高圧縮の一般的なパフォーマンス指標には大きなペナルティがあることが示される。
  論文  参考訳（メタデータ） (2020-11-17T20:32:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。