論文の概要: Enhancing Lossy Compression Through Cross-Field Information for Scientific Applications
- arxiv url: http://arxiv.org/abs/2409.18295v1
- Date: Thu, 26 Sep 2024 21:06:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-06 07:10:35.828862
- Title: Enhancing Lossy Compression Through Cross-Field Information for Scientific Applications
- Title（参考訳）: 科学応用のためのクロスフィールド情報による損失圧縮の促進
- Authors: Youyuan Liu, Wenqi Jia, Taolue Yang, Miao Yin, Sian Jin,
- Abstract要約: ロスシー圧縮は、複数のデータフィールドを含む科学データのサイズを減らす最も効果的な方法の1つである。
従来のアプローチでは、ターゲットデータポイントを予測する際に、単一のターゲットフィールドからのローカル情報を使用し、より高い圧縮比を達成する可能性を制限する。
本稿では,CNNを用いた新たなハイブリッド予測モデルを提案する。
- 参考スコア（独自算出の注目度）: 11.025583805165455
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lossy compression is one of the most effective methods for reducing the size of scientific data containing multiple data fields. It reduces information density through prediction or transformation techniques to compress the data. Previous approaches use local information from a single target field when predicting target data points, limiting their potential to achieve higher compression ratios. In this paper, we identified significant cross-field correlations within scientific datasets. We propose a novel hybrid prediction model that utilizes CNN to extract cross-field information and combine it with existing local field information. Our solution enhances the prediction accuracy of lossy compressors, leading to improved compression ratios without compromising data quality. We evaluate our solution on three scientific datasets, demonstrating its ability to improve compression ratios by up to 25% under specific error bounds. Additionally, our solution preserves more data details and reduces artifacts compared to baseline approaches.
- Abstract（参考訳）: ロスシー圧縮は、複数のデータフィールドを含む科学データのサイズを減らす最も効果的な方法の1つである。
予測や変換技術によって情報密度を低減し、データを圧縮する。
従来のアプローチでは、ターゲットデータポイントを予測する際に、単一のターゲットフィールドからのローカル情報を使用し、より高い圧縮比を達成する可能性を制限する。
本稿では,科学的データセット内の有意な分野間相関を同定した。
本稿では,CNNを用いた新たなハイブリッド予測モデルを提案する。
データ品質を損なうことなく圧縮率を向上し, 圧縮率の向上を図った。
提案手法を3つの科学的データセット上で評価し, 特定の誤差境界下で圧縮率を最大25%向上できることを示す。
さらに、我々のソリューションはデータの詳細を保存し、ベースラインアプローチと比較してアーティファクトを削減します。
関連論文リスト
- NeurLZ: On Enhancing Lossy Compression Performance based on Error-Controlled Neural Learning for Scientific Data [35.36879818366783]
大規模科学シミュレーションは、ストレージとI/Oに挑戦する巨大なデータセットを生成する。
我々は、科学データのための新しいクロスフィールド学習およびエラー制御圧縮フレームワークNeurLZを提案する。
論文 参考訳（メタデータ） (2024-09-09T16:48:09Z) - Sparse $L^1$-Autoencoders for Scientific Data Compression [0.0]
L1$-regularizedの高次元ラテント空間を用いたオートエンコーダの開発により,効率的なデータ圧縮手法を提案する。
本稿では,これらの情報に富む潜伏空間を用いて,ぼやけなどのアーティファクトを緩和し,科学的データに対する高効率なデータ圧縮手法を実現する方法について述べる。
論文 参考訳（メタデータ） (2024-05-23T07:48:00Z) - Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳（メタデータ） (2024-02-07T16:32:29Z) - Spatiotemporally adaptive compression for scientific dataset with
feature preservation -- a case study on simulation data with extreme climate
events analysis [11.299989876672605]
適応的, 誤差制御された損失圧縮を用いて, 解析後の精度を向上しながら, ストレージコストに対処する手法を提案する。
データ圧縮とサイクロン特徴検出を統合し,高次元空間における適応誤差境界圧縮により圧縮比が大きくなることを示す。
論文 参考訳（メタデータ） (2024-01-06T22:32:34Z) - SRN-SZ: Deep Leaning-Based Scientific Error-bounded Lossy Compression
with Super-resolution Neural Networks [13.706955134941385]
本研究では,SRN-SZを提案する。
SRN-SZはその圧縮に最も高度な超解像ネットワークHATを適用している。
実験では、SRN-SZは最大75%の圧縮比の改善を同じ誤差境界下で達成する。
論文 参考訳（メタデータ） (2023-09-07T22:15:32Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳（メタデータ） (2023-07-19T04:07:33Z) - Scalable Hybrid Learning Techniques for Scientific Data Compression [6.803722400888276]
科学者は、抽出された興味の量(QoIs)を正確に保存する圧縮技術を必要とする
本稿では,データ圧縮のためのエンドツーエンドでスケーラブルなGPUベースのパイプラインとして実装された物理インフォームド圧縮手法を提案する。
論文 参考訳（メタデータ） (2022-12-21T03:00:18Z) - Unrolled Compressed Blind-Deconvolution [77.88847247301682]
sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。
そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
論文 参考訳（メタデータ） (2022-09-28T15:16:58Z) - COIN++: Data Agnostic Neural Compression [55.27113889737545]
COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。
様々なデータモダリティを圧縮することで,本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-01-30T20:12:04Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳（メタデータ） (2021-05-24T12:07:38Z) - MuSCLE: Multi Sweep Compression of LiDAR using Deep Entropy Models [78.93424358827528]
本稿では,LiDARセンサデータのストレージストリームを削減するための新しい圧縮アルゴリズムを提案する。
本手法は,従来のLiDAR圧縮法よりも接合形状と強度を著しく低減する。
論文 参考訳（メタデータ） (2020-11-15T17:41:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。