論文の概要: DeepCQ: General-Purpose Deep-Surrogate Framework for Lossy Compression Quality Prediction

• arxiv url: http://arxiv.org/abs/2512.21433v1
• Date: Wed, 24 Dec 2025 21:46:17 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-29 12:07:20.278759
• Title: DeepCQ: General-Purpose Deep-Surrogate Framework for Lossy Compression Quality Prediction
• Title（参考訳）: DeepCQ: 損失圧縮品質予測のための汎用Deep-Surrogateフレームワーク
• Authors: Khondoker Mirazul Mumenin, Robert Underwood, Dong Dai, Jinzhen Wang, Sheng Di, Zarija Lukić, Franck Cappello,
• Abstract要約: 圧縮品質の損失予測のための汎用的なディープサロゲートフレームワーク(DeepCQ)を提案する。 我々の結果はフレームワークの異常な予測精度を強調しており、ほとんどの設定で予測エラーは10%以下である。
• 参考スコア（独自算出の注目度）: 4.634179787231294
• License:
• Abstract: Error-bounded lossy compression techniques have become vital for scientific data management and analytics, given the ever-increasing volume of data generated by modern scientific simulations and instruments. Nevertheless, assessing data quality post-compression remains computationally expensive due to the intensive nature of metric calculations. In this work, we present a general-purpose deep-surrogate framework for lossy compression quality prediction (DeepCQ), with the following key contributions: 1) We develop a surrogate model for compression quality prediction that is generalizable to different error-bounded lossy compressors, quality metrics, and input datasets; 2) We adopt a novel two-stage design that decouples the computationally expensive feature-extraction stage from the light-weight metrics prediction, enabling efficient training and modular inference; 3) We optimize the model performance on time-evolving data using a mixture-of-experts design. Such a design enhances the robustness when predicting across simulation timesteps, especially when the training and test data exhibit significant variation. We validate the effectiveness of DeepCQ on four real-world scientific applications. Our results highlight the framework's exceptional predictive accuracy, with prediction errors generally under 10\% across most settings, significantly outperforming existing methods. Our framework empowers scientific users to make informed decisions about data compression based on their preferred data quality, thereby significantly reducing I/O and computational overhead in scientific data analysis.
• Abstract（参考訳）: 現代の科学シミュレーションや機器が生み出すデータ量の増加を考えると、エラーバウンドのロッキー圧縮技術は科学データ管理と分析に欠かせないものとなっている。 それでも、計量計算の集中的な性質のため、圧縮後のデータ品質の評価には計算コストがかかる。 本稿では、圧縮品質の損失予測(DeepCQ)のための汎用的なディープサロゲートフレームワークを提案する。 1) 圧縮品質予測のためのサロゲートモデルを開発し, 異なる誤差有界損失圧縮機, 品質指標, 入力データセットに一般化する。 2)計算コストのかかる特徴抽出段階を軽量なメトリクス予測から切り離し,効率的なトレーニングとモジュラー推論を可能にする新しい2段階設計を採用する。 3) 試行錯誤設計を用いて, 時間進化データ上でのモデル性能を最適化する。 このような設計は、シミュレーションタイムステップをまたいで予測する場合、特にトレーニングデータとテストデータが大きなばらつきを示す場合、ロバスト性を高める。 実世界の4つの科学的応用におけるDeepCQの有効性を検証する。 我々の結果はフレームワークの異常予測精度を強調し、ほとんどの設定で予測誤差が10倍以下であり、既存の手法よりも大幅に優れています。 本フレームワークは, 科学的データ解析におけるI/Oおよび計算オーバーヘッドを大幅に低減し, 所望のデータ品質に基づいてデータ圧縮に関する情報決定を行うことを可能にする。

関連論文リスト

• Evaluating the Impact of Compression Techniques on Task-Specific Performance of Large Language Models [0.0]
  大規模言語モデル(LLM)は強力な能力を提供するが、かなりの計算コストがかかる。 本研究では,LLaMA-2-7Bモデルに対する圧縮法の影響について検討した。 SparseGPTとWandaは50%の間隔でも難易度を保っているが,下流タスクでは著しく低下している。
  論文  参考訳（メタデータ） (2024-09-17T14:34:11Z)
• NeurLZ: An Online Neural Learning-Based Method to Enhance Scientific Lossy Compression [34.30562110131907]
  NeurLZは、オンライン学習、クロスフィールド学習、堅牢なエラー制御を統合することで、損失圧縮を強化するように設計されたニューラルネットワークである。 最初の5つの学習エポックの間、NeurLZは89%のビットレート削減を実現し、さらなる最適化により、同等の歪みで最大94%の削減が得られる。
  論文  参考訳（メタデータ） (2024-09-09T16:48:09Z)
• CogDPM: Diffusion Probabilistic Models via Cognitive Predictive Coding [62.075029712357]
  本研究は認知拡散確率モデル(CogDPM)を紹介する。 CogDPMは拡散モデルの階層的サンプリング能力に基づく精度推定法と拡散モデル固有の性質から推定される精度重み付きガイダンスを備える。 我々は,Universal Kindomの降水量と表面風速データセットを用いた実世界の予測タスクにCogDPMを適用した。
  論文  参考訳（メタデータ） (2024-05-03T15:54:50Z)
• Spatiotemporally adaptive compression for scientific dataset with feature preservation -- a case study on simulation data with extreme climate events analysis [11.299989876672605]
  適応的, 誤差制御された損失圧縮を用いて, 解析後の精度を向上しながら, ストレージコストに対処する手法を提案する。 データ圧縮とサイクロン特徴検出を統合し,高次元空間における適応誤差境界圧縮により圧縮比が大きくなることを示す。
  論文  参考訳（メタデータ） (2024-01-06T22:32:34Z)
• Transition Role of Entangled Data in Quantum Machine Learning [51.6526011493678]
  エンタングルメントは量子コンピューティングを強化するリソースとして機能する。 最近の進歩は量子力学の学習に対する肯定的な影響を浮き彫りにした。 我々は、絡み合ったデータを用いて量子力学を学習するための量子no-free-lunch(NFL)定理を確立する。
  論文  参考訳（メタデータ） (2023-06-06T08:06:43Z)
• Learning Accurate Performance Predictors for Ultrafast Automated Model Compression [86.22294249097203]
  フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。 本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
  論文  参考訳（メタデータ） (2023-04-13T10:52:49Z)
• DeepVol: Volatility Forecasting from High-Frequency Data with Dilated Causal Convolutions [53.37679435230207]
  本稿では,Dilated Causal Convolutionsに基づくDeepVolモデルを提案する。 実験結果から,提案手法は高頻度データからグローバルな特徴を効果的に学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-09-23T16:13:47Z)
• Semantic Perturbations with Normalizing Flows for Improved Generalization [62.998818375912506]
  我々は、非教師付きデータ拡張を定義するために、潜在空間における摂動が利用できることを示す。 トレーニングを通して分類器に適応する潜伏性対向性摂動が最も効果的であることが判明した。
  論文  参考訳（メタデータ） (2021-08-18T03:20:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。