論文の概要: Quantifying the Impact of Lossy Compression on Neural Generative Surrogate Modeling
- arxiv url: http://arxiv.org/abs/2606.15959v1
- Date: Sun, 14 Jun 2026 18:37:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.9629
- Title: Quantifying the Impact of Lossy Compression on Neural Generative Surrogate Modeling
- Title（参考訳）: ニューラルジェネレーション・サロゲートモデリングにおける損失圧縮の影響の定量化
- Abstract要約: 損失圧縮は、生成的代理モデルの負担を軽減するための有望な方法である。
損失圧縮はデータストレージを最大23.7倍、39倍に削減し、サロゲートモデルの品質には何の影響も与えないことを示した。
- 参考スコア（独自算出の注目度）: 12.85243441398663
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks are used as generative surrogate models for scientific discovery, which are trainable approximations of scientific simulations. These models enable users to replace time-consuming numerical simulations with learned alternatives, providing quick solutions. However, high-fidelity generative surrogate models require massive training datasets, which can create storage and I/O challenges. Lossy compression is a promising way to reduce this burden, but compression errors may affect the model quality in subtle ways, making it challenging to quantify their impact. In this work, we examine how lossy compression of training data impacts the quality of generative surrogate models. We begin by characterizing the uncertainty inherent in training neural networks, showing that identical training configurations can produce different models. By exploiting this variability, we propose a method to estimate how much compression-induced error a surrogate model can tolerate without affecting its accuracy. Evaluation of two application simulations demonstrates that our approach significantly reduces memory/storage requirements and speeds up training while producing high-quality surrogate models. These results show that lossy compression saves data storage up to 23.7x and 39x with negligible impact on the quality of the surrogate model. Meanwhile, reducing the size of the training data set also enhances the data loading speed and reduces the training time by up to 3x.
- Abstract（参考訳）: ニューラルネットワークは、科学シミュレーションのトレーニング可能な近似である科学的発見のための生成的代理モデルとして使用される。
これらのモデルは、ユーザが時間を要する数値シミュレーションを学習した代替品に置き換え、迅速なソリューションを提供する。
しかし、高忠実な生成サロゲートモデルは大量のトレーニングデータセットを必要とするため、ストレージやI/Oの課題が発生する可能性がある。
損失圧縮はこの負担を軽減するための有望な方法であるが、圧縮エラーはモデルの品質に微妙な影響を与える可能性があるため、その影響を定量化することは困難である。
本研究では,学習データの損失圧縮が生成的サロゲートモデルの品質に与える影響について検討する。
まず、トレーニングニューラルネットワークに固有の不確実性を特徴付け、同一のトレーニング構成が異なるモデルを生成することを示す。
この変動性を利用して,サロゲートモデルがその精度に影響を与えることなく,どの程度圧縮誘起誤差を許容できるかを推定する手法を提案する。
2つのアプリケーションシミュレーションの評価により,提案手法はメモリ/ストレージ要求を大幅に削減し,高品質なサロゲートモデルを作成しながらトレーニングを高速化することを示した。
これらの結果から、損失圧縮はデータストレージを最大23.7倍、39倍に削減し、サロゲートモデルの品質には何の影響も与えないことがわかった。
一方、トレーニングデータセットのサイズを小さくすることで、データのロード速度が向上し、トレーニング時間を最大3倍に短縮する。
関連論文リスト
- Hybrid Compression: Integrating Pruning and Quantization for Optimized Neural Networks [10.505297793600137]
本稿では,2段階のモデル圧縮手法を提案する。
まず, プルーニングや量子化などのモデル圧縮技術を用いて, モデルサイズを大幅に削減する。
次に、Mixture of Expertsを用いて、以前圧縮されたモデルをルーティングし、推論効率のバランスを維持しながら性能を向上させる。
論文 参考訳（メタデータ） (2026-06-22T07:11:52Z) - Predictive Feature Caching for Training-free Acceleration of Molecular Geometry Generation [67.20779609022108]
フローマッチングモデルは、高忠実度分子ジオメトリを生成するが、推論中にかなりの計算コストを発生させる。
本研究は,分子幾何生成を加速する学習自由キャッシング戦略について論じる。
GEOM-Drugsデータセットの実験は、キャッシングがウォールクロックの推測時間の2倍の削減を実現することを示した。
論文 参考訳（メタデータ） (2025-10-06T09:49:14Z) - A new pathway to generative artificial intelligence by minimizing the maximum entropy [0.0]
現在のモデルは、生成されたデータとトレーニングセットの間の距離を最小にすることで訓練される。
トレーニングセットに適合しないが、最も情報に富むもっともノイズの多いデータ表現を見つけるフレームワークを通じてパラダイムシフトを導入する。
結果は、データ効率が良く柔軟性があり、生成プロセスの制御と影響を許容する一般的な物理駆動モデルである。
論文 参考訳（メタデータ） (2025-02-18T21:16:33Z) - NeurLZ: An Online Neural Learning-Based Method to Enhance Scientific Lossy Compression [34.30562110131907]
NeurLZは、オンライン学習、クロスフィールド学習、堅牢なエラー制御を統合することで、損失圧縮を強化するように設計されたニューラルネットワークである。
最初の5つの学習エポックの間、NeurLZは89%のビットレート削減を実現し、さらなる最適化により、同等の歪みで最大94%の削減が得られる。
論文 参考訳（メタデータ） (2024-09-09T16:48:09Z) - Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。
グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。
実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
論文 参考訳（メタデータ） (2024-01-15T15:54:54Z) - Reusing Pretrained Models by Multi-linear Operators for Efficient
Training [65.64075958382034]
大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。
bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。
本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
論文 参考訳（メタデータ） (2023-10-16T06:16:47Z) - Uncovering the Hidden Cost of Model Compression [43.62624133952414]
視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。
モデル圧縮は視覚的プロンプトベース転送の性能に有害である。
しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
論文 参考訳（メタデータ） (2023-08-29T01:47:49Z) - Post-training Model Quantization Using GANs for Synthetic Data
Generation [57.40733249681334]
量子化法における実データを用いたキャリブレーションの代用として合成データを用いた場合について検討する。
本稿では,StyleGAN2-ADAが生成したデータと事前学習したDiStyleGANを用いて定量化したモデルの性能と,実データを用いた量子化とフラクタル画像に基づく代替データ生成手法との比較を行った。
論文 参考訳（メタデータ） (2023-05-10T11:10:09Z) - An Adversarial Active Sampling-based Data Augmentation Framework for
Manufacturable Chip Design [55.62660894625669]
リソグラフィーモデリングは、チップ設計マスクが製造可能であることを保証するため、チップ設計において重要な問題である。
機械学習の最近の進歩は、時間を要するリソグラフィーシミュレーションをディープニューラルネットワークに置き換えるための代替ソリューションを提供している。
本稿では,限られたデータのジレンマを解消し,機械学習モデルの性能を向上させるために,データ拡張フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-27T20:53:39Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳（メタデータ） (2021-10-08T17:03:34Z) - Robustness in Compressed Neural Networks for Object Detection [2.9823962001574182]
圧縮されたモデルの異なる歪みタイプに対する感度はニュアンス化されている。
いくつかの汚職は圧縮法に大きく影響している。
データ拡張はモデルの堅牢性に肯定的な影響を与えることが確認された。
論文 参考訳（メタデータ） (2021-02-10T15:52:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。