論文の概要: Guaranteed Conditional Diffusion: 3D Block-based Models for Scientific Data Compression

• arxiv url: http://arxiv.org/abs/2502.12951v1
• Date: Tue, 18 Feb 2025 15:33:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:06:16.162723
• Title: Guaranteed Conditional Diffusion: 3D Block-based Models for Scientific Data Compression
• Title（参考訳）: 保証条件拡散:科学的データ圧縮のための3次元ブロックベースモデル
• Authors: Jaemoon Lee, Xiao Li, Liangji Zhu, Sanjay Ranka, Anand Rangarajan,
• Abstract要約: 本稿では, 条件補正付き保証拡散(GCDTC)による新しい圧縮パラダイムを提案する。 条件付き拡散モデル、テンソル補正、エラー保証で構成されている。 我々のフレームワークは、標準的な畳み込みオートエンコーダより優れ、既存の科学データ圧縮アルゴリズムと競合する圧縮品質が得られる。
• 参考スコア（独自算出の注目度）: 10.848192105624848
• License:
• Abstract: This paper proposes a new compression paradigm -- Guaranteed Conditional Diffusion with Tensor Correction (GCDTC) -- for lossy scientific data compression. The framework is based on recent conditional diffusion (CD) generative models, and it consists of a conditional diffusion model, tensor correction, and error guarantee. Our diffusion model is a mixture of 3D conditioning and 2D denoising U-Net. The approach leverages a 3D block-based compressing module to address spatiotemporal correlations in structured scientific data. Then, the reverse diffusion process for 2D spatial data is conditioned on the ``slices'' of content latent variables produced by the compressing module. After training, the denoising decoder reconstructs the data with zero noise and content latent variables, and thus it is entirely deterministic. The reconstructed outputs of the CD model are further post-processed by our tensor correction and error guarantee steps to control and ensure a maximum error distortion, which is an inevitable requirement in lossy scientific data compression. Our experiments involving two datasets generated by climate and chemical combustion simulations show that our framework outperforms standard convolutional autoencoders and yields competitive compression quality with an existing scientific data compression algorithm.
• Abstract（参考訳）: 本稿では, 科学的データ圧縮を損なうための新しい圧縮パラダイムである, テンソル補正付き条件拡散(GCDTC)を提案する。 このフレームワークは、最近の条件拡散(CD)生成モデルに基づいており、条件拡散モデル、テンソル補正、エラー保証で構成されている。 我々の拡散モデルは3次元条件付けと2次元雑音付きU-Netの混合である。 このアプローチは3次元ブロックベースの圧縮モジュールを利用して、構造化された科学データの時空間相関に対処する。 そして、圧縮モジュールによって生成されたコンテンツ潜伏変数の ``スライス'' に、2次元空間データの逆拡散過程を条件付ける。 トレーニング後、復号化復号器はノイズや遅延変数がゼロでデータを再構成するので、完全に決定論的である。 CDモデルの再構成された出力は、我々のテンソル補正とエラー保証ステップによってさらに後処理され、最大誤差歪みを制御し、保証する。 気候および化学燃焼シミュレーションによって生成された2つのデータセットに関する実験により、我々のフレームワークは標準的な畳み込みオートエンコーダより優れ、既存の科学データ圧縮アルゴリズムと競合する圧縮品質が得られることが示された。

関連論文リスト

• Foundation Model for Lossy Compression of Spatiotemporal Scientific Data [11.494915987840876]
  損失のある科学的データ圧縮のための基礎モデル(FM)を提案する。 可変オートエンコーダ(E)と超高次構造と超高分解能(SR)モジュールを組み合わせる。
  論文  参考訳（メタデータ） (2024-12-22T22:57:08Z)
• Rectified Diffusion Guidance for Conditional Generation [62.00207951161297]
  CFGの背後にある理論を再検討し、組合せ係数の不適切な構成(すなわち、広く使われている和対1バージョン)が生成分布の期待シフトをもたらすことを厳密に確認する。 本稿では,誘導係数を緩和したReCFGを提案する。 このようにして、修正された係数は観測されたデータをトラバースすることで容易に事前計算でき、サンプリング速度はほとんど影響を受けない。
  論文  参考訳（メタデータ） (2024-10-24T13:41:32Z)
• MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
  本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。 MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。 本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
  論文  参考訳（メタデータ） (2024-08-19T01:30:14Z)
• Machine Learning Techniques for Data Reduction of CFD Applications [10.881548113461493]
  本稿では,科学的結果の低減に相関を利用した保証ブロックオートエンコーダを提案する。 入力と出力の両方にテンソルの多次元ブロック(CFD)を使用する。
  論文  参考訳（メタデータ） (2024-04-28T04:01:09Z)
• Correcting Diffusion-Based Perceptual Image Compression with Privileged End-to-End Decoder [49.01721042973929]
  本稿では,特権付きエンド・ツー・エンド・エンド・デコーダ・モデルを用いた拡散型画像圧縮法を提案する。 従来の知覚圧縮法と比較して,歪みと知覚の両方において,本手法の優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2024-04-07T10:57:54Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
  モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。 グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。 実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
  論文  参考訳（メタデータ） (2024-01-15T15:54:54Z)
• Lossy Image Compression with Conditional Diffusion Models [25.158390422252097]
  本稿では,拡散生成モデルを用いた画像圧縮のエンドツーエンド最適化について概説する。 VAEベースのニューラル圧縮とは対照的に、(平均)デコーダは決定論的ニューラルネットワークであり、私たちのデコーダは条件付き拡散モデルである。 提案手法では,GANモデルよりもFIDスコアが強く,VAEモデルとの競合性能も高い。
  論文  参考訳（メタデータ） (2022-09-14T21:53:27Z)
• A Physics-Informed Vector Quantized Autoencoder for Data Compression of Turbulent Flow [28.992515947961593]
  本研究では,ベクトル量子化に基づく物理インフォームドディープラーニング手法を適用し,乱流から低次元のデータ表現を生成する。 モデルの精度は、統計的・比較的類似度と物理的類似度を用いて評価される。 我々のモデルは、平均二乗誤差(MSE)が$O(10-3)$のCR$=85$と、非常に小さなスケールを除いて流れの統計を忠実に再現する予測を提供する。
  論文  参考訳（メタデータ） (2022-01-10T19:55:50Z)
• Exploring Autoencoder-based Error-bounded Compression for Scientific Data [14.724393511470225]
  我々は,SZモデルの観点から,エラーバウンドオートエンコーダベースのフレームワークを開発する。 設計したAEベースエラーバウンド圧縮フレームワークの主段の圧縮品質を最適化する。
  論文  参考訳（メタデータ） (2021-05-25T07:53:32Z)
• MuSCLE: Multi Sweep Compression of LiDAR using Deep Entropy Models [78.93424358827528]
  本稿では,LiDARセンサデータのストレージストリームを削減するための新しい圧縮アルゴリズムを提案する。 本手法は,従来のLiDAR圧縮法よりも接合形状と強度を著しく低減する。
  論文  参考訳（メタデータ） (2020-11-15T17:41:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。