論文の概要: Residual Modeling for High-Fidelity Learned Compression of Scientific Data
- arxiv url: http://arxiv.org/abs/2606.05389v1
- Date: Wed, 03 Jun 2026 19:49:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-05 22:39:44.371893
- Title: Residual Modeling for High-Fidelity Learned Compression of Scientific Data
- Title(参考訳): 科学的データの高精細学習圧縮のための残留モデリング
- Authors: Liangji Zhu, Sanjay Ranka, Anand Rangarajan,
- Abstract要約: 学習圧縮機残差に適合した残差表現は、大域的残差補正が速度優位になると学習圧縮の利点を保てることを示す。
E3SM, JHTDB, ERA5 のブロックレベルの整数 NRMSE ターゲットの 10-6 から 10-4 にまたがって、LBRC は GAE の圧縮比を 30-60% 改善し、SZ と広く競合する。
NGLRはLBRCを10-40%上回り、評価された高忠実性体制においてSZを上回っている。
- 参考スコア(独自算出の注目度): 7.75221292147684
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Lossy compression is essential for massive spatiotemporal data from scientific simulations. Learned compressors can achieve high compression ratios at moderate accuracy targets, but their aggregate reconstruction losses do not guarantee accuracy for each block. Existing Guaranteed Autoencoder (GAE) methods add a per-block residual correction by retaining SVD/PCA-style coefficients until the target is met. This works at moderate tolerances, but in the high-fidelity regime with block-level NRMSE from 10^-6 to 10^-4, the number of retained coefficients grows quickly and the correction stream dominates the total rate. We propose a residual-centric view: the learned residual is structurally different from the original scientific field and should be coded with a representation designed for that residual. We introduce two residual coders. LBRC is a deterministic, training-free pipeline that adaptively quantizes the learned residual to the target NRMSE and losslessly encodes the resulting integer residual using 3D Lorenzo differencing, zigzag mapping, bit-plane coding, and entropy coding. NGLR adds a causal neural predictor that outputs a normalized bias for an integer-rounded Lorenzo prediction in the same deterministic integer pipeline, reducing the entropy of the remaining residual code while preserving deterministic decoding. The predictor weights are serialized and counted in the bitstream. Across E3SM, JHTDB, and ERA5 at block-level NRMSE targets from 10^-6 to 10^-4, LBRC improves compression ratio over GAE by 30-60% and is broadly competitive with SZ. NGLR adds a further 10-40% over LBRC and outperforms SZ in the evaluated high-fidelity regime. These results show that residual representations tailored to learned-compressor residuals can preserve the advantage of learned compression when global residual correction becomes rate-dominant.
- Abstract(参考訳): ロスシー圧縮は、科学シミュレーションからの大規模な時空間データに不可欠である。
学習圧縮機は、適度な精度で高い圧縮比を達成できるが、その集合再構成損失は各ブロックの精度を保証しない。
既存の保証オートエンコーダ(GAE)法では、ターゲットが満たされるまでSVD/PCA型係数を保持することでブロックごとの残差補正を行う。
これは適度な許容度で作用するが、10^-6 から 10^-4 までのブロックレベルの NRMSE を持つ高忠実度系では、保持係数の数が急速に増加し、補正ストリームが総レートを支配する。
学習された残差は、元の科学分野と構造的に異なるものであり、その残差のために設計された表現で符号化されるべきである。
残余コーダを2つ導入する。
LBRCは、学習したNRMSEへの残差を適応的に定量化し、3Dロレンツォ差分、ジグザグマッピング、ビットプレーン符号化、エントロピー符号化を用いて結果の整数残差を無害に符号化する、決定論的で訓練のないパイプラインである。
NGLRは因果神経予測器を追加し、同じ決定論的整数パイプラインで整数を囲むロレンツォ予想の正規化バイアスを出力し、決定論的復号を保ちながら残りの残符号のエントロピーを減少させる。
予測器の重みは直列化され、ビットストリームにカウントされる。
E3SM, JHTDB, ERA5を10^-6から10^-4とし, LBRCはGAEの圧縮比を30~60%改善し, SZと広く競合する。
NGLRはLBRCを10-40%上回り、評価された高忠実性体制においてSZを上回っている。
これらの結果から,大域的残差補正が速度優位になると,学習圧縮の利点を保たせることが示唆された。
関連論文リスト
- Motion-Compensated Weight Compression [0.0]
運動補償重み圧縮(英: Motion-Compensated Weight Compression、MCWC)は、重みのみの圧縮であり、置換対称ブロックを整列させて層間対応を最大化する。
MCWCはエントロピー復号、復号化、予測駆動型再構成、逆アライメントによって展開可能な重量を再構成する。
論文 参考訳(メタデータ) (2026-05-23T22:09:34Z) - Causal Unlearning in Collaborative Optimization: Exact and Approximate Influence Reversal under Adversarial Contributions [2.5565719921628443]
フェデレートされた学習システムは、プライバシー規則に従うためにデータ削除要求をサポートしなければならない。
本稿では,クライアントのコントリビューションをKrylov部分空間の共役反復によって近似することで,クライアントのコントリビューションを除去する手法であるHF-KCUを提案する。
我々は、k がヘッセン条件数である場合、クリロフ近似誤差が O((k 1/2-1)/(k1/2+1) として減少することを示す収束保証を提供する。
論文 参考訳(メタデータ) (2026-05-19T18:00:39Z) - A Unified Hardware-to-Decoder Architecture for Hybrid Continuous-Variable and Discrete-Variable Quantum Error Correction in LiDMaS+ [4.11280059407553]
LiDMaS+(LiDMaS+)は、連続可変量子誤り訂正のためのアーキテクチャレベルのハードウェア-論理-復号器実行スタックである。
本稿では,連続変数と離散変数のハイブリッド量子誤り訂正のためのアーキテクチャレベルのハードウェア-論理-復号器実行スタックを提案する。
論文 参考訳(メタデータ) (2026-04-16T06:03:06Z) - Random coding for long-range continuous-variable QKD [0.18907108368038208]
量子鍵分配(Quantum Key Distribution, QKD)は、量子チャネルの物理特性に基づく鍵交換プロトコルである。
本稿では,長距離CVQKDに適したランダムコードブック誤り訂正手法を提案する。
論文 参考訳(メタデータ) (2025-12-17T21:45:59Z) - An Efficient Gradient-Aware Error-Bounded Lossy Compressor for Federated Learning [7.649286962189554]
フェデレートラーニング(FL)は、クライアントのプライベートデータを公開せずに、協調的なモデルトレーニングを可能にする。
EBLCは特に、細粒度のユーティリティ圧縮トレードオフをアピールしている。
モデル精度を保ちながら高い圧縮率を達成するために,FL勾配データに適したEBLCフレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-07T23:59:09Z) - Towards Effective and Efficient Non-autoregressive Decoding Using Block-based Attention Mask [74.64216073678617]
AMDはアテンションマスクを用いて隠された出力ラベルの連続ブロック内で並列NAR推論を行う。
ビームサーチアルゴリズムは、CTC、ARデコーダ、AMD確率の動的融合を利用するように設計されている。
LibriSpeech-100hrコーパスの実験では、AMDモジュールを組み込んだトリパルタイトデコーダが最大1.73倍のデコード速度比を生み出すことを示唆している。
論文 参考訳(メタデータ) (2024-06-14T13:42:38Z) - Improved techniques for deterministic l2 robustness [63.34032156196848]
畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。
我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。
我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
論文 参考訳(メタデータ) (2022-11-15T19:10:12Z) - Reducing Predictive Feature Suppression in Resource-Constrained
Contrastive Image-Caption Retrieval [65.33981533521207]
我々は、リソース制約のあるICR手法における予測的特徴抑圧を減らすアプローチを提案する:潜在目標デコーディング(LTD)
LTDは、汎用文エンコーダの潜時空間で入力キャプションを再構成し、画像及びキャプションエンコーダが予測的特徴を抑制するのを防止する。
実験の結果,入力空間における入力キャプションの再構成とは異なり,LTDはリコール@k,r精度,nDCGスコアを高くすることで,予測的特徴抑制を低減できることがわかった。
論文 参考訳(メタデータ) (2022-04-28T09:55:28Z) - Non-Autoregressive Transformer ASR with CTC-Enhanced Decoder Input [54.82369261350497]
CTCモジュールの予測を精算することでターゲットシーケンスを生成するCTC拡張NARトランスを提案する。
実験結果から,Aishell-1およびAishell-2データセットでは,Aishell-1およびAishell-2データセットの絶対CER劣化が0。
論文 参考訳(メタデータ) (2020-10-28T15:00:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。