論文の概要: Preserving Clusters in Error-Bounded Lossy Compression of Particle Data
- arxiv url: http://arxiv.org/abs/2604.18801v1
- Date: Mon, 20 Apr 2026 20:10:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-22 22:41:49.470426
- Title: Preserving Clusters in Error-Bounded Lossy Compression of Particle Data
- Title(参考訳): 粒子データの誤差境界ロスシー圧縮におけるクラスター保存
- Authors: Congrong Ren, Sheng Di, Katrin Heitmann, Franck Cappello, Hanqi Guo,
- Abstract要約: ロスシー圧縮は、科学応用における大規模粒子データセットのストレージとI/Oコストの削減に広く用いられている。
損失圧縮下での単一リンククラスタリングを保存するための補正に基づく手法を提案する。
- 参考スコア(独自算出の注目度): 5.188602908159626
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lossy compression is widely used to reduce storage and I/O costs for large-scale particle datasets in scientific applications such as cosmology, molecular dynamics, and fluid dynamics, where clustering structures (e.g., single-linkage or Friends-of-Friends) are critical for downstream analysis; however, existing compressors typically provide only pointwise error bounds on particle positions and offer no guarantees on preserving clustering outcomes, and even small perturbations can alter cluster connectivity and compromise scientific validity. We propose a correction-based technique to preserve single-linkage clustering under lossy compression, operating on decompressed data from off-the-shelf compressors such as SZ3 and Draco. Our key contributions are threefold: (1) a clustering-aware correction algorithm that identifies vulnerable particle pairs via spatial partitioning and local neighborhood search; (2) an optimization-based formulation that enforces clustering consistency using projected gradient descent with a loss that encodes pairwise distance violations; and (3) a scalable GPU-accelerated and distributed implementation for large-scale datasets. Experiments on cosmology and molecular dynamics datasets show that our method effectively preserves clustering results while maintaining competitive compression performance compared with SZ3, ZFP, Draco, LCP, and space-filling-curve-based schemes.
- Abstract(参考訳): ロスシー圧縮は、宇宙論、分子動力学、流体力学などの科学応用における大規模粒子データセットのストレージとI/Oコストの削減に広く用いられているが、クラスタリング構造(例えば、シングルリンクやフレンド-オブ-フレンド)が下流分析に重要である。
本研究では,SZ3 やDraco などの既設圧縮機からの圧縮データに基づいて,損失圧縮下での単一リンククラスタリングを補正する手法を提案する。
主な貢献は,(1)空間分割と局所近傍探索によって脆弱な粒子対を識別するクラスタリング対応補正アルゴリズム,(2)予測勾配勾配勾配を用いたクラスタリング一貫性の最適化,(3)大規模データセットに対するスケーラブルなGPUアクセラレーション,分散実装,の3つである。
SZ3, ZFP, Draco, LCP, and space-filling-curve-based schemesと比較して, 宇宙論および分子動力学データセットの実験により, 本手法は, 競合圧縮性能を維持しつつ, クラスタリング結果を効果的に保存することを示した。
関連論文リスト
- LG-HCC: Local Geometry-Aware Hierarchical Context Compression for 3D Gaussian Splatting [77.81227097905865]
アンカーベースの3DGS圧縮スキームは、いくつかの高度な文脈モデルを通してガウスの冗長性を減少させる。
本稿では, アンカープルーニングとエントロピー符号化にアンカー幾何学的相関を組み込んだ3DGSのための局所幾何学的階層型コンテキスト圧縮フレームワークを提案する。
実験の結果、LG-HCCは構造保存の問題を効果的に緩和し、Mip-NeRF360データセット上のScaffold-GSベースラインと比較して最大30.85倍のストレージを削減した。
論文 参考訳(メタデータ) (2026-03-30T13:39:35Z) - CSGaussian: Progressive Rate-Distortion Compression and Segmentation for 3D Gaussian Splatting [57.73006852239138]
本稿では,3次元ガウススプラッティングの速度歪み最適化圧縮とセグメンテーションのための最初の統一フレームワークを提案する(3DGS)。
速度歪みに最適化された3DGS圧縮の最近の進歩に触発されたこの研究は、セマンティックラーニングを圧縮パイプラインに統合し、デコーダ側アプリケーションをサポートする。
提案方式は暗黙的ニューラル表現に基づくハイパープライアを特徴とし,色属性と意味属性の両方の効率的なエントロピー符号化を実現する。
論文 参考訳(メタデータ) (2026-01-19T08:21:45Z) - An Efficient Gradient-Aware Error-Bounded Lossy Compressor for Federated Learning [7.649286962189554]
フェデレートラーニング(FL)は、クライアントのプライベートデータを公開せずに、協調的なモデルトレーニングを可能にする。
EBLCは特に、細粒度のユーティリティ圧縮トレードオフをアピールしている。
モデル精度を保ちながら高い圧縮率を達成するために,FL勾配データに適したEBLCフレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-07T23:59:09Z) - Guaranteed Conditional Diffusion: 3D Block-based Models for Scientific Data Compression [10.848192105624848]
本稿では, 条件補正付き保証拡散(GCDTC)による新しい圧縮パラダイムを提案する。
条件付き拡散モデル、テンソル補正、エラー保証で構成されている。
我々のフレームワークは、標準的な畳み込みオートエンコーダより優れ、既存の科学データ圧縮アルゴリズムと競合する圧縮品質が得られる。
論文 参考訳(メタデータ) (2025-02-18T15:33:09Z) - Enhancing Lossy Compression Through Cross-Field Information for Scientific Applications [11.025583805165455]
ロスシー圧縮は、複数のデータフィールドを含む科学データのサイズを減らす最も効果的な方法の1つである。
従来のアプローチでは、ターゲットデータポイントを予測する際に、単一のターゲットフィールドからのローカル情報を使用し、より高い圧縮比を達成する可能性を制限する。
本稿では,CNNを用いた新たなハイブリッド予測モデルを提案する。
論文 参考訳(メタデータ) (2024-09-26T21:06:53Z) - Self-Supervised Graph Embedding Clustering [70.36328717683297]
K-means 1-step dimensionality reduction clustering method は,クラスタリングタスクにおける次元性の呪いに対処する上で,いくつかの進歩をもたらした。
本稿では,K-meansに多様体学習を統合する統一フレームワークを提案する。
論文 参考訳(メタデータ) (2024-09-24T08:59:51Z) - Attention Based Machine Learning Methods for Data Reduction with Guaranteed Error Bounds [11.494915987840876]
高エネルギー物理学のような分野における科学的応用は、高速度で大量のデータを生成する。
この課題に対処するためには、データ圧縮や削減技術が不可欠である。
本稿では,ブロックワイズ圧縮を用いたアテンションベース圧縮手法を提案する。
論文 参考訳(メタデータ) (2024-09-09T06:35:24Z) - Quantize Once, Train Fast: Allreduce-Compatible Compression with Provable Guarantees [53.950234267704]
我々は、全リデュース勾配互換量子化法であるGlobal-QSGDを紹介する。
ベースライン量子化法で最大3.51%の分散トレーニングを高速化することを示す。
論文 参考訳(メタデータ) (2023-05-29T21:32:15Z) - Efficient Data Compression for 3D Sparse TPC via Bicephalous
Convolutional Autoencoder [8.759778406741276]
この研究は、textitBicephalous Convolutional AutoEncoder (BCAE)と呼ばれる、空間と回帰を同時に解決するデュアルヘッドオートエンコーダを導入している。
これはMGARD、SZ、ZFPといった従来のデータ圧縮手法と比較して圧縮忠実度と比の両方の利点を示している。
論文 参考訳(メタデータ) (2021-11-09T21:26:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。