論文の概要: Variable Rate Neural Compression for Sparse Detector Data

• arxiv url: http://arxiv.org/abs/2411.11942v1
• Date: Mon, 18 Nov 2024 17:15:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:35:39.802430
• Title: Variable Rate Neural Compression for Sparse Detector Data
• Title（参考訳）: スパース検出器データに対する可変速度ニューラル圧縮
• Authors: Yi Huang, Yeonju Go, Jin Huang, Shuhang Li, Xihaier Luo, Thomas Marshall, Joseph Osborn, Christopher Pinkenburg, Yihui Ren, Evgeny Shulga, Shinjae Yoo, Byung-Jun Yoon,
• Abstract要約: 本稿では,スパース畳み込みによるキーポイント識別によるTPCデータ圧縮手法を提案する。 BCAE-VSは、以前の最先端モデルよりも圧縮率を10%高め、再構築精度を75%高めている。
• 参考スコア（独自算出の注目度）: 9.331686712558144
• License:
• Abstract: High-energy large-scale particle colliders generate data at extraordinary rates. Developing real-time high-throughput data compression algorithms to reduce data volume and meet the bandwidth requirement for storage has become increasingly critical. Deep learning is a promising technology that can address this challenging topic. At the newly constructed sPHENIX experiment at the Relativistic Heavy Ion Collider, a Time Projection Chamber (TPC) serves as the main tracking detector, which records three-dimensional particle trajectories in a volume of a gas-filled cylinder. In terms of occupancy, the resulting data flow can be very sparse reaching $10^{-3}$ for proton-proton collisions. Such sparsity presents a challenge to conventional learning-free lossy compression algorithms, such as SZ, ZFP, and MGARD. In contrast, emerging deep learning-based models, particularly those utilizing convolutional neural networks for compression, have outperformed these conventional methods in terms of compression ratios and reconstruction accuracy. However, research on the efficacy of these deep learning models in handling sparse datasets, like those produced in particle colliders, remains limited. Furthermore, most deep learning models do not adapt their processing speeds to data sparsity, which affects efficiency. To address this issue, we propose a novel approach for TPC data compression via key-point identification facilitated by sparse convolution. Our proposed algorithm, BCAE-VS, achieves a $75\%$ improvement in reconstruction accuracy with a $10\%$ increase in compression ratio over the previous state-of-the-art model. Additionally, BCAE-VS manages to achieve these results with a model size over two orders of magnitude smaller. Lastly, we have experimentally verified that as sparsity increases, so does the model's throughput.
• Abstract（参考訳）: 高エネルギーの大規模粒子衝突器は異常速度でデータを生成する。 データボリュームの削減とストレージの帯域幅要求を満たすリアルタイム高速データ圧縮アルゴリズムの開発がますます重要になっている。 ディープラーニングは、この課題に対処できる有望な技術です。 相対論的重イオン衝突型加速器(Relativistic Heavy Ion Collider)で新たに構築されたsPHENIX実験では、時間射影チャンバー(TPC)が主追跡検出器として機能し、ガス充填シリンダーの体積で3次元粒子軌道を記録する。 占有率の面では、生成したデータフローは、陽子-陽子衝突に対して10^{-3}$に達するほどスパースである。 このような空間性は、SZ、ZFP、MGARDといった従来の学習自由損失圧縮アルゴリズムに挑戦する。 対照的に、新しいディープラーニングベースのモデル、特に圧縮に畳み込みニューラルネットワークを利用するモデルは、圧縮比と再構成精度でこれらの従来の手法より優れている。 しかし、これらの深層学習モデルが、粒子衝突器で生成されたようなスパースデータセットを扱うための効果についての研究は、まだ限られている。 さらに、ほとんどのディープラーニングモデルは、処理速度をデータ空間に適応させておらず、効率に影響を与えます。 この問題に対処するために,スパース畳み込みによるキーポイント識別によるTPCデータ圧縮手法を提案する。 提案アルゴリズムであるBCAE-VSは,従来の最先端モデルよりも圧縮率を10倍に向上させ,再現精度を75倍に向上させる。 さらに、BCAE-VSは2桁以上のモデルサイズでこれらの結果を達成している。 最後に、スパーシリティが増加するにつれて、モデルのスループットも大きくなることを実験的に検証した。

関連論文リスト

• NeurLZ: On Enhancing Lossy Compression Performance based on Error-Controlled Neural Learning for Scientific Data [35.36879818366783]
  大規模科学シミュレーションは、ストレージとI/Oに挑戦する巨大なデータセットを生成する。 我々は、科学データのための新しいクロスフィールド学習およびエラー制御圧縮フレームワークNeurLZを提案する。
  論文  参考訳（メタデータ） (2024-09-09T16:48:09Z)
• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• SRN-SZ: Deep Leaning-Based Scientific Error-bounded Lossy Compression with Super-resolution Neural Networks [13.706955134941385]
  本研究では,SRN-SZを提案する。 SRN-SZはその圧縮に最も高度な超解像ネットワークHATを適用している。 実験では、SRN-SZは最大75%の圧縮比の改善を同じ誤差境界下で達成する。
  論文  参考訳（メタデータ） (2023-09-07T22:15:32Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• A Physics-Informed Vector Quantized Autoencoder for Data Compression of Turbulent Flow [28.992515947961593]
  本研究では,ベクトル量子化に基づく物理インフォームドディープラーニング手法を適用し,乱流から低次元のデータ表現を生成する。 モデルの精度は、統計的・比較的類似度と物理的類似度を用いて評価される。 我々のモデルは、平均二乗誤差(MSE)が$O(10-3)$のCR$=85$と、非常に小さなスケールを除いて流れの統計を忠実に再現する予測を提供する。
  論文  参考訳（メタデータ） (2022-01-10T19:55:50Z)
• Efficient Data Compression for 3D Sparse TPC via Bicephalous Convolutional Autoencoder [8.759778406741276]
  この研究は、textitBicephalous Convolutional AutoEncoder (BCAE)と呼ばれる、空間と回帰を同時に解決するデュアルヘッドオートエンコーダを導入している。 これはMGARD、SZ、ZFPといった従来のデータ圧縮手法と比較して圧縮忠実度と比の両方の利点を示している。
  論文  参考訳（メタデータ） (2021-11-09T21:26:37Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• MuSCLE: Multi Sweep Compression of LiDAR using Deep Entropy Models [78.93424358827528]
  本稿では,LiDARセンサデータのストレージストリームを削減するための新しい圧縮アルゴリズムを提案する。 本手法は,従来のLiDAR圧縮法よりも接合形状と強度を著しく低減する。
  論文  参考訳（メタデータ） (2020-11-15T17:41:14Z)
• A Variational Information Bottleneck Based Method to Compress Sequential Networks for Human Action Recognition [9.414818018857316]
  本稿では,人間行動認識(HAR)に用いるリカレントニューラルネットワーク(RNN)を効果的に圧縮する手法を提案する。 変分情報ボトルネック(VIB)理論に基づくプルーニング手法を用いて,RNNの逐次セルを流れる情報の流れを小さなサブセットに制限する。 我々は、圧縮を大幅に改善する特定のグループ・ラッソ正規化手法とプルーニング手法を組み合わせる。 提案手法は,UCF11上での動作認識の精度に比較して,最も近い競合に比べて70倍以上の圧縮を実現する。
  論文  参考訳（メタデータ） (2020-10-03T12:41:51Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。