論文の概要: Efficient Compression of Sparse Accelerator Data Using Implicit Neural Representations and Importance Sampling

• arxiv url: http://arxiv.org/abs/2412.01754v1
• Date: Mon, 02 Dec 2024 17:50:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:46:23.851809
• Title: Efficient Compression of Sparse Accelerator Data Using Implicit Neural Representations and Importance Sampling
• Title（参考訳）: 暗黙的ニューラル表現と重要サンプリングを用いたスパース加速器データの効率的な圧縮
• Authors: Xihaier Luo, Samuel Lurvey, Yi Huang, Yihui Ren, Jin Huang, Byung-Jun Yoon,
• Abstract要約: 核物理学と高エネルギー物理学における大規模粒子衝突は、異常な速度でデータを生成する。 データ学習と圧縮のための暗黙的ニューラル表現を用いた新しい手法を提案する。 また,ネットワークトレーニングプロセスの高速化のための重要サンプリング手法も導入する。
• 参考スコア（独自算出の注目度）: 7.838980097597047
• License:
• Abstract: High-energy, large-scale particle colliders in nuclear and high-energy physics generate data at extraordinary rates, reaching up to $1$ terabyte and several petabytes per second, respectively. The development of real-time, high-throughput data compression algorithms capable of reducing this data to manageable sizes for permanent storage is of paramount importance. A unique characteristic of the tracking detector data is the extreme sparsity of particle trajectories in space, with an occupancy rate ranging from approximately $10^{-6}$ to $10\%$. Furthermore, for downstream tasks, a continuous representation of this data is often more useful than a voxel-based, discrete representation due to the inherently continuous nature of the signals involved. To address these challenges, we propose a novel approach using implicit neural representations for data learning and compression. We also introduce an importance sampling technique to accelerate the network training process. Our method is competitive with traditional compression algorithms, such as MGARD, SZ, and ZFP, while offering significant speed-ups and maintaining negligible accuracy loss through our importance sampling strategy.
• Abstract（参考訳）: 核物理学と高エネルギー物理学における高エネルギー、大規模粒子衝突器は、それぞれ1テラバイト、1秒あたり数ペタバイトという異常な速度でデータを生成する。 リアルタイムで高スループットなデータ圧縮アルゴリズムの開発は、このデータを永久記憶のために管理可能なサイズに抑えることが最重要となる。 追跡検出器データの特徴的な特徴は、宇宙における粒子軌道の極端な間隔であり、占有率はおよそ10–6}$から10\%$である。 さらに、下流タスクでは、このデータの連続表現は、関連する信号の本質的に連続的な性質のため、ボクセルベースの離散表現よりも有用であることが多い。 これらの課題に対処するため,データ学習と圧縮に暗黙的ニューラル表現を用いた新しい手法を提案する。 また,ネットワークトレーニングプロセスの高速化のための重要サンプリング手法も導入する。 本手法はMGARD, SZ, ZFPなどの従来の圧縮アルゴリズムと競合するが, 大幅な高速化を実現し, 重要サンプリング戦略を通じて無視可能な精度の損失を抑えることができる。

関連論文リスト

• Variable Rate Neural Compression for Sparse Detector Data [9.331686712558144]
  本稿では,スパース畳み込みによるキーポイント識別によるTPCデータ圧縮手法を提案する。 BCAE-VSは、以前の最先端モデルよりも圧縮率を10%高め、再構築精度を75%高めている。
  論文  参考訳（メタデータ） (2024-11-18T17:15:35Z)
• Compressing high-resolution data through latent representation encoding for downscaling large-scale AI weather forecast model [10.634513279883913]
  本稿では,高解像度データセットの圧縮に適した変分オートエンコーダフレームワークを提案する。 本フレームワークは,HRCLDASデータの3年間の保存容量を8.61TBから204GBに削減し,必須情報を保存した。
  論文  参考訳（メタデータ） (2024-10-10T05:38:03Z)
• Computationally and Memory-Efficient Robust Predictive Analytics Using Big Data [0.0]
  本研究では、データ不確実性、ストレージ制限、ビッグデータを用いた予測データ駆動モデリングの課題をナビゲートする。 本稿では,ロバスト主成分分析(RPCA)を有効ノイズ低減と外乱除去に利用し,最適センサ配置(OSP)を効率的なデータ圧縮・記憶に活用する。
  論文  参考訳（メタデータ） (2024-03-27T22:39:08Z)
• Enabling robust sensor network design with data processing and optimization making use of local beehive image and video files [0.0]
  最先端のエッジコンピューティング技術を使ってデータ転送とストレージを最適化する革命的なパラダイムです。 提案手法は,画像とビデオのデータ圧縮と数値データに対するデータ集約技術を組み合わせたものである。 このアプローチの重要な側面は、リソース制約のある環境での運用を可能にすることです。
  論文  参考訳（メタデータ） (2024-02-26T15:27:47Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
  本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。 最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。 提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
  論文  参考訳（メタデータ） (2021-11-26T18:44:59Z)
• Deep DNA Storage: Scalable and Robust DNA Storage via Coding Theory and Deep Learning [49.3231734733112]
  シミュレーションデータに基づいてトレーニングされたDeep Neural Networks(DNN)、Product(TP)ベースのエラー修正コード(ECC)、安全マージンを1つのコヒーレントパイプラインに組み合わせたモジュラーで総合的なアプローチを示す。 我々の研究は, 最大で x3200 の速度向上, 40%の精度向上により, 現在の指導的ソリューションの改善を実現し, 高雑音下では1ベースあたり1.6ビットのコードレートを提供する。
  論文  参考訳（メタデータ） (2021-08-31T18:21:20Z)
• Energy-Efficient Model Compression and Splitting for Collaborative Inference Over Time-Varying Channels [52.60092598312894]
  本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。 提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
  論文  参考訳（メタデータ） (2021-06-02T07:36:27Z)
• Adaptive Latent Space Tuning for Non-Stationary Distributions [62.997667081978825]
  本稿では,ディープエンコーダ・デコーダ方式cnnの低次元潜在空間の適応チューニング法を提案する。 粒子加速器における時間変動荷電粒子ビームの特性を予測するためのアプローチを実証する。
  論文  参考訳（メタデータ） (2021-05-08T03:50:45Z)
• Towards an Interpretable Data-driven Trigger System for High-throughput Physics Facilities [7.939382824995354]
  高スループットデータフィルタリングとトリガシステムを設計するための新しいデータ駆動アプローチを紹介します。 私たちの目標は、どのデータイベントを維持するかを決定するために、最小限のランタイムコストでデータ駆動フィルタリングシステムを設計することです。 現在のパラダイムにおける非局所的非効率性を考慮するために、解釈可能な予測モデリングとコストに敏感な学習から重要な洞察を紹介します。
  論文  参考訳（メタデータ） (2021-04-14T05:01:32Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。