論文の概要: A framework for compressing unstructured scientific data via serialization

• arxiv url: http://arxiv.org/abs/2410.08059v1
• Date: Thu, 10 Oct 2024 15:53:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 05:45:05.967005
• Title: A framework for compressing unstructured scientific data via serialization
• Title（参考訳）: 連続化による非構造化科学データの圧縮フレームワーク
• Authors: Viktor Reshniak, Qian Gong, Rick Archibald, Scott Klasky, Norbert Podhorszki,
• Abstract要約: 本稿では,非構造化科学データを局所接続で圧縮するための一般的な枠組みを提案する。 一般的な応用は任意の有限要素メッシュ上で定義されたシミュレーションデータである。 このフレームワークは、既存のデータ処理パイプラインへのシームレスな統合を可能にする、オリジナルのノードの順序変更を保存する、欲張りなトポロジを採用している。
• 参考スコア（独自算出の注目度）: 2.5768995309704104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a general framework for compressing unstructured scientific data with known local connectivity. A common application is simulation data defined on arbitrary finite element meshes. The framework employs a greedy topology preserving reordering of original nodes which allows for seamless integration into existing data processing pipelines. This reordering process depends solely on mesh connectivity and can be performed offline for optimal efficiency. However, the algorithm's greedy nature also supports on-the-fly implementation. The proposed method is compatible with any compression algorithm that leverages spatial correlations within the data. The effectiveness of this approach is demonstrated on a large-scale real dataset using several compression methods, including MGARD, SZ, and ZFP.
• Abstract（参考訳）: 本稿では,非構造化科学データを局所接続で圧縮するための一般的な枠組みを提案する。 一般的な応用は任意の有限要素メッシュ上で定義されたシミュレーションデータである。 このフレームワークは、既存のデータ処理パイプラインへのシームレスな統合を可能にする、オリジナルのノードの順序変更を保存する、欲張りなトポロジを採用している。 このリオーダープロセスはメッシュ接続のみに依存し、最適な効率でオフラインで実行できる。 しかし、アルゴリズムの欲張りはオンザフライの実装もサポートしている。 提案手法は,データ内の空間相関を利用する圧縮アルゴリズムと互換性がある。 提案手法の有効性は,MGARD,SZ,ZFPを含む複数の圧縮手法を用いて,大規模実データセット上で実証される。

関連論文リスト

• An Enhancement of Jiang, Z., et al.s Compression-Based Classification Algorithm Applied to News Article Categorization [0.0]
  本研究は,テキスト間の意味的類似性を検出する際の限界に対処することで,Jiangらによる圧縮に基づく分類アルゴリズムを強化する。 提案された改善は、ユニグラム抽出と最適化された結合に焦点を当て、ドキュメント全体の圧縮への依存を排除した。 さまざまなサイズと複雑さのデータセットに対する実験の結果、平均精度は5.73%向上し、長いドキュメントを含むデータセットでは最大11%向上した。
  論文  参考訳（メタデータ） (2025-02-20T10:50:59Z)
• Accelerated Methods with Compressed Communications for Distributed Optimization Problems under Data Similarity [55.03958223190181]
  本稿では,データ類似性の下での非バイアス圧縮とバイアス圧縮を利用した,理論上初めての高速化アルゴリズムを提案する。 我々の結果は、異なる平均損失とデータセットに関する実験によって記録され、確認されています。
  論文  参考訳（メタデータ） (2024-12-21T00:40:58Z)
• Ares: Approximate Representations via Efficient Sparsification -- A Stateless Approach through Polynomial Homomorphism [1.3824176915623292]
  我々は,制約表現を利用して,コンパクトで解釈可能なスケーラブルなデータ圧縮を実現するステートレス圧縮フレームワークを導入する。 提案手法は, 簡易性とスケーラビリティを保ちながら, 再構成精度を損なうことなく高い圧縮比を実現する。
  論文  参考訳（メタデータ） (2024-12-14T00:05:43Z)
• Sparse $L^1$-Autoencoders for Scientific Data Compression [0.0]
  L1$-regularizedの高次元ラテント空間を用いたオートエンコーダの開発により,効率的なデータ圧縮手法を提案する。 本稿では,これらの情報に富む潜伏空間を用いて,ぼやけなどのアーティファクトを緩和し,科学的データに対する高効率なデータ圧縮手法を実現する方法について述べる。
  論文  参考訳（メタデータ） (2024-05-23T07:48:00Z)
• Scalable Hybrid Learning Techniques for Scientific Data Compression [6.803722400888276]
  科学者は、抽出された興味の量(QoIs)を正確に保存する圧縮技術を必要とする 本稿では,データ圧縮のためのエンドツーエンドでスケーラブルなGPUベースのパイプラインとして実装された物理インフォームド圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-12-21T03:00:18Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Federated Offline Reinforcement Learning [55.326673977320574]
  マルチサイトマルコフ決定プロセスモデルを提案する。 我々は,オフラインRLを対象とした最初のフェデレーション最適化アルゴリズムを設計する。 提案アルゴリズムでは,学習ポリシーの準最適性は,データが分散していないような速度に匹敵する,理論的保証を与える。
  論文  参考訳（メタデータ） (2022-06-11T18:03:26Z)
• Quantization for Distributed Optimization [0.0]
  本稿では,バニラSGDの性能を維持しながら通信オーバヘッドを大幅に低減する全リデュース勾配対応圧縮方式を提案する。 我々の圧縮手法は、現在ディープラーニングフレームワークによって提供されている工法よりも優れています。
  論文  参考訳（メタデータ） (2021-09-26T05:16:12Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。