論文の概要: A framework for compressing unstructured scientific data via serialization

• arxiv url: http://arxiv.org/abs/2410.08059v1
• Date: Thu, 10 Oct 2024 15:53:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 05:45:05.967005
• Title: A framework for compressing unstructured scientific data via serialization
• Title（参考訳）: 連続化による非構造化科学データの圧縮フレームワーク
• Authors: Viktor Reshniak, Qian Gong, Rick Archibald, Scott Klasky, Norbert Podhorszki,
• Abstract要約: 本稿では,非構造化科学データを局所接続で圧縮するための一般的な枠組みを提案する。 一般的な応用は任意の有限要素メッシュ上で定義されたシミュレーションデータである。 このフレームワークは、既存のデータ処理パイプラインへのシームレスな統合を可能にする、オリジナルのノードの順序変更を保存する、欲張りなトポロジを採用している。
• 参考スコア（独自算出の注目度）: 2.5768995309704104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a general framework for compressing unstructured scientific data with known local connectivity. A common application is simulation data defined on arbitrary finite element meshes. The framework employs a greedy topology preserving reordering of original nodes which allows for seamless integration into existing data processing pipelines. This reordering process depends solely on mesh connectivity and can be performed offline for optimal efficiency. However, the algorithm's greedy nature also supports on-the-fly implementation. The proposed method is compatible with any compression algorithm that leverages spatial correlations within the data. The effectiveness of this approach is demonstrated on a large-scale real dataset using several compression methods, including MGARD, SZ, and ZFP.
• Abstract（参考訳）: 本稿では,非構造化科学データを局所接続で圧縮するための一般的な枠組みを提案する。 一般的な応用は任意の有限要素メッシュ上で定義されたシミュレーションデータである。 このフレームワークは、既存のデータ処理パイプラインへのシームレスな統合を可能にする、オリジナルのノードの順序変更を保存する、欲張りなトポロジを採用している。 このリオーダープロセスはメッシュ接続のみに依存し、最適な効率でオフラインで実行できる。 しかし、アルゴリズムの欲張りはオンザフライの実装もサポートしている。 提案手法は,データ内の空間相関を利用する圧縮アルゴリズムと互換性がある。 提案手法の有効性は,MGARD,SZ,ZFPを含む複数の圧縮手法を用いて,大規模実データセット上で実証される。

関連論文リスト

• Unified Framework for Neural Network Compression via Decomposition and Optimal Rank Selection [3.3454373538792552]
  本稿では,決定された階数制約内での複合圧縮損失を利用して,分解と最適な階数選択を行う統一的な枠組みを提案する。 提案手法は連続空間におけるランクの自動探索を含み,トレーニングデータを用いることなく最適なランク設定を効率的に同定する。 様々なベンチマークデータセットを用いて,包括的解析により本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-05T14:15:54Z)
• Sparse $L^1$-Autoencoders for Scientific Data Compression [0.0]
  L1$-regularizedの高次元ラテント空間を用いたオートエンコーダの開発により,効率的なデータ圧縮手法を提案する。 本稿では,これらの情報に富む潜伏空間を用いて,ぼやけなどのアーティファクトを緩和し,科学的データに対する高効率なデータ圧縮手法を実現する方法について述べる。
  論文  参考訳（メタデータ） (2024-05-23T07:48:00Z)
• Scalable Hybrid Learning Techniques for Scientific Data Compression [6.803722400888276]
  科学者は、抽出された興味の量(QoIs)を正確に保存する圧縮技術を必要とする 本稿では,データ圧縮のためのエンドツーエンドでスケーラブルなGPUベースのパイプラインとして実装された物理インフォームド圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-12-21T03:00:18Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• Dataset Condensation with Latent Space Knowledge Factorization and Sharing [73.31614936678571]
  与えられたデータセットの規則性を利用してデータセットの凝縮問題を解決する新しい手法を提案する。 データセットを元の入力空間に直接凝縮するのではなく、学習可能な一連のコードでデータセットの生成プロセスを仮定する。 提案手法は,様々なベンチマークデータセットに対して,有意なマージンで新しい最先端記録を達成できることを実験的に示す。
  論文  参考訳（メタデータ） (2022-08-21T18:14:08Z)
• Federated Offline Reinforcement Learning [55.326673977320574]
  マルチサイトマルコフ決定プロセスモデルを提案する。 我々は,オフラインRLを対象とした最初のフェデレーション最適化アルゴリズムを設計する。 提案アルゴリズムでは,学習ポリシーの準最適性は,データが分散していないような速度に匹敵する,理論的保証を与える。
  論文  参考訳（メタデータ） (2022-06-11T18:03:26Z)
• Quantization for Distributed Optimization [0.0]
  本稿では,バニラSGDの性能を維持しながら通信オーバヘッドを大幅に低減する全リデュース勾配対応圧縮方式を提案する。 我々の圧縮手法は、現在ディープラーニングフレームワークによって提供されている工法よりも優れています。
  論文  参考訳（メタデータ） (2021-09-26T05:16:12Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)
• Federated Learning with Compression: Unified Analysis and Sharp Guarantees [39.092596142018195]
  通信コストは、数百万のデバイスからモデルを学ぶために分散最適化アルゴリズムをスケールアップする上で、重要なボトルネックとなることが多い。 フェデレーション圧縮と計算の通信オーバーヘッドに対処する2つの顕著な傾向は、信頼できない圧縮と不均一な通信である。 等質データと異質データの両方における収束度を解析する。
  論文  参考訳（メタデータ） (2020-07-02T14:44:07Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。