論文の概要: Streaming Compression of Scientific Data via weak-SINDy

• arxiv url: http://arxiv.org/abs/2308.14962v2
• Date: Thu, 03 Oct 2024 02:37:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-04 23:27:52.217967
• Title: Streaming Compression of Scientific Data via weak-SINDy
• Title（参考訳）: 弱SINDyによる科学データのストリーム圧縮
• Authors: Benjamin P. Russo, M. Paul Laiu, Richard Archibald,
• Abstract要約: ストリーミング型弱いSINDyアルゴリズムは, ストリーミング型科学データを圧縮するために開発された。 動的に更新されたPODベースに対応するために,ストリーミング弱SINDyアルゴリズムの修正を提案する。 ストリーミング弱SINDyアルゴリズムから構築したモデルと少量のデータサンプルを組み合わせることで、完全なデータフローを低コストで正確に再構築することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this paper a streaming weak-SINDy algorithm is developed specifically for compressing streaming scientific data. The production of scientific data, either via simulation or experiments, is undergoing an stage of exponential growth, which makes data compression important and often necessary for storing and utilizing large scientific data sets. As opposed to classical "offline" compression algorithms that perform compression on a readily available data set, streaming compression algorithms compress data "online" while the data generated from simulation or experiments is still flowing through the system. This feature makes streaming compression algorithms well-suited for scientific data compression, where storing the full data set offline is often infeasible. This work proposes a new streaming compression algorithm, streaming weak-SINDy, which takes advantage of the underlying data characteristics during compression. The streaming weak-SINDy algorithm constructs feature matrices and target vectors in the online stage via a streaming integration method in a memory efficient manner. The feature matrices and target vectors are then used in the offline stage to build a model through a regression process that aims to recover equations that govern the evolution of the data. For compressing high-dimensional streaming data, we adopt a streaming proper orthogonal decomposition (POD) process to reduce the data dimension and then use the streaming weak-SINDy algorithm to compress the temporal data of the POD expansion. We propose modifications to the streaming weak-SINDy algorithm to accommodate the dynamically updated POD basis. By combining the built model from the streaming weak-SINDy algorithm and a small amount of data samples, the full data flow could be reconstructed accurately at a low memory cost, as shown in the numerical tests.
• Abstract（参考訳）: 本稿では,ストリーミング科学データの圧縮に特化して,ストリーミング弱SINDyアルゴリズムを開発した。 科学データの生成は、シミュレーションまたは実験を通じて、指数関数的な成長の段階にあり、データ圧縮が重要であり、大規模な科学データセットの保存と利用にしばしば必要である。 利用可能なデータセットで圧縮を行う古典的な"オフライン"圧縮アルゴリズムとは対照的に、ストリーミング圧縮アルゴリズムはデータ"オンライン"を圧縮する一方で、シミュレーションや実験から生成されたデータはシステムを通してまだ流れている。 この機能により、科学的なデータ圧縮にはストリーミング圧縮アルゴリズムが適しており、完全なデータセットをオフラインに保存することは不可能であることが多い。 本研究は,圧縮時の基礎となるデータ特性を生かした,新たなストリーミング圧縮アルゴリズムであるストリーム弱SINDyを提案する。 ストリーミング弱SINDyアルゴリズムは、ストリーム積分法を用いて、メモリ効率よくオンラインステージの特徴行列とターゲットベクトルを構成する。 特徴行列と対象ベクトルはオフラインの段階で使われ、データの進化を管理する方程式を復元することを目的とした回帰プロセスを通じてモデルを構築する。 高次元のストリーミングデータを圧縮するために、データ次元を減らすためにストリーミング固有直交分解(POD)プロセスを採用し、次いでストリーミング弱SINDyアルゴリズムを用いてPOD拡張の時間データを圧縮する。 動的に更新されたPODベースに対応するために,ストリーミング弱SINDyアルゴリズムの修正を提案する。 ストリーミング弱SINDyアルゴリズムから構築したモデルと少量のデータサンプルを組み合わせることで、数値テストで示すように、完全なデータフローを低コストで正確に再構築することができる。

関連論文リスト

• Sparse $L^1$-Autoencoders for Scientific Data Compression [0.0]
  L1$-regularizedの高次元ラテント空間を用いたオートエンコーダの開発により,効率的なデータ圧縮手法を提案する。 本稿では,これらの情報に富む潜伏空間を用いて,ぼやけなどのアーティファクトを緩和し,科学的データに対する高効率なデータ圧縮手法を実現する方法について述べる。
  論文  参考訳（メタデータ） (2024-05-23T07:48:00Z)
• 3D Point Cloud Compression with Recurrent Neural Network and Image Compression Methods [0.0]
  多くのAVアプリケーションでは、LiDARポイントクラウドデータの保存と送信が不可欠である。 データの幅と秩序のない構造のため、ポイントクラウドデータを低ボリュームに圧縮することは困難である。 圧縮アルゴリズムが空間相関を効率的に活用できる新しい3D-to-2D変換を提案する。
  論文  参考訳（メタデータ） (2024-02-18T19:08:19Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Neural-based Compression Scheme for Solar Image Data [8.374518151411612]
  我々は、NASAのデータ集約画像ミッションで使用されるニューラルネットワークに基づく損失圧縮手法を提案する。 本研究では,画像の局所構造と大域構造の両方を捉えるために,局所的および非局所的アテンションモジュールを備えた逆トレーニングニューラルネットワークを提案する。 このアルゴリズムをSDOデータ解析に使用するための概念実証として、圧縮画像を用いてコロナホール(CH)検出を行った。
  論文  参考訳（メタデータ） (2023-11-06T04:13:58Z)
• Scalable Hybrid Learning Techniques for Scientific Data Compression [6.803722400888276]
  科学者は、抽出された興味の量(QoIs)を正確に保存する圧縮技術を必要とする 本稿では,データ圧縮のためのエンドツーエンドでスケーラブルなGPUベースのパイプラインとして実装された物理インフォームド圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-12-21T03:00:18Z)
• Unrolled Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• COIN++: Data Agnostic Neural Compression [55.27113889737545]
  COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。 様々なデータモダリティを圧縮することで,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-01-30T20:12:04Z)
• iFlow: Numerically Invertible Flows for Efficient Lossless Compression via a Uniform Coder [38.297114268193]
  iFlowは効率的なロスレス圧縮を実現するための新しい方法である。 iFlowは最先端の圧縮比を達成し、他の高性能スキームよりも5倍速くなる。
  論文  参考訳（メタデータ） (2021-11-01T14:15:58Z)
• Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution [71.29848468762789]
  圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。 この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。 提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T02:34:33Z)
• Modeling Lost Information in Lossy Image Compression [72.69327382643549]
  ロスシー画像圧縮は、デジタル画像の最もよく使われる演算子の1つである。 Invertible Lossy Compression (ILC) と呼ばれる新しい非可逆的フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-22T04:04:56Z)
• Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
  本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。 本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。 従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
  論文  参考訳（メタデータ） (2020-03-25T09:04:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。