論文の概要: Scientific Data Compression and Super-Resolution Sampling
- arxiv url: http://arxiv.org/abs/2511.13675v1
- Date: Mon, 17 Nov 2025 18:31:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-18 18:52:09.672317
- Title: Scientific Data Compression and Super-Resolution Sampling
- Title(参考訳): 科学データ圧縮と超解像サンプリング
- Authors: Minh Vu, Andrey Lokhov,
- Abstract要約: 本稿では, 指数関数族学習の最近の進歩を基盤として, 科学的データ圧縮と超解像のための新しい枠組みを提案する。
本手法は, 物理量の不確かさを保存・定量化し, 圧縮比と復元忠実度との柔軟なトレードオフを支援する。
- 参考スコア(独自算出の注目度): 1.3673766103566438
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern scientific simulations, observations, and large-scale experiments generate data at volumes that often exceed the limits of storage, processing, and analysis. This challenge drives the development of data reduction methods that efficiently manage massive datasets while preserving essential physical features and quantities of interest. In many scientific workflows, it is also crucial to enable data recovery from compressed representations - a task known as super-resolution - with guarantees on the preservation of key physical characteristics. A notable example is checkpointing and restarting, which is essential for long-running simulations to recover from failures, resume after interruptions, or examine intermediate results. In this work, we introduce a novel framework for scientific data compression and super-resolution, grounded in recent advances in learning exponential families. Our method preserves and quantifies uncertainty in physical quantities of interest and supports flexible trade-offs between compression ratio and reconstruction fidelity.
- Abstract(参考訳): 現代の科学シミュレーション、観測、大規模実験は、しばしば記憶、処理、分析の限界を超えるボリュームでデータを生成する。
この課題は、大量のデータセットを効率的に管理し、重要な物理的特徴と大量の関心を保ちながら、データ削減手法の開発を促進する。
多くの科学的ワークフローにおいて、圧縮された表現(超解像と呼ばれるタスク)からデータリカバリを可能にすることが重要であり、重要な物理特性の保存が保証される。
注目すべき例はチェックポイントとリスタートであり、長期にわたるシミュレーションが障害からの回復、中断後の再開、中間結果の検証に不可欠である。
本研究では, 指数関数族学習の最近の進歩を基盤として, 科学的データ圧縮と超解像のための新しい枠組みを提案する。
本手法は, 物理量の不確かさを保存・定量化し, 圧縮比と復元忠実度との柔軟なトレードオフを支援する。
関連論文リスト
- Shifting AI Efficiency From Model-Centric to Data-Centric Compression [67.45087283924732]
AI研究の焦点は、モデル中心の圧縮からデータ中心の圧縮へとシフトしている、と私たちは主張する。
データ中心圧縮は、モデルトレーニングや推論中に処理されたデータのボリュームを直接圧縮することで、AI効率を向上させる。
我々の研究は、AIの効率性に関する新たな視点を提供し、既存の取り組みを合成し、コンテキスト長の増大によって引き起こされる課題に対処するためにイノベーションを触媒することを目的としています。
論文 参考訳(メタデータ) (2025-05-25T13:51:17Z) - Compressing high-resolution data through latent representation encoding for downscaling large-scale AI weather forecast model [10.634513279883913]
本稿では,高解像度データセットの圧縮に適した変分オートエンコーダフレームワークを提案する。
本フレームワークは,HRCLDASデータの3年間の保存容量を8.61TBから204GBに削減し,必須情報を保存した。
論文 参考訳(メタデータ) (2024-10-10T05:38:03Z) - Discovering physical laws with parallel symbolic enumeration [67.36739393470869]
並列記号列挙法(PSE)を導入し,限られたデータから汎用数学的表現を効率的に抽出する。
実験の結果,PSEは最先端のベースラインアルゴリズムと比較して精度が高く,計算速度も速いことがわかった。
PSEは、記号的、解釈可能なモデルの正確で効率的なデータ駆動による発見の進歩を表している。
論文 参考訳(メタデータ) (2024-07-05T10:41:15Z) - Sparse $L^1$-Autoencoders for Scientific Data Compression [0.0]
L1$-regularizedの高次元ラテント空間を用いたオートエンコーダの開発により,効率的なデータ圧縮手法を提案する。
本稿では,これらの情報に富む潜伏空間を用いて,ぼやけなどのアーティファクトを緩和し,科学的データに対する高効率なデータ圧縮手法を実現する方法について述べる。
論文 参考訳(メタデータ) (2024-05-23T07:48:00Z) - GWLZ: A Group-wise Learning-based Lossy Compression Framework for Scientific Data [14.92764869276237]
本稿では,GWLZを提案する。GWLZは,複数の軽量学習可能エンハンサモデルを備えたグループ学習型損失圧縮フレームワークである。
本稿では,GWLZが圧縮効率に悪影響を及ぼすことなく,圧縮されたデータ再構成品質を著しく向上させることを示す。
論文 参考訳(メタデータ) (2024-04-20T21:12:53Z) - Dynamic Spatio-Temporal Summarization using Information Based Fusion [3.038642416291856]
本稿では,重要な時間経過における情報的特徴を識別し,少ない情報的特徴を融合する動的時間的データ要約手法を提案する。
既存の手法とは異なり,本手法は生と要約の両方のタイムステップを保持し,時間とともに情報の変化を包括的に把握する。
我々は,粒子ベースのフローシミュレーション,セキュリティと監視の応用,免疫システム内の生体細胞間相互作用など,多様なデータセットにまたがる手法の汎用性を実証した。
論文 参考訳(メタデータ) (2023-10-02T20:21:43Z) - A Comprehensive Survey of Dataset Distillation [73.15482472726555]
限られた計算能力で無制限に成長するデータを扱うことは困難になっている。
ディープラーニング技術はこの10年で前例のない発展を遂げた。
本稿では,多面的なデータセット蒸留の総合的な理解を提供する。
論文 参考訳(メタデータ) (2023-01-13T15:11:38Z) - The Bearable Lightness of Big Data: Towards Massive Public Datasets in
Scientific Machine Learning [0.0]
損失のある圧縮アルゴリズムは、オープンソースのデータレポジトリに高忠実な科学データを公開するための現実的な経路を提供することを示す。
本稿では,ビッグデータフレームワークの構築に必要な要件を概説し,構築し,評価する。
論文 参考訳(メタデータ) (2022-07-25T21:44:53Z) - Memory Replay with Data Compression for Continual Learning [80.95444077825852]
古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。
我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
論文 参考訳(メタデータ) (2022-02-14T10:26:23Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳(メタデータ) (2021-12-15T20:09:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。