論文の概要: Transforming the Use of Earth Observation Data: Exascale Training of a Generative Compression Model with Historical Priors for up to 10,000x Data Reduction

• arxiv url: http://arxiv.org/abs/2605.08633v1
• Date: Sat, 09 May 2026 02:57:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.78042
• Title: Transforming the Use of Earth Observation Data: Exascale Training of a Generative Compression Model with Historical Priors for up to 10,000x Data Reduction
• Title（参考訳）: 地球観測データ利用の変容:最大1万倍データ削減のための歴史的前提付き生成圧縮モデルのエクサスケールトレーニング
• Abstract要約: 本研究では,地球観測アーカイブから学習し,オンデマンド100倍から1万倍のデータ圧縮を可能にする生成圧縮フレームワークを提案する。 我々は、LineShine Armv9 CPUスーパーコンピュータ上で、大規模な生成圧縮モデルをエクサスケールで訓練する。 この研究は、歴史的に優先された生成的圧縮が、地球観測データを、取得、配信、保存、科学利用のためのアクティブでタスク適応的な基盤に変えることを示している。
• 参考スコア（独自算出の注目度）: 32.15590542845194
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Earth observation is becoming one of the largest data-producing activities in science, yet current pipelines still treat compression as a storage and transmission tool rather than a new way to use data. We present a generative compression framework that learns from historical Earth observation archives and enables on-demand 100x to 10,000x data reduction across downstream tasks. Unlike general visual data, Earth observation repeatedly measures the same evolving planet, making historical-prior learning feasible for extreme compression. To realize this paradigm, we train large generative compression models at exascale on the LineShine Armv9 CPU supercomputer, with co-optimization across model design, kernels, memory hierarchy, runtime, and parallelism. Our implementation sustains 1.54 EFLOP/s and peaks at 2.16 EFLOP/s in end-to-end training. This work shows that historical-prior generative compression can turn Earth observation data into an active, task-adaptive foundation for acquisition, delivery, storage, and scientific use.
• Abstract（参考訳）: 地球観測は、科学における最大のデータ生成活動の1つになっているが、現在のパイプラインは、圧縮を新しいデータの使用方法ではなく、ストレージと送信ツールとして扱う。 本稿では,過去の地球観測アーカイブから学習し,オンデマンドの100倍から10,000倍のデータ削減を実現するための生成圧縮フレームワークを提案する。 一般的な視覚データとは異なり、地球観測は繰り返し同じ進化する惑星を計測し、極度の圧縮のために歴史的に先進的な学習を可能にする。 このパラダイムを実現するために、LineShine Armv9 CPUスーパーコンピュータ上で大規模な生成圧縮モデルをトレーニングし、モデル設計、カーネル、メモリ階層、実行時、並列性を共最適化する。 実装は1.54 EFLOP/sを持続し、エンドツーエンドトレーニングでは2.16 EFLOP/sをピークとする。 この研究は、歴史的に優先された生成的圧縮が、地球観測データを、取得、配信、保存、科学利用のためのアクティブでタスク適応的な基盤に変えることを示している。

関連論文リスト

• OmniTraj: Pre-Training on Heterogeneous Data for Adaptive and Zero-Shot Human Trajectory Prediction [62.385417528148224]
  OmniTrajは、大規模な異種データセットで事前トレーニングされたトランスフォーマーベースのモデルである。 実験によると、フレームレートを明示的に条件付けすることで、OmniTrajは最先端のゼロショット転送性能を実現することができる。
  論文  参考訳（メタデータ） (2025-07-31T15:37:09Z)
• AstroCompress: A benchmark dataset for multi-purpose compression of astronomical data [31.271365337613606]
  本稿では、天体物理学データに対するニューラル圧縮問題であるAstroCompressを紹介する。 我々はデータに容易にアクセスでき、7つのロスレス圧縮手法をベンチマークするコードを提供します。 以上の結果から,ロスレスニューラルネットワーク技術は観測所におけるデータ収集を向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2025-06-10T00:32:30Z)
• Efficient Self-Supervised Learning for Earth Observation via Dynamic Dataset Curation [67.23953699167274]
  自己教師付き学習(SSL)により、地球観測のための視覚基盤モデルの開発が可能になった。 EOでは、この課題は衛星画像に共通する冗長性と重尾分布によって増幅される。 本稿では,データセットの多様性とバランスを最大化し,SSL事前トレーニングを改善するために設計された動的データセットプルーニング戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-09T15:13:26Z)
• EarthView: A Large Scale Remote Sensing Dataset for Self-Supervision [72.84868704100595]
  本稿では,地球モニタリングタスクにおける深層学習アプリケーションを強化することを目的とした,リモートセンシングデータの自己監督を目的としたデータセットを提案する。 このデータセットは15テラピクセルのグローバルリモートセンシングデータにまたがっており、NEON、Sentinel、Satellogicによる1mの空間解像度データの新たなリリースなど、さまざまなソースの画像を組み合わせている。 このデータセットは、リモートセンシングデータの異なる課題に取り組むために開発されたMasked Autoencoderである。
  論文  参考訳（メタデータ） (2025-01-14T13:42:22Z)
• DreamMask: Boosting Open-vocabulary Panoptic Segmentation with Synthetic Data [61.62554324594797]
  オープンな語彙設定でトレーニングデータを生成する方法と、実データと合成データの両方でモデルをトレーニングする方法を探索するDreamMaskを提案する。 一般的に、DreamMaskは大規模なトレーニングデータの収集を著しく単純化し、既存のメソッドのプラグイン・アンド・プレイ・エンハンスメントとして機能する。 例えば、COCOで訓練しADE20Kで試験すると、ドリームマスクを装備したモデルは以前の最先端の2.1% mIoUよりも優れていた。
  論文  参考訳（メタデータ） (2025-01-03T19:00:00Z)
• Scaling Up Diffusion and Flow-based XGBoost Models [5.944645679491607]
  本稿では,XGBoostを拡散・流れマッチングモデルにおける関数近似器として利用するための最近の提案について検討する。 より優れた実装では、以前よりも370倍大きなデータセットにスケールできる。 我々は,Fast Calorimeter Simulation Challengeの一環として,大規模科学的データセットについて報告する。
  論文  参考訳（メタデータ） (2024-08-28T18:00:00Z)
• Neural Compression of Atmospheric States [19.938380199858454]
  ニューラルネットワークの手法を用いて大気状態を圧縮する手法を提案する。 モデルの両方の族が小さな平均誤差のデシラタを満たすことを示す。 大気中における1000倍を超える圧縮比を示すとともに, 大気中における圧縮と減圧を約1秒の速さで示す。
  論文  参考訳（メタデータ） (2024-07-16T12:38:39Z)
• Foundation Models for Generalist Geospatial Artificial Intelligence [3.7002058945990415]
  本稿では,大規模データに基づく基礎モデルの事前学習と微調整を効果的に行うための第1種フレームワークを提案する。 我々はこの枠組みを利用して、マルチスペクトル衛星画像の1TB以上を事前トレーニングしたトランスフォーマーベースの基礎モデルであるPrithviを開発した。
  論文  参考訳（メタデータ） (2023-10-28T10:19:55Z)
• Does compressing activations help model parallel training? [64.59298055364336]
  モデル並列性に対する圧縮法の有効性に関する実験的検討を行った。 圧縮アルゴリズムの3つの共通クラスを実装し,評価する。 我々は160以上の設定と8つの一般的なデータセットでこれらの手法を評価した。
  論文  参考訳（メタデータ） (2023-01-06T18:58:09Z)
• The Bearable Lightness of Big Data: Towards Massive Public Datasets in Scientific Machine Learning [0.0]
  損失のある圧縮アルゴリズムは、オープンソースのデータレポジトリに高忠実な科学データを公開するための現実的な経路を提供することを示す。 本稿では,ビッグデータフレームワークの構築に必要な要件を概説し,構築し,評価する。
  論文  参考訳（メタデータ） (2022-07-25T21:44:53Z)
• PreTraM: Self-Supervised Pre-training via Connecting Trajectory and Map [58.53373202647576]
  軌道予測のための自己教師付き事前学習方式であるPreTraMを提案する。 1) トラジェクティブ・マップ・コントラクティブ・ラーニング(トラジェクティブ・コントラクティブ・ラーニング)、(2) トラジェクティブ・ラーニング(トラジェクティブ・コントラクティブ・ラーニング)、(2) トラジェクティブ・ラーニング(トラジェクティブ・ラーニング)、(2) トラジェクティブ・コントラクティブ・ラーニング(トラジェクティブ・ラーニング)、(2) トラジェクティブ・コントラクティブ・ラーニング(トラジェクティブ・ラーニング)の2つのパートから構成される。 AgentFormerやTrajectron++といった一般的なベースラインに加えて、PreTraMは、挑戦的なnuScenesデータセット上で、FDE-10でパフォーマンスを5.5%と6.9%向上させる。
  論文  参考訳（メタデータ） (2022-04-21T23:01:21Z)
• First Full-Event Reconstruction from Imaging Atmospheric Cherenkov Telescope Real Data with Deep Learning [55.41644538483948]
  チェレンコフ望遠鏡アレイは、地上のガンマ線天文学の未来である。 地上で作られた最初のプロトタイプ望遠鏡であるLarge Size Telescope 1は現在、最初の科学データを収集している。 我々は、深層畳み込みニューラルネットワークに基づくフルイベント再構築の開発とその実データへの適用を初めて提示する。
  論文  参考訳（メタデータ） (2021-05-31T12:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。