論文の概要: EarthPT: a time series foundation model for Earth Observation
- arxiv url: http://arxiv.org/abs/2309.07207v2
- Date: Thu, 11 Jan 2024 14:36:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-13 03:30:29.682143
- Title: EarthPT: a time series foundation model for Earth Observation
- Title（参考訳）: EarthPT:地球観測のための時系列基礎モデル
- Authors: Michael J. Smith, Luke Fleming and James E. Geach
- Abstract要約: 我々は、地球観測(EO)事前訓練トランスであるEarthPTを紹介する。
我々は,EarthPTが将来の画素レベルの反射率を正確に予測できる効果的な予測器であることを実証した。
また,EarthPTで学習した埋め込みが意味的に意味のある情報を保持することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We introduce EarthPT -- an Earth Observation (EO) pretrained transformer.
EarthPT is a 700 million parameter decoding transformer foundation model
trained in an autoregressive self-supervised manner and developed specifically
with EO use-cases in mind. We demonstrate that EarthPT is an effective
forecaster that can accurately predict future pixel-level surface reflectances
across the 400-2300 nm range well into the future. For example, forecasts of
the evolution of the Normalised Difference Vegetation Index (NDVI) have a
typical error of approximately 0.05 (over a natural range of -1 -> 1) at the
pixel level over a five month test set horizon, out-performing simple
phase-folded models based on historical averaging. We also demonstrate that
embeddings learnt by EarthPT hold semantically meaningful information and could
be exploited for downstream tasks such as highly granular, dynamic land use
classification. Excitingly, we note that the abundance of EO data provides us
with -- in theory -- quadrillions of training tokens. Therefore, if we assume
that EarthPT follows neural scaling laws akin to those derived for Large
Language Models (LLMs), there is currently no data-imposed limit to scaling
EarthPT and other similar `Large Observation Models.'
- Abstract（参考訳）: 我々は、地球観測(EO)事前訓練トランスであるEarthPTを紹介する。
EarthPTは7億のパラメータデコードトランスフォーマーモデルであり、自己回帰的な自己監督方式で訓練され、EOユースケースを念頭に開発された。
我々は,EarthPTが400-2300nmの範囲内における将来の画素レベルの反射率を正確に予測する有効な予測器であることを実証した。
例えば、正規化差分植生指数(NDVI)の進化の予測は、5ヶ月のテストセットの地平線上でのピクセルレベルでの典型的な誤差は約0.05(自然射程-1 -> 1)であり、過去の平均値に基づく単純な位相折りたたみモデルよりも優れている。
また,EarthPTが学習した埋め込みは意味的に意味のある情報を持ち,より粒度の高い動的土地利用分類などの下流作業に活用できることを示した。
興味深いことに、EOデータの豊富さは、訓練トークンの4分の1(理論上)を提供してくれる。
したがって、EarthPTがLarge Language Models(LLMs)に類似したニューラルスケーリング法則に従うと仮定すると、現在、EarthPTや他の類似の"Large Observation Models"をスケールするためのデータ指定制限はない。
'
関連論文リスト
- SpectralEarth: Training Hyperspectral Foundation Models at Scale [47.93167977587301]
ハイパースペクトル基礎モデルの事前学習を目的とした大規模マルチ時間データセットであるSpectralEarthを紹介する。
我々は、最先端の自己教師付き学習(SSL)アルゴリズムを用いて、SpectralEarthの一連の基礎モデルを事前訓練する。
我々は、土地被覆と収穫型マッピングのための4つの下流データセットを構築し、モデル評価のためのベンチマークを提供する。
論文 参考訳（メタデータ） (2024-08-15T22:55:59Z) - ORBIT: Oak Ridge Base Foundation Model for Earth System Predictability [10.88886669820126]
我々はOak Ridge Base Foundation Model for Earth System Predictability (ORBIT)を紹介する。
ORBITは、その種の最大のモデルであり、現在の気候AIファンデーションモデルサイズを1000倍に超えている。
Frontierスーパーコンピュータの性能スケーリングテストでは、ORBITは684ペタFLOPSから1.6ペタFLOPSの持続スループットを達成した。
論文 参考訳（メタデータ） (2024-04-23T03:39:57Z) - Neural Plasticity-Inspired Multimodal Foundation Model for Earth Observation [48.66623377464203]
我々の新しいアプローチは、脳科学における神経可塑性の概念を活用する、ダイナミックワンフォーオール(DOFA)モデルを導入している。
このダイナミックなハイパーネットワークは、異なる波長に調整され、5つのセンサーのデータに基づいて1つの多目的トランスフォーマーを共同で訓練し、12の異なる地球観測タスクを遂行することを可能にする。
論文 参考訳（メタデータ） (2024-03-22T17:11:47Z) - A Geospatial Approach to Predicting Desert Locust Breeding Grounds in Africa [3.6826233660285395]
ロカスト群れは農業と食料安全保障に 大きな脅威を与えます
本研究は,ロカスト繁殖場予測のための操作可能なモデルを開発した。
論文 参考訳（メタデータ） (2024-03-11T16:13:58Z) - Observation-Guided Meteorological Field Downscaling at Station Scale: A
Benchmark and a New Method [66.80344502790231]
気象学的ダウンスケーリングを任意の散乱ステーションスケールに拡張し、新しいベンチマークとデータセットを確立する。
データ同化技術にインスパイアされた我々は、観測データをダウンスケーリングプロセスに統合し、マルチスケールの観測先行情報を提供する。
提案手法は、複数の曲面変数上で、他の特別に設計されたベースラインモデルよりも優れている。
論文 参考訳（メタデータ） (2024-01-22T14:02:56Z) - Foundation Models for Generalist Geospatial Artificial Intelligence [3.7002058945990415]
本稿では,大規模データに基づく基礎モデルの事前学習と微調整を効果的に行うための第1種フレームワークを提案する。
我々はこの枠組みを利用して、マルチスペクトル衛星画像の1TB以上を事前トレーニングしたトランスフォーマーベースの基礎モデルであるPrithviを開発した。
論文 参考訳（メタデータ） (2023-10-28T10:19:55Z) - A Comparative Study on Generative Models for High Resolution Solar
Observation Imaging [59.372588316558826]
本研究は、観測された太陽活動状態の背後にあるデータ分布を正確に捉えるために、現在の最先端生成モデルの能力について検討する。
スーパーコンピュータ上での分散トレーニングを用いて、人間の専門家が区別できない高品質なサンプルを生成する、最大1024x1024解像度の生成モデルを訓練することができる。
論文 参考訳（メタデータ） (2023-04-14T14:40:32Z) - Predictive World Models from Real-World Partial Observations [66.80340484148931]
本研究では,現実の道路環境に対する確率論的予測世界モデル学習のためのフレームワークを提案する。
従来の手法では、学習のための基礎的真理として完全状態を必要とするが、HVAEが部分的に観察された状態のみから完全状態を予測することを学べる新しい逐次訓練法を提案する。
論文 参考訳（メタデータ） (2023-01-12T02:07:26Z) - Earthformer: Exploring Space-Time Transformers for Earth System
Forecasting [27.60569643222878]
本研究では,地球系予測のための時空間変圧器である地球変圧器を提案する。
Transformerは、Cuboid Attentionという、汎用的で柔軟で効率的な時空アテンションブロックに基づいている。
降水量計に関する2つの実世界のベンチマークとエルニーノ/サウス・テンポシエーションの実験は、アースフォーマーが最先端のパフォーマンスを達成したことを示している。
論文 参考訳（メタデータ） (2022-07-12T20:52:26Z) - Embedding Earth: Self-supervised contrastive pre-training for dense land
cover classification [61.44538721707377]
本研究では,衛星画像の高可用性を活用するための自己監督型コントラスト事前学習法として,エンベディングアースを提案する。
提案手法による事前学習では, 25%の絶対mIoUが得られた。
学習した特徴は、異なる領域間で一般化され、提案した事前学習スキームの可能性を開放する。
論文 参考訳（メタデータ） (2022-03-11T16:14:14Z) - EarthNet2021: A novel large-scale dataset and challenge for forecasting
localized climate impacts [12.795776149170978]
大規模な地球観測データセットにより、粗い気象情報を高解像度の地球表面予測に変換できる機械学習モデルが作成できるようになった。
メソスケール気象予測に基づく衛星画像の映像予測として高分解能地球表面予測を定義します。
EarthNet 2021は、高分解能地形とメソスケール(1.28 km)の気象変数と一致する、20 mの解像度でターゲット時空間のセンチネル2衛星画像を含む新しいデータセットである。
論文 参考訳（メタデータ） (2020-12-11T11:21:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。