論文の概要: EarthPT: a time series foundation model for Earth Observation
- arxiv url: http://arxiv.org/abs/2309.07207v2
- Date: Thu, 11 Jan 2024 14:36:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-13 03:30:29.682143
- Title: EarthPT: a time series foundation model for Earth Observation
- Title(参考訳): EarthPT:地球観測のための時系列基礎モデル
- Authors: Michael J. Smith, Luke Fleming and James E. Geach
- Abstract要約: 我々は、地球観測(EO)事前訓練トランスであるEarthPTを紹介する。
我々は,EarthPTが将来の画素レベルの反射率を正確に予測できる効果的な予測器であることを実証した。
また,EarthPTで学習した埋め込みが意味的に意味のある情報を保持することを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We introduce EarthPT -- an Earth Observation (EO) pretrained transformer.
EarthPT is a 700 million parameter decoding transformer foundation model
trained in an autoregressive self-supervised manner and developed specifically
with EO use-cases in mind. We demonstrate that EarthPT is an effective
forecaster that can accurately predict future pixel-level surface reflectances
across the 400-2300 nm range well into the future. For example, forecasts of
the evolution of the Normalised Difference Vegetation Index (NDVI) have a
typical error of approximately 0.05 (over a natural range of -1 -> 1) at the
pixel level over a five month test set horizon, out-performing simple
phase-folded models based on historical averaging. We also demonstrate that
embeddings learnt by EarthPT hold semantically meaningful information and could
be exploited for downstream tasks such as highly granular, dynamic land use
classification. Excitingly, we note that the abundance of EO data provides us
with -- in theory -- quadrillions of training tokens. Therefore, if we assume
that EarthPT follows neural scaling laws akin to those derived for Large
Language Models (LLMs), there is currently no data-imposed limit to scaling
EarthPT and other similar `Large Observation Models.'
- Abstract(参考訳): 我々は、地球観測(EO)事前訓練トランスであるEarthPTを紹介する。
EarthPTは7億のパラメータデコードトランスフォーマーモデルであり、自己回帰的な自己監督方式で訓練され、EOユースケースを念頭に開発された。
我々は,EarthPTが400-2300nmの範囲内における将来の画素レベルの反射率を正確に予測する有効な予測器であることを実証した。
例えば、正規化差分植生指数(NDVI)の進化の予測は、5ヶ月のテストセットの地平線上でのピクセルレベルでの典型的な誤差は約0.05(自然射程-1 -> 1)であり、過去の平均値に基づく単純な位相折りたたみモデルよりも優れている。
また,EarthPTが学習した埋め込みは意味的に意味のある情報を持ち,より粒度の高い動的土地利用分類などの下流作業に活用できることを示した。
興味深いことに、EOデータの豊富さは、訓練トークンの4分の1(理論上)を提供してくれる。
したがって、EarthPTがLarge Language Models(LLMs)に類似したニューラルスケーリング法則に従うと仮定すると、現在、EarthPTや他の類似の"Large Observation Models"をスケールするためのデータ指定制限はない。
'
関連論文リスト
- A Geospatial Approach to Predicting Desert Locust Breeding Grounds in
Africa [4.02300146952738]
ロカスト群れは農業と食料安全保障に 大きな脅威を与えます
本研究は,ロカスト繁殖場予測のための操作可能なモデルを開発した。
論文 参考訳(メタデータ) (2024-03-11T16:13:58Z) - Observation-Guided Meteorological Field Downscaling at Station Scale: A
Benchmark and a New Method [66.80344502790231]
気象学的ダウンスケーリングを任意の散乱ステーションスケールに拡張し、新しいベンチマークとデータセットを確立する。
データ同化技術にインスパイアされた我々は、観測データをダウンスケーリングプロセスに統合し、マルチスケールの観測先行情報を提供する。
提案手法は、複数の曲面変数上で、他の特別に設計されたベースラインモデルよりも優れている。
論文 参考訳(メタデータ) (2024-01-22T14:02:56Z) - Foundation Models for Generalist Geospatial Artificial Intelligence [3.7002058945990415]
本稿では,大規模データに基づく基礎モデルの事前学習と微調整を効果的に行うための第1種フレームワークを提案する。
我々はこの枠組みを利用して、マルチスペクトル衛星画像の1TB以上を事前トレーニングしたトランスフォーマーベースの基礎モデルであるPrithviを開発した。
論文 参考訳(メタデータ) (2023-10-28T10:19:55Z) - Long-term drought prediction using deep neural networks based on
geospatial weather data [78.63225885697149]
農業計画や保険には1年前から予測される高品質の干ばつが不可欠だ。
多様な時間的ニューラルネットワークモデルを用いたエンドツーエンドアプローチを導入することで、干ばつデータに対処する。
主な発見は、TransformerモデルであるEarthFormerが、正確な短期(最大6ヶ月)の予測を行う際の例外的なパフォーマンスである。
論文 参考訳(メタデータ) (2023-09-12T13:28:06Z) - A Comparative Study on Generative Models for High Resolution Solar
Observation Imaging [59.372588316558826]
本研究は、観測された太陽活動状態の背後にあるデータ分布を正確に捉えるために、現在の最先端生成モデルの能力について検討する。
スーパーコンピュータ上での分散トレーニングを用いて、人間の専門家が区別できない高品質なサンプルを生成する、最大1024x1024解像度の生成モデルを訓練することができる。
論文 参考訳(メタデータ) (2023-04-14T14:40:32Z) - A machine learning and feature engineering approach for the prediction
of the uncontrolled re-entry of space objects [1.0205541448656992]
低地球軌道(LEO)における未制御物体の再突入予測のための深層学習モデルの開発について述べる。
このモデルはSequence-to-Sequenceアーキテクチャの修正版に基づいており、400体以上のTLE(Two-Line Element)データから得られた平均高度プロファイルに基づいて訓練されている。
この研究の斬新さは、平均高度とともに、ドラッグライクな係数(B*)、平均太陽指数、物体の面積と質量比の3つの新しい入力特徴を含むディープラーニングモデルの導入である。
論文 参考訳(メタデータ) (2023-03-17T13:53:59Z) - Predictive World Models from Real-World Partial Observations [66.80340484148931]
本研究では,現実の道路環境に対する確率論的予測世界モデル学習のためのフレームワークを提案する。
従来の手法では、学習のための基礎的真理として完全状態を必要とするが、HVAEが部分的に観察された状態のみから完全状態を予測することを学べる新しい逐次訓練法を提案する。
論文 参考訳(メタデータ) (2023-01-12T02:07:26Z) - Earthformer: Exploring Space-Time Transformers for Earth System
Forecasting [27.60569643222878]
本研究では,地球系予測のための時空間変圧器である地球変圧器を提案する。
Transformerは、Cuboid Attentionという、汎用的で柔軟で効率的な時空アテンションブロックに基づいている。
降水量計に関する2つの実世界のベンチマークとエルニーノ/サウス・テンポシエーションの実験は、アースフォーマーが最先端のパフォーマンスを達成したことを示している。
論文 参考訳(メタデータ) (2022-07-12T20:52:26Z) - Embedding Earth: Self-supervised contrastive pre-training for dense land
cover classification [61.44538721707377]
本研究では,衛星画像の高可用性を活用するための自己監督型コントラスト事前学習法として,エンベディングアースを提案する。
提案手法による事前学習では, 25%の絶対mIoUが得られた。
学習した特徴は、異なる領域間で一般化され、提案した事前学習スキームの可能性を開放する。
論文 参考訳(メタデータ) (2022-03-11T16:14:14Z) - EarthNet2021: A novel large-scale dataset and challenge for forecasting
localized climate impacts [12.795776149170978]
大規模な地球観測データセットにより、粗い気象情報を高解像度の地球表面予測に変換できる機械学習モデルが作成できるようになった。
メソスケール気象予測に基づく衛星画像の映像予測として高分解能地球表面予測を定義します。
EarthNet 2021は、高分解能地形とメソスケール(1.28 km)の気象変数と一致する、20 mの解像度でターゲット時空間のセンチネル2衛星画像を含む新しいデータセットである。
論文 参考訳(メタデータ) (2020-12-11T11:21:00Z) - Estimating Crop Primary Productivity with Sentinel-2 and Landsat 8 using
Machine Learning Methods Trained with Radiative Transfer Simulations [58.17039841385472]
我々は,機械モデリングと衛星データ利用の並列化を活用し,作物生産性の高度モニタリングを行う。
本モデルでは, 地域情報を使用しなくても, 各種C3作物の種類, 環境条件の総合的生産性を推定することに成功した。
これは、現在の地球観測クラウドコンピューティングプラットフォームの助けを借りて、新しい衛星センサーから作物の生産性をグローバルにマップする可能性を強調しています。
論文 参考訳(メタデータ) (2020-12-07T16:23:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。