論文の概要: Towards a Knowledge guided Multimodal Foundation Model for Spatio-Temporal Remote Sensing Applications
- arxiv url: http://arxiv.org/abs/2407.19660v1
- Date: Mon, 29 Jul 2024 02:49:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-30 15:16:04.605823
- Title: Towards a Knowledge guided Multimodal Foundation Model for Spatio-Temporal Remote Sensing Applications
- Title（参考訳）: 時空間リモートセンシングのための知識ガイド型マルチモーダルファンデーションモデルの実現に向けて
- Authors: Praveen Ravirathinam, Ankush Khandelwal, Rahul Ghosh, Vipin Kumar,
- Abstract要約: 既存の基礎モデルは、様々なスペクトル画像源を用いて、マスク付き再構成タスクで事前訓練された大きなモデルを作成する。
本稿では,従来の単一モードマスマスマスキングオートエンコーダのファウンデーションモデルを超えた,リモートセンシング地学応用のための基礎モデリングフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 16.824262496666893
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, there is increased interest in foundation models for geoscience due to vast amount of earth observing satellite imagery. Existing remote sensing foundation models make use of the various sources of spectral imagery to create large models pretrained on masked reconstruction task. The embeddings from these foundation models are then used for various downstream remote sensing applications. In this paper we propose a foundational modeling framework for remote sensing geoscience applications, that goes beyond these traditional single modality masked autoencoder family of foundation models. This framework leverages the knowledge guided principles that the spectral imagery captures the impact of the physical drivers on the environmental system, and that the relationship between them is governed by the characteristics of the system. Specifically, our method, called MultiModal Variable Step Forecasting (MM-VSF), uses mutlimodal data (spectral imagery and weather) as its input and a variable step forecasting task as its pretraining objective. In our evaluation we show forecasting of satellite imagery using weather can be used as an effective pretraining task for foundation models. We further show the effectiveness of the embeddings from MM-VSF on the downstream task of pixel wise crop mapping, when compared with a model trained in the traditional setting of single modality input and masked reconstruction based pretraining.
- Abstract（参考訳）: 近年,衛星画像が大量に観測されているため,地球科学の基礎モデルへの関心が高まっている。
既存のリモートセンシング基盤モデルは、様々なスペクトル画像源を用いて、マスク付き再構成作業で事前訓練された大きなモデルを作成する。
これらの基礎モデルからの埋め込みは、様々な下流リモートセンシングアプリケーションに使用される。
本稿では,従来の単一モードマスマスマスキングオートエンコーダのファウンデーションモデルであるファウンデーションモデルを超えた,リモートセンシング地学応用のための基礎モデリングフレームワークを提案する。
この枠組みは、スペクトル画像が物理的ドライバが環境システムに与える影響を捉え、それらの関係がシステムの特性によって支配されるという知識的原則を活用する。
具体的には,MultiModal Variable Step Forecasting (MM-VSF) と呼ばれる本手法では,その入力としてマルチモーダルデータ(スペクトル画像と天気)を使用し,事前学習対象として可変ステップ予測タスクを用いる。
本評価では,気象を用いた衛星画像の予測を基礎モデルの効果的な事前学習作業として利用できることを示す。
さらに,MM-VSFからの埋め込みが画素ワイドマッピングの下流作業に与える影響を,従来の単一モード入力とマスク付き再構成による事前学習で訓練されたモデルと比較した。
関連論文リスト
- On conditional diffusion models for PDE simulations [53.01911265639582]
スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。
本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。
また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2024-10-21T18:31:04Z) - Motion Forecasting via Model-Based Risk Minimization [8.766024024417316]
複数モデルの予測に基づく軌道予測に適用可能な新しいサンプリング手法を提案する。
まず、予測確率に基づく従来のサンプリングは、モデル間のアライメントの欠如により性能を低下させることができることを示す。
基礎学習者として最先端モデルを用いて,最適軌道サンプリングのための多種多様な効果的なアンサンブルを構築した。
論文 参考訳（メタデータ） (2024-09-16T09:03:28Z) - PreDiff: Precipitation Nowcasting with Latent Diffusion Models [28.52267957954304]
確率的予測が可能な条件付き潜伏拡散モデルを開発した。
予測をドメイン固有の物理的制約と整合させるために、明示的な知識アライメント機構を組み込んだ。
論文 参考訳（メタデータ） (2023-07-19T19:19:13Z) - Towards Motion Forecasting with Real-World Perception Inputs: Are
End-to-End Approaches Competitive? [93.10694819127608]
実世界の知覚入力を用いた予測手法の統一評価パイプラインを提案する。
我々の詳細な調査では、キュレートされたデータから知覚ベースのデータへ移行する際の大きなパフォーマンスギャップが明らかになりました。
論文 参考訳（メタデータ） (2023-06-15T17:03:14Z) - Inverse Dynamics Pretraining Learns Good Representations for Multitask
Imitation [66.86987509942607]
このようなパラダイムを模倣学習でどのように行うべきかを評価する。
本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。
逆動力学モデリングはこの設定に適していると主張する。
論文 参考訳（メタデータ） (2023-05-26T14:40:46Z) - Beyond Ensemble Averages: Leveraging Climate Model Ensembles for Subseasonal Forecasting [10.083361616081874]
本研究では,機械学習モデル(ML)を時系列予測のための後処理ツールとして応用することを検討した。
相対湿度, 海面圧力, 地電位高さなど, タグ付き数値アンサンブル予測および観測データをML法に取り入れた。
回帰、量子レグレッション、tercile 分類タスクでは、線形モデル、ランダムフォレスト、畳み込みニューラルネットワーク、および積み重ねモデルを用いて検討する。
論文 参考訳（メタデータ） (2022-11-29T01:11:04Z) - Towards Out-of-Distribution Sequential Event Prediction: A Causal
Treatment [72.50906475214457]
シーケンシャルなイベント予測の目標は、一連の歴史的なイベントに基づいて次のイベントを見積もることである。
実際には、次のイベント予測モデルは、一度に収集されたシーケンシャルなデータで訓練される。
文脈固有の表現を学習するための階層的な分岐構造を持つフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-24T07:54:13Z) - Conditioned Human Trajectory Prediction using Iterative Attention Blocks [70.36888514074022]
本研究では,都市環境における歩行者位置予測を目的とした,簡易かつ効果的な歩行者軌道予測モデルを提案する。
我々のモデルは、複数のアテンションブロックとトランスフォーマーを反復的に実行できるニューラルネットワークアーキテクチャである。
ソーシャルマスク, 動的モデル, ソーシャルプーリング層, 複雑なグラフのような構造を明示的に導入することなく, SoTAモデルと同等の結果が得られることを示す。
論文 参考訳（メタデータ） (2022-06-29T07:49:48Z) - RAIN: Reinforced Hybrid Attention Inference Network for Motion
Forecasting [34.54878390622877]
本稿では,ハイブリットアテンション機構に基づく動的キー情報の選択とランク付けを行う汎用的な動き予測フレームワークを提案する。
このフレームワークは、マルチエージェント軌道予測と人間の動き予測タスクを処理するためにインスタンス化される。
我々は,異なる領域における合成シミュレーションと運動予測ベンチマークの両方について,その枠組みを検証した。
論文 参考訳（メタデータ） (2021-08-03T06:30:30Z) - SMART: Simultaneous Multi-Agent Recurrent Trajectory Prediction [72.37440317774556]
本稿では,将来の軌道予測における2つの重要な課題に対処する手法を提案する。
エージェントの数に関係なく、トレーニングデータと予測と一定時間の推測の両方において、マルチモーダリティ。
論文 参考訳（メタデータ） (2020-07-26T08:17:10Z) - Bridging the Gap Between Training and Inference for Spatio-Temporal
Forecasting [16.06369357595426]
本稿では,S-temporal sequence forecastingのトレーニングと推論のギャップを埋めるために,時間的プログレッシブ・グロース・サンプリングというカリキュラムベースの新しい戦略を提案する。
実験結果から,提案手法は長期依存をモデル化し,2つの競合データセットに対するベースラインアプローチより優れていることが示された。
論文 参考訳（メタデータ） (2020-05-19T10:14:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。