論文の概要: GFM: Building Geospatial Foundation Models via Continual Pretraining
- arxiv url: http://arxiv.org/abs/2302.04476v1
- Date: Thu, 9 Feb 2023 07:39:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-10 16:40:03.409957
- Title: GFM: Building Geospatial Foundation Models via Continual Pretraining
- Title（参考訳）: GFM:連続事前訓練による地理空間基盤モデルの構築
- Authors: Matias Mendieta, Boran Han, Xingjian Shi, Yi Zhu, Chen Chen, Mu Li
- Abstract要約: 地理空間基盤モデル構築のための持続可能なアプローチについて検討する。
まず,地理空間領域内においても,事前学習データの選択が重要であることがわかった。
第二に、地理空間基盤モデルを構築する際に、ImageNet-22kのような多様なデータセットで利用できる事前訓練されたモデルを無視すべきでない。
- 参考スコア（独自算出の注目度）: 15.298595816976832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Geospatial technologies are becoming increasingly essential in our world for
a large range of tasks, such as earth monitoring and natural disaster response.
To help improve the applicability and performance of deep learning models on
these geospatial tasks, various works have pursued the idea of a geospatial
foundation model, i.e., training networks from scratch on a large corpus of
remote sensing imagery. However, this approach often requires a significant
amount of data and training time to achieve suitable performance, especially
when employing large state-of-the-art transformer models.
In light of these challenges, we investigate a sustainable approach to
building geospatial foundation models. In our investigations, we discover two
important factors in the process. First, we find that the selection of
pretraining data matters, even within the geospatial domain. We therefore
gather a concise yet effective dataset for pretraining. Second, we find that
available pretrained models on diverse datasets like ImageNet-22k should not be
ignored when building geospatial foundation models, as their representations
are still surprisingly effective. Rather, by leveraging their representations,
we can build strong models for geospatial applications in a sustainable manner.
To this end, we formulate a multi-objective continual pretraining approach for
training sustainable geospatial foundation models. We experiment on a wide
variety of downstream datasets and tasks, achieving strong performance across
the board in comparison to ImageNet baselines and state-of-the-art geospatial
pretrained models.
- Abstract（参考訳）: 地空間技術は,地球モニタリングや自然災害対応など,多岐にわたるタスクにおいて,地球空間技術の重要性が高まっている。
これらの地理空間的タスクにおける深層学習モデルの適用性や性能を向上させるため、様々な研究が地理空間的基礎モデル、すなわち、リモートセンシング画像の大規模なコーパスをゼロからトレーニングするアイデアを追求してきた。
しかし、このアプローチは、特に大きな最先端のトランスフォーマーモデルを使用する場合、適切なパフォーマンスを達成するために、かなりの量のデータとトレーニング時間を必要とすることが多い。
これらの課題を踏まえ,地理空間基礎モデル構築のための持続可能なアプローチを検討する。
当社の調査では、プロセスにおける2つの重要な要因を発見しました。
まず,事前学習データの選択が,地理空間領域内においても重要であることを知る。
したがって,事前学習のための簡潔で効果的なデータセットを収集する。
第二に、ImageNet-22kのような多様なデータセットで利用できる事前訓練されたモデルは、地理的基盤モデルを構築する際に無視すべきではない。
むしろ、それらの表現を活用することで、持続可能な方法で地理空間アプリケーションのための強力なモデルを構築することができる。
この目的のために,持続可能な地理空間基礎モデルの訓練のための多目的連続事前学習手法を定式化する。
我々は、さまざまな下流データセットとタスクを実験し、ImageNetベースラインや最先端の地理空間事前学習モデルと比較して、ボード全体で強力なパフォーマンスを実現した。
関連論文リスト
- Towards Vision-Language Geo-Foundation Model: A Survey [65.70547895998541]
Vision-Language Foundation Models (VLFMs) は、様々なマルチモーダルタスクにおいて顕著な進歩を遂げている。
本稿では, VLGFMを網羅的にレビューし, この分野の最近の展開を要約し, 分析する。
論文 参考訳（メタデータ） (2024-06-13T17:57:30Z) - GeoWizard: Unleashing the Diffusion Priors for 3D Geometry Estimation from a Single Image [94.56927147492738]
単一画像から幾何学的属性を推定するための新しい生成基盤モデルであるGeoWizardを紹介する。
拡散前処理の活用は,資源利用における一般化,詳細な保存,効率性を著しく向上させることが示唆された。
本稿では,様々なシーンの複雑なデータ分布を,個別のサブディストリビューションに分離する,シンプルかつ効果的な戦略を提案する。
論文 参考訳（メタデータ） (2024-03-18T17:50:41Z) - Segment Anything Model Can Not Segment Anything: Assessing AI Foundation
Model's Generalizability in Permafrost Mapping [19.307294875969827]
本稿では,AI基盤モデルとその定義特性を紹介する。
我々は、大規模AIビジョンモデル、特にMetaのセグメンション・アプライシング・モデル(SAM)の性能を評価する。
結果は、SAMには将来性はあるものの、AIの拡張された地形マッピングをサポートするための改善の余地があることを示している。
論文 参考訳（メタデータ） (2024-01-16T19:10:09Z) - Few-shot Image Generation via Information Transfer from the Built
Geodesic Surface [2.617962830559083]
構築地表面からの情報伝達法(ITBGS)を提案する。
FAGSモジュールでは、トレーニングデータセットからPre-Shape Spaceにイメージ機能を投影することで、擬似ソースドメインが生成される。
提案手法は,多種多様なセマンティックなデータセットにまたがって,最適な,あるいは同等な結果が得られることを実証する。
論文 参考訳（メタデータ） (2024-01-03T13:57:09Z) - Assessment of a new GeoAI foundation model for flood inundation mapping [4.312965283062856]
そこで本稿は,IBM-NASAのPrithviによる地空間基盤モデルの性能評価を行い,地空間解析の重要課題である洪水浸水マッピングを支援する。
実験では、ベンチマークデータセットであるSen1Floods11を使用し、モデルの予測可能性、一般化可能性、転送可能性を評価する。
以上の結果から, 未確認領域におけるセグメンテーションにおけるPrithviモデルの性能上の優位性が示された。
論文 参考訳（メタデータ） (2023-09-25T19:50:47Z) - GEO-Bench: Toward Foundation Models for Earth Monitoring [139.77907168809085]
6つの分類と6つのセグメンテーションタスクからなるベンチマークを提案する。
このベンチマークは、さまざまな地球観測タスクの進行の原動力となる。
論文 参考訳（メタデータ） (2023-06-06T16:16:05Z) - On the Opportunities and Challenges of Foundation Models for Geospatial
Artificial Intelligence [39.86997089245117]
ファンデーションモデル(FM)は、微調整、少数ショット、ゼロショット学習によって、幅広い下流タスクに適応することができる。
我々は,GeoAIのためのFMを開発する上で大きな課題の一つとして,地理空間的タスクのマルチモーダル性に対処することを提案する。
論文 参考訳（メタデータ） (2023-04-13T19:50:17Z) - A General Purpose Neural Architecture for Geospatial Systems [142.43454584836812]
本稿では,空間的帰納バイアスを持つ汎用ニューラルアーキテクチャ(GPNA)の構築に向けたロードマップを示す。
このようなモデルがコミュニティのメンバー間の協力をいかに促進するかを考察する。
論文 参考訳（メタデータ） (2022-11-04T09:58:57Z) - Toward Foundation Models for Earth Monitoring: Proposal for a Climate
Change Benchmark [95.19070157520633]
近年の自己スーパービジョンの進歩は、大量の教師なしデータ上で大規模なニューラルネットワークを事前訓練することで、下流タスクの一般化が著しく増加することを示している。
基礎モデルとして最近作られたそのようなモデルは、自然言語処理の分野に転換してきた。
気候変動に関連する様々な下流タスクからなる新しいベンチマークを開発することを提案する。
論文 参考訳（メタデータ） (2021-12-01T15:38:19Z) - Adversarial Bipartite Graph Learning for Video Domain Adaptation [50.68420708387015]
ドメイン適応技術は,異なる領域間のモデルを適応させることに重点を置いているが,ビデオ認識領域ではめったに研究されていない。
近年,映像のソースと対象映像の表現を統一するために,対角学習を活用する視覚領域適応はビデオにはあまり効果がない。
本稿では,ソースとターゲットの相互作用を直接モデル化するAdversarial Bipartite Graph (ABG)学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-31T03:48:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。