論文の概要: Towards Geospatial Foundation Models via Continual Pretraining

• arxiv url: http://arxiv.org/abs/2302.04476v3
• Date: Thu, 31 Aug 2023 20:52:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-04 17:10:13.773475
• Title: Towards Geospatial Foundation Models via Continual Pretraining
• Title（参考訳）: 連続予習による地理空間基礎モデルの構築
• Authors: Matias Mendieta, Boran Han, Xingjian Shi, Yi Zhu, Chen Chen
• Abstract要約: 資源コストと炭素の影響を最小限に抑えた高効率基礎モデルを構築するための新しいパラダイムを提案する。 まず、複数のソースからコンパクトだが多様なデータセットを構築し、GeoPileと呼ぶ特徴の多様性を促進する。 次に,大規模なImageNet-22kモデルからの継続事前学習の可能性について検討し,多目的連続事前学習パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 22.825065739563296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Geospatial technologies are becoming increasingly essential in our world for a wide range of applications, including agriculture, urban planning, and disaster response. To help improve the applicability and performance of deep learning models on these geospatial tasks, various works have begun investigating foundation models for this domain. Researchers have explored two prominent approaches for introducing such models in geospatial applications, but both have drawbacks in terms of limited performance benefit or prohibitive training cost. Therefore, in this work, we propose a novel paradigm for building highly effective geospatial foundation models with minimal resource cost and carbon impact. We first construct a compact yet diverse dataset from multiple sources to promote feature diversity, which we term GeoPile. Then, we investigate the potential of continual pretraining from large-scale ImageNet-22k models and propose a multi-objective continual pretraining paradigm, which leverages the strong representations of ImageNet while simultaneously providing the freedom to learn valuable in-domain features. Our approach outperforms previous state-of-the-art geospatial pretraining methods in an extensive evaluation on seven downstream datasets covering various tasks such as change detection, classification, multi-label classification, semantic segmentation, and super-resolution.
• Abstract（参考訳）: 地球空間技術は、農業、都市計画、災害対応など幅広い用途において、我々の世界でますます不可欠になりつつある。 これらの地理空間的タスクにおけるディープラーニングモデルの適用性とパフォーマンスを改善するため、様々な研究がこの分野の基礎モデルの調査を開始した。 研究者は、地理空間アプリケーションにそのようなモデルを導入するための2つの顕著なアプローチを探求してきたが、どちらもパフォーマンス上の利点や禁止的なトレーニングコストの点で欠点がある。 そこで本研究では,資源コストと炭素影響を最小限に抑え,高効率な地理空間基盤モデルを構築するための新しいパラダイムを提案する。 まず、複数のソースからコンパクトだが多様なデータセットを構築し、GeoPileと呼ぶ特徴多様性を促進する。 次に,大規模なImageNet-22kモデルからの継続事前学習の可能性について検討し,画像Netの強力な表現を活用しながら,価値あるドメイン内特徴を学習する自由を提供する多目的連続事前学習パラダイムを提案する。 提案手法は,変更検出,分類,マルチラベル分類,意味セグメンテーション,スーパーレゾリューションといったさまざまなタスクをカバーする7つの下流データセットの広範な評価において,先行手法よりも優れている。

関連論文リスト

• Towards Vision-Language Geo-Foundation Model: A Survey [65.70547895998541]
  Vision-Language Foundation Models (VLFMs) は、様々なマルチモーダルタスクにおいて顕著な進歩を遂げている。 本稿では, VLGFMを網羅的にレビューし, この分野の最近の展開を要約し, 分析する。
  論文  参考訳（メタデータ） (2024-06-13T17:57:30Z)
• GeoWizard: Unleashing the Diffusion Priors for 3D Geometry Estimation from a Single Image [94.56927147492738]
  単一画像から幾何学的属性を推定するための新しい生成基盤モデルであるGeoWizardを紹介する。 拡散前処理の活用は,資源利用における一般化,詳細な保存,効率性を著しく向上させることが示唆された。 本稿では,様々なシーンの複雑なデータ分布を,個別のサブディストリビューションに分離する,シンプルかつ効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-18T17:50:41Z)
• Segment Anything Model Can Not Segment Anything: Assessing AI Foundation Model's Generalizability in Permafrost Mapping [19.307294875969827]
  本稿では,AI基盤モデルとその定義特性を紹介する。 我々は、大規模AIビジョンモデル、特にMetaのセグメンション・アプライシング・モデル(SAM)の性能を評価する。 結果は、SAMには将来性はあるものの、AIの拡張された地形マッピングをサポートするための改善の余地があることを示している。
  論文  参考訳（メタデータ） (2024-01-16T19:10:09Z)
• Few-shot Image Generation via Information Transfer from the Built Geodesic Surface [2.617962830559083]
  構築地表面からの情報伝達法(ITBGS)を提案する。 FAGSモジュールでは、トレーニングデータセットからPre-Shape Spaceにイメージ機能を投影することで、擬似ソースドメインが生成される。 提案手法は,多種多様なセマンティックなデータセットにまたがって,最適な,あるいは同等な結果が得られることを実証する。
  論文  参考訳（メタデータ） (2024-01-03T13:57:09Z)
• Assessment of a new GeoAI foundation model for flood inundation mapping [4.312965283062856]
  そこで本稿は,IBM-NASAのPrithviによる地空間基盤モデルの性能評価を行い,地空間解析の重要課題である洪水浸水マッピングを支援する。 実験では、ベンチマークデータセットであるSen1Floods11を使用し、モデルの予測可能性、一般化可能性、転送可能性を評価する。 以上の結果から, 未確認領域におけるセグメンテーションにおけるPrithviモデルの性能上の優位性が示された。
  論文  参考訳（メタデータ） (2023-09-25T19:50:47Z)
• GEO-Bench: Toward Foundation Models for Earth Monitoring [139.77907168809085]
  6つの分類と6つのセグメンテーションタスクからなるベンチマークを提案する。 このベンチマークは、さまざまな地球観測タスクの進行の原動力となる。
  論文  参考訳（メタデータ） (2023-06-06T16:16:05Z)
• On the Opportunities and Challenges of Foundation Models for Geospatial Artificial Intelligence [39.86997089245117]
  ファンデーションモデル(FM)は、微調整、少数ショット、ゼロショット学習によって、幅広い下流タスクに適応することができる。 我々は,GeoAIのためのFMを開発する上で大きな課題の一つとして,地理空間的タスクのマルチモーダル性に対処することを提案する。
  論文  参考訳（メタデータ） (2023-04-13T19:50:17Z)
• A General Purpose Neural Architecture for Geospatial Systems [142.43454584836812]
  本稿では,空間的帰納バイアスを持つ汎用ニューラルアーキテクチャ(GPNA)の構築に向けたロードマップを示す。 このようなモデルがコミュニティのメンバー間の協力をいかに促進するかを考察する。
  論文  参考訳（メタデータ） (2022-11-04T09:58:57Z)
• Toward Foundation Models for Earth Monitoring: Proposal for a Climate Change Benchmark [95.19070157520633]
  近年の自己スーパービジョンの進歩は、大量の教師なしデータ上で大規模なニューラルネットワークを事前訓練することで、下流タスクの一般化が著しく増加することを示している。 基礎モデルとして最近作られたそのようなモデルは、自然言語処理の分野に転換してきた。 気候変動に関連する様々な下流タスクからなる新しいベンチマークを開発することを提案する。
  論文  参考訳（メタデータ） (2021-12-01T15:38:19Z)
• Adversarial Bipartite Graph Learning for Video Domain Adaptation [50.68420708387015]
  ドメイン適応技術は,異なる領域間のモデルを適応させることに重点を置いているが,ビデオ認識領域ではめったに研究されていない。 近年,映像のソースと対象映像の表現を統一するために,対角学習を活用する視覚領域適応はビデオにはあまり効果がない。 本稿では,ソースとターゲットの相互作用を直接モデル化するAdversarial Bipartite Graph (ABG)学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-31T03:48:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。