論文の概要: On the Generalizability of Foundation Models for Crop Type Mapping

• arxiv url: http://arxiv.org/abs/2409.09451v1
• Date: Sat, 14 Sep 2024 14:43:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 20:47:24.881110
• Title: On the Generalizability of Foundation Models for Crop Type Mapping
• Title（参考訳）: 作物型マッピングのための基礎モデルの一般化可能性について
• Authors: Yi-Chia Chang, Adam J. Stewart, Favyen Bastani, Piper Wolters, Shreya Kannan, George R. Huber, Jingtong Wang, Arindam Banerjee,
• Abstract要約: 自己教師付きおよび弱教師付き学習を用いて事前訓練された基礎モデルは、強力な伝達学習能力を示している。 本研究は,農業領域におけるEOファンデーションモデルによる新しい地域への移転能力について考察する。
• 参考スコア（独自算出の注目度）: 8.346555291145767
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Foundation models pre-trained using self-supervised and weakly-supervised learning have shown powerful transfer learning capabilities on various downstream tasks, including language understanding, text generation, and image recognition. Recently, the Earth observation (EO) field has produced several foundation models pre-trained directly on multispectral satellite imagery (e.g., Sentinel-2) for applications like precision agriculture, wildfire and drought monitoring, and natural disaster response. However, few studies have investigated the ability of these models to generalize to new geographic locations, and potential concerns of geospatial bias -- models trained on data-rich developed countries not transferring well to data-scarce developing countries -- remain. We investigate the ability of popular EO foundation models to transfer to new geographic regions in the agricultural domain, where differences in farming practices and class imbalance make transfer learning particularly challenging. We first select six crop classification datasets across five continents, normalizing for dataset size and harmonizing classes to focus on four major cereal grains: maize, soybean, rice, and wheat. We then compare three popular foundation models, pre-trained on SSL4EO-S12, SatlasPretrain, and ImageNet, using in-distribution (ID) and out-of-distribution (OOD) evaluation. Experiments show that pre-trained weights designed explicitly for Sentinel-2, such as SSL4EO-S12, outperform general pre-trained weights like ImageNet. Furthermore, the benefits of pre-training on OOD data are the most significant when only 10--100 ID training samples are used. Transfer learning and pre-training with OOD and limited ID data show promising applications, as many developing regions have scarce crop type labels. All harmonized datasets and experimental code are open-source and available for download.
• Abstract（参考訳）: 自己教師型および弱教師型学習を用いて事前訓練された基礎モデルは、言語理解、テキスト生成、画像認識など、さまざまな下流タスクにおいて強力な伝達学習能力を示している。 近年、地球観測(EO)分野は、精密農業、山火事・干ばつモニタリング、自然災害対応などの応用のために、マルチスペクトル衛星画像(例:Sentinel-2)を直接トレーニングしたいくつかの基礎モデルを作成している。 しかし、これらのモデルが新しい地理的な場所に一般化する能力について研究する研究はほとんどなく、データ豊かな先進国で訓練されたモデルがデータに富む先進国にうまく移行しないという、地理空間バイアスの潜在的な懸念が残っている。 本研究では,農業の実践と階級不均衡の違いが転校学習を特に困難にしている農業領域において,人気のあるEOファンデーションモデルが新たな地域への転校を行う能力について検討する。 まず,5大陸にまたがる6つの作物分類データセットを選択し,大豆,大豆,米,小麦の4大穀物に焦点を合わせるために,データセットサイズと調和クラスを標準化した。 次に、SSL4EO-S12、SatlasPretrain、ImageNetで事前トレーニングされた3つの一般的な基礎モデルを、In-distribution (ID) とout-of-distriion (OOD) 評価を用いて比較する。 実験の結果、SSL4EO-S12のようなSentinel-2用に明示的に設計された事前訓練重量は、ImageNetのような一般的な事前訓練重量よりも優れていた。 さらに、OODデータに対する事前トレーニングの利点は、10-100 IDトレーニングサンプルのみを使用する場合に最も重要なものである。 OODと限定IDデータによるトランスファーラーニングと事前トレーニングは、多くの発展途上国で作物の種類がほとんどないため、有望な応用を示している。 調和したデータセットと実験コードはすべてオープンソースで、ダウンロード可能である。

関連論文リスト

• Comparison of self-supervised in-domain and supervised out-domain transfer learning for bird species recognition [0.19183348587701113]
  別のタスクを支援するために事前訓練されたモデルの重みを移すことは、現代のディープラーニングの重要な部分となっている。 本実験は,鳥種認識のためのドメイン内モデルとデータセットの有用性を実証するものである。
  論文  参考訳（メタデータ） (2024-04-26T08:47:28Z)
• Towards Seamless Adaptation of Pre-trained Models for Visual Place Recognition [72.35438297011176]
  視覚的位置認識のための事前学習モデル(VPR)のシームレスな適応を実現する新しい手法を提案する。 具体的には、地域を識別するための有意義なランドマークに焦点を当てたグローバルな特徴とローカルな特徴の両方を得るために、ハイブリッド適応法を設計する。 実験結果から,本手法はトレーニングデータやトレーニング時間が少なく,最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-02-22T12:55:01Z)
• Foundation Models for Generalist Geospatial Artificial Intelligence [3.7002058945990415]
  本稿では,大規模データに基づく基礎モデルの事前学習と微調整を効果的に行うための第1種フレームワークを提案する。 我々はこの枠組みを利用して、マルチスペクトル衛星画像の1TB以上を事前トレーニングしたトランスフォーマーベースの基礎モデルであるPrithviを開発した。
  論文  参考訳（メタデータ） (2023-10-28T10:19:55Z)
• On the Connection between Pre-training Data Diversity and Fine-tuning Robustness [66.30369048726145]
  下流の有効ロバスト性に影響を与える主な要因はデータ量である。 各種自然および合成データソースから抽出した事前学習分布について,本研究の成果を示す。
  論文  参考訳（メタデータ） (2023-07-24T05:36:19Z)
• Learning crop type mapping from regional label proportions in large-scale SAR and optical imagery [9.303156731091532]
  本研究は,作物ラベルの比率を事前に用いたオンラインディープクラスタリング手法を提案し,サンプルレベル分類器を学習する。 ブラジルの2つの異なる農業地域から得られた2つの大きなデータセットを用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2022-08-24T15:23:26Z)
• Embedding Earth: Self-supervised contrastive pre-training for dense land cover classification [61.44538721707377]
  本研究では,衛星画像の高可用性を活用するための自己監督型コントラスト事前学習法として,エンベディングアースを提案する。 提案手法による事前学習では, 25%の絶対mIoUが得られた。 学習した特徴は、異なる領域間で一般化され、提案した事前学習スキームの可能性を開放する。
  論文  参考訳（メタデータ） (2022-03-11T16:14:14Z)
• Self-supervised Audiovisual Representation Learning for Remote Sensing Data [96.23611272637943]
  遠隔センシングにおける深層ニューラルネットワークの事前学習のための自己教師型アプローチを提案する。 ジオタグ付きオーディオ記録とリモートセンシングの対応を利用して、これは完全にラベルなしの方法で行われる。 提案手法は,既存のリモートセンシング画像の事前学習方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-02T07:50:50Z)
• PGL: Prior-Guided Local Self-supervised Learning for 3D Medical Image Segmentation [87.50205728818601]
  本稿では,潜在特徴空間における局所的一貫性を学習するPGL(PresideedGuided Local)自己教師モデルを提案する。 我々のPGLモデルは、局所領域の特異な表現を学習し、したがって構造情報を保持できる。
  論文  参考訳（メタデータ） (2020-11-25T11:03:11Z)
• Dataset Cartography: Mapping and Diagnosing Datasets with Training Dynamics [118.75207687144817]
  我々はデータセットを特徴付け、診断するモデルベースのツールであるData Mapsを紹介した。 私たちは、トレーニング中の個々のインスタンス上でのモデルの振る舞いという、ほとんど無視された情報のソースを活用しています。 以上の結果から,データ量から品質へのフォーカスの変化は,ロバストなモデルとアウト・オブ・ディストリビューションの一般化に繋がる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-09-22T20:19:41Z)
• Meta-Learning for Few-Shot Land Cover Classification [3.8529010979482123]
  分類タスクとセグメンテーションタスクにおけるモデル非依存メタラーニング(MAML)アルゴリズムの評価を行った。 数発のモデル適応は,正規勾配降下による事前学習よりも優れていた。 これは、メタラーニングによるモデル最適化が地球科学におけるタスクの恩恵をもたらすことを示唆している。
  論文  参考訳（メタデータ） (2020-04-28T09:42:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。