論文の概要: Multi-Label Guided Soft Contrastive Learning for Efficient Earth Observation Pretraining

• arxiv url: http://arxiv.org/abs/2405.20462v2
• Date: Mon, 23 Sep 2024 18:36:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 01:56:09.790587
• Title: Multi-Label Guided Soft Contrastive Learning for Efficient Earth Observation Pretraining
• Title（参考訳）: 効率的な地球観測事前学習のためのマルチラベル指導ソフトコントラスト学習
• Authors: Yi Wang, Conrad M Albrecht, Xiao Xiang Zhu,
• Abstract要約: 土地被覆土地利用製品は、自然界の強い知識を持つビジョン基盤モデルと同様に、自由なグローバルな意味情報を提供する。 これらの自由な追加リソースは、一般的なコントラスト学習ボトルネックを解決するだけでなく、EO事前学習の効率と効果を大幅に向上させることを示す。 我々は、既存のSOTAモデルよりも11の下流タスクのうち10のタスクにおいて、はるかに優れた結果が得られるマルチスペクトルおよびSAR基盤モデルを作成している。
• 参考スコア（独自算出の注目度）: 19.143105229950976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised pretraining on large-scale satellite data has raised great interest in building Earth observation (EO) foundation models. However, many important resources beyond pure satellite imagery, such as land-cover-land-use products that provide free global semantic information, as well as vision foundation models that hold strong knowledge of the natural world, are not widely studied. In this work, we show these free additional resources not only help resolve common contrastive learning bottlenecks, but also significantly boost the efficiency and effectiveness of EO pretraining. Specifically, we first propose soft contrastive learning that optimizes cross-scene soft similarity based on land-cover-generated multi-label supervision, naturally solving the issue of multiple positive samples and too strict positive matching in complex scenes. Second, we revisit and explore cross-domain continual pretraining for both multispectral and SAR imagery, building efficient EO foundation models from strongest vision models such as DINOv2. Adapting simple weight-initialization and Siamese masking strategies into our soft contrastive learning framework, we demonstrate impressive continual pretraining performance even when the input modalities are not aligned. Without prohibitive training, we produce multispectral and SAR foundation models that achieve significantly better results in 10 out of 11 downstream tasks than most existing SOTA models. For example, our ResNet50/ViT-S achieve 84.8/85.0 linear probing mAP scores on BigEarthNet-10\% which are better than most existing ViT-L models; under the same setting, our ViT-B sets a new record of 86.8 in multispectral, and 82.5 in SAR, the latter even better than many multispectral models. Dataset and models are available at \url{https://github.com/zhu-xlab/softcon}.
• Abstract（参考訳）: 大規模衛星データによる自己監督型事前訓練は、地球観測(EO)基礎モデルの構築に大きな関心を寄せている。 しかし、自由なグローバルな意味情報を提供する土地被覆土地利用製品や、自然界の強い知識を持つビジョン基盤モデルなど、純粋な衛星画像を超える重要な資源は、広く研究されていない。 本研究では、これらの自由な追加資源が、一般的なコントラスト学習ボトルネックを解決するだけでなく、EO事前学習の効率と効果を大幅に向上させることを示す。 具体的には,ランドカバー生成した複数ラベルの監督に基づいて,複合シーンにおける複数の正のサンプルと厳密な正のマッチングの問題を自然に解決し,クロスシーンのソフトな類似性を最適化するソフトコントラスト学習を提案する。 次に、DINOv2のような最強ビジョンモデルから効率的なEO基盤モデルを構築し、マルチスペクトル画像とSAR画像の両方に対するクロスドメイン継続事前トレーニングについて検討する。 簡単な重み初期化とシームズマスキング戦略をソフトコントラスト学習フレームワークに適用し、入力モードが整合していない場合でも、印象的な継続事前学習性能を示す。 禁止トレーニングなしでは、既存のSOTAモデルよりも11の下流タスクのうち10のタスクにおいて、はるかに優れた結果が得られるマルチスペクトルおよびSAR基盤モデルを作成します。 例えば、我々のResNet50/ViT-Sは、既存のほとんどのViT-Lモデルよりも優れたBigEarthNet-10\%で84.8/85.0の線形プローブmAPスコアを達成しています。 データセットとモデルは \url{https://github.com/zhu-xlab/softcon} で公開されている。

関連論文リスト

• SatVision-TOA: A Geospatial Foundation Model for Coarse-Resolution All-Sky Remote Sensing Imagery [8.096413986108601]
  本稿では,14バンドMODIS L1B Top-Of-Atmosphere (TOA) を用いた新しい基礎モデルであるSatVision-TOAを紹介する。 SatVision-TOA モデルは Masked-Image-Modeling (MIM) フレームワークと SwinV2 アーキテクチャを使って事前訓練されている。 その結果、SatVision-TOAは、下流タスクのベースラインメソッドよりも優れたパフォーマンスを実現することがわかった。
  論文  参考訳（メタデータ） (2024-11-26T00:08:00Z)
• An Experimental Study on Exploring Strong Lightweight Vision Transformers via Masked Image Modeling Pre-Training [51.622652121580394]
  Masked Image Modeling (MIM) Pre-training for Large-scale Vision Transformer (ViTs) は、学習した自己教師型ViT機能に加えて、下流での有望なパフォーマンスを実現する。 本稿では,テキストテキストレメリーで軽量なViTの微調整性能が,この事前学習パラダイムの恩恵を受けるかどうかを問う。 バニラ/階層設計(5.7M$/6.5M$)による純軽量ViTの蒸留による事前トレーニングは、ImageNet-1で79.4%$/78.9%の精度で達成できる。
  論文  参考訳（メタデータ） (2024-04-18T14:14:44Z)
• Rethinking Transformers Pre-training for Multi-Spectral Satellite Imagery [78.43828998065071]
  教師なし学習の最近の進歩は、下流タスクにおける有望な結果を達成するための大きな視覚モデルの可能性を示している。 このような事前学習技術は、大量の未学習データが利用可能であることから、リモートセンシング領域でも最近研究されている。 本稿では,マルチモーダルで効果的に活用されるマルチスケール情報の事前学習と活用について述べる。
  論文  参考訳（メタデータ） (2024-03-08T16:18:04Z)
• MoE-LLaVA: Mixture of Experts for Large Vision-Language Models [27.930351465266515]
  本稿では,LVLMのための簡易かつ効果的なトレーニング戦略であるMoE-Tuningを提案する。 MoE-LLaVAはMoEベースのスパースLVLMアーキテクチャであり、ルータを通じてトップkの専門家のみをユニークに活性化する。 様々な視覚的理解と物体幻覚のベンチマークにおいて,MoE-LLaVAの顕著な性能を示す実験を行った。
  論文  参考訳（メタデータ） (2024-01-29T08:13:40Z)
• Optimization Efficient Open-World Visual Region Recognition [55.76437190434433]
  RegionSpotは、ローカライゼーション基盤モデルから位置認識ローカライゼーション知識と、ViLモデルからのセマンティック情報を統合する。 オープンワールドオブジェクト認識の実験では、私たちのRereaSpotは、以前の代替よりも大きなパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2023-11-02T16:31:49Z)
• Foundation Models for Generalist Geospatial Artificial Intelligence [3.7002058945990415]
  本稿では,大規模データに基づく基礎モデルの事前学習と微調整を効果的に行うための第1種フレームワークを提案する。 我々はこの枠組みを利用して、マルチスペクトル衛星画像の1TB以上を事前トレーニングしたトランスフォーマーベースの基礎モデルであるPrithviを開発した。
  論文  参考訳（メタデータ） (2023-10-28T10:19:55Z)
• The effectiveness of MAE pre-pretraining for billion-scale pretraining [65.98338857597935]
  モデルの初期化には自己教師付きMAE技術を用いる。 画像分類, 映像認識, 物体検出, ローショット分類, ゼロショット認識にまたがる10種類の視覚的タスクに対して, 事前学習の有効性を評価する。
  論文  参考訳（メタデータ） (2023-03-23T17:56:12Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Virtual embeddings and self-consistency for self-supervised learning [43.086696088061416]
  TriMixは、線形データを通じて仮想埋め込みを生成する自己教師型学習の新しい概念である。 我々は,TriMixを2.71%,0.41%改善した8つのベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-06-13T10:20:28Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。