論文の概要: SatCLIP: Global, General-Purpose Location Embeddings with Satellite
Imagery
- arxiv url: http://arxiv.org/abs/2311.17179v2
- Date: Thu, 30 Nov 2023 20:25:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 17:22:54.493320
- Title: SatCLIP: Global, General-Purpose Location Embeddings with Satellite
Imagery
- Title(参考訳): satclip:衛星画像によるグローバルな汎用位置情報埋め込み
- Authors: Konstantin Klemmer, Esther Rolf, Caleb Robinson, Lester Mackey, Marc
Ru{\ss}wurm
- Abstract要約: 本稿では,グローバルかつ汎用的な位置情報エンコーダである衛星コントラスト位置画像事前学習(SatCLIP)を紹介する。
SatCLIPは、公開されている衛星画像から位置の暗黙的な表現を学ぶ。
位置情報に依存するが衛星画像に依存しない様々な予測タスクにおいて, SatCLIP の埋め込みが利用できることを示す。
- 参考スコア(独自算出の注目度): 23.2345493809753
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Geographic location is essential for modeling tasks in fields ranging from
ecology to epidemiology to the Earth system sciences. However, extracting
relevant and meaningful characteristics of a location can be challenging, often
entailing expensive data fusion or data distillation from global imagery
datasets. To address this challenge, we introduce Satellite Contrastive
Location-Image Pretraining (SatCLIP), a global, general-purpose geographic
location encoder that learns an implicit representation of locations from
openly available satellite imagery. Trained location encoders provide vector
embeddings summarizing the characteristics of any given location for convenient
usage in diverse downstream tasks. We show that SatCLIP embeddings, pretrained
on globally sampled multi-spectral Sentinel-2 satellite data, can be used in
various predictive tasks that depend on location information but not
necessarily satellite imagery, including temperature prediction, animal
recognition in imagery, and population density estimation. Across tasks,
SatCLIP embeddings consistently outperform embeddings from existing pretrained
location encoders, ranging from models trained on natural images to models
trained on semantic context. SatCLIP embeddings also help to improve geographic
generalization. This demonstrates the potential of general-purpose location
encoders and opens the door to learning meaningful representations of our
planet from the vast, varied, and largely untapped modalities of geospatial
data.
- Abstract(参考訳): 地理的な位置は、生態学から疫学、地球系科学まで幅広い分野のモデリングタスクに不可欠である。
しかし、地理的かつ有意義な特徴の抽出は困難であり、しばしばグローバル画像データセットから高価なデータ融合やデータの蒸留を伴っている。
この課題に対処するために,衛星画像から暗黙的な位置表現を学習する,グローバルで汎用的な地理的位置エンコーダsatclip(saturtic contrastive location-image pretraining)を導入する。
訓練された位置エンコーダは、様々な下流タスクで便利な使用のために任意の位置の特性を要約したベクトル埋め込みを提供する。
本研究では,多スペクトルsentinel-2衛星データに基づいて事前学習されたsatclip埋め込みを,温度予測や画像における動物認識,人口密度推定など,必ずしも衛星画像に依存しない様々な予測タスクに使用できることを示す。
タスク全体にわたって、satclipは、自然画像でトレーニングされたモデルからセマンティックコンテキストでトレーニングされたモデルまで、既存のトレーニング済みロケーションエンコーダからの埋め込みを一貫して上回っています。
SatCLIP埋め込みは地理的一般化の改善にも役立つ。
このことは、汎用的な位置エンコーダの可能性を示し、地理空間データの広大で多様で、ほとんど利用されていない様相から惑星の有意義な表現を学ぶための扉を開く。
関連論文リスト
- GeoCLIP: Clip-Inspired Alignment between Locations and Images for
Effective Worldwide Geo-localization [61.10806364001535]
世界規模のジオローカライゼーションは、地球上のどこでも撮影された画像の正確な位置を特定することを目的としている。
既存のアプローチは、地球を離散的な地理的細胞に分割し、問題を分類タスクに変換する。
画像と対応するGPS位置のアライメントを強制する新しいCLIPにインスパイアされた画像-GPS検索手法であるGeoCLIPを提案する。
論文 参考訳(メタデータ) (2023-09-27T20:54:56Z) - CSP: Self-Supervised Contrastive Spatial Pre-Training for
Geospatial-Visual Representations [90.50864830038202]
ジオタグ付き画像の自己教師型学習フレームワークであるContrastive Spatial Pre-Training(CSP)を提案する。
デュアルエンコーダを用いて画像とその対応する位置情報を別々に符号化し、コントラスト目的を用いて画像から効果的な位置表現を学習する。
CSPは、様々なラベル付きトレーニングデータサンプリング比と10~34%の相対的な改善で、モデル性能を大幅に向上させる。
論文 参考訳(メタデータ) (2023-05-01T23:11:18Z) - Semantic Segmentation of Vegetation in Remote Sensing Imagery Using Deep
Learning [77.34726150561087]
本稿では,公開されているリモートセンシングデータからなるマルチモーダル・大規模時間データセットを作成するためのアプローチを提案する。
我々は、異なる種類の植生を分離できる畳み込みニューラルネットワーク(CNN)モデルを使用する。
論文 参考訳(メタデータ) (2022-09-28T18:51:59Z) - Visual Cross-View Metric Localization with Dense Uncertainty Estimates [11.76638109321532]
本研究は、屋外ロボティクスにおける視覚的クロスビューメトリックローカライゼーションに対処する。
地上レベルのカラー画像と局地的な環境を含む衛星パッチが与えられた場合、衛星パッチ内の地上カメラの位置を特定することが課題である。
我々は、より高密度な衛星記述子、ボトルネックにおける類似性マッチング、およびマルチモーダルなローカライゼーションの曖昧さを捉えるための出力としての密度空間分布を備えた新しいネットワークアーキテクチャを考案した。
論文 参考訳(メタデータ) (2022-08-17T20:12:23Z) - Activation Regression for Continuous Domain Generalization with
Applications to Crop Classification [48.795866501365694]
衛星画像の地理的変異は、機械学習モデルが新しい領域に一般化する能力に影響を与える。
中分解能ランドサット8衛星画像の地理的一般化を連続領域適応問題としてモデル化する。
我々は,アメリカ大陸全域に空間分布するデータセットを開発した。
論文 参考訳(メタデータ) (2022-04-14T15:41:39Z) - Accurate 3-DoF Camera Geo-Localization via Ground-to-Satellite Image
Matching [102.39635336450262]
地上で取得したクエリ画像とジオタグ付き衛星画像の大規模データベースとをマッチングすることにより、地上から衛星画像のジオローカライズの問題に対処する。
我々の新しい手法は、衛星画像のピクセルサイズの精度まで、クエリー画像のきめ細かい位置を達成できる。
論文 参考訳(メタデータ) (2022-03-26T20:10:38Z) - Embedding Earth: Self-supervised contrastive pre-training for dense land
cover classification [61.44538721707377]
本研究では,衛星画像の高可用性を活用するための自己監督型コントラスト事前学習法として,エンベディングアースを提案する。
提案手法による事前学習では, 25%の絶対mIoUが得られた。
学習した特徴は、異なる領域間で一般化され、提案した事前学習スキームの可能性を開放する。
論文 参考訳(メタデータ) (2022-03-11T16:14:14Z) - Visual and Object Geo-localization: A Comprehensive Survey [11.120155713865918]
ジオローカライゼーション(ジオローカライゼーション)とは、地球上の「ある実体がどこにあるか」を決定する過程のこと。
本稿では、画像の撮影場所(画像ジオローカライゼーション)や画像内の物体の位置決め(オブジェクトジオローカライゼーション)を含む、画像を含む画像の地理的ローカライゼーションに関する包括的調査を行う。
本稿では、一般的なアルゴリズムの要約、提案したデータセットの説明、各分野の現状を説明するためのパフォーマンス結果の分析など、詳細な研究を行う。
論文 参考訳(メタデータ) (2021-12-30T20:46:53Z) - Attentive Weakly Supervised land cover mapping for object-based
satellite image time series data with spatial interpretation [4.549831511476249]
本稿では,粗粒度ラベルの弱さをインテリジェントに活用できる,TASSELという新しいディープラーニングフレームワークを提案する。
私たちのフレームワークは、ブラックボックスをグレーにする目的で、モデル解釈可能性をサポートする追加のサイド情報も生成します。
論文 参考訳(メタデータ) (2020-04-30T10:23:12Z) - Multi-Scale Representation Learning for Spatial Feature Distributions
using Grid Cells [11.071527762096053]
本研究では,位置の絶対位置と空間的関係を符号化するスペース2Vecという表現学習モデルを提案する。
その結果、Space2Vecはマルチスケール表現のため、確立されたMLアプローチよりも優れていることがわかった。
論文 参考訳(メタデータ) (2020-02-16T04:22:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。