論文の概要: SatCLIP: Global, General-Purpose Location Embeddings with Satellite Imagery

• arxiv url: http://arxiv.org/abs/2311.17179v1
• Date: Tue, 28 Nov 2023 19:14:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 23:27:36.111226
• Title: SatCLIP: Global, General-Purpose Location Embeddings with Satellite Imagery
• Title（参考訳）: satclip:衛星画像によるグローバルな汎用位置情報埋め込み
• Authors: Konstantin Klemmer, Esther Rolf, Caleb Robinson, Lester Mackey, Marc Ru{\ss}wurm
• Abstract要約: 本稿では,グローバルかつ汎用的な位置情報エンコーダである衛星コントラスト位置画像事前学習(SatCLIP)を紹介する。 SatCLIPは、公開されている衛星画像から位置の暗黙的な表現を学ぶ。 位置情報に依存するが衛星画像に依存しない様々な予測タスクにおいて, SatCLIP の埋め込みが利用できることを示す。
• 参考スコア（独自算出の注目度）: 23.2345493809753
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Geographic location is essential for modeling tasks in fields ranging from ecology to epidemiology to the Earth system sciences. However, extracting relevant and meaningful characteristics of a location can be challenging, often entailing expensive data fusion or data distillation from global imagery datasets. To address this challenge, we introduce Satellite Contrastive Location-Image Pretraining (SatCLIP), a global, general-purpose geographic location encoder that learns an implicit representation of locations from openly available satellite imagery. Trained location encoders provide vector embeddings summarizing the characteristics of any given location for convenient usage in diverse downstream tasks. We show that SatCLIP embeddings, pretrained on globally sampled multi-spectral Sentinel-2 satellite data, can be used in various predictive tasks that depend on location information but not necessarily satellite imagery, including temperature prediction, animal recognition in imagery, and population density estimation. Across tasks, SatCLIP embeddings consistently outperform embeddings from existing pretrained location encoders, ranging from models trained on natural images to models trained on semantic context. SatCLIP embeddings also help to improve geographic generalization. This demonstrates the potential of general-purpose location encoders and opens the door to learning meaningful representations of our planet from the vast, varied, and largely untapped modalities of geospatial data.
• Abstract（参考訳）: 地理的な位置は、生態学から疫学、地球系科学まで幅広い分野のモデリングタスクに不可欠である。 しかし、地理的かつ有意義な特徴の抽出は困難であり、しばしばグローバル画像データセットから高価なデータ融合やデータの蒸留を伴っている。 この課題に対処するために,衛星画像から暗黙的な位置表現を学習する,グローバルで汎用的な地理的位置エンコーダsatclip(saturtic contrastive location-image pretraining)を導入する。 訓練された位置エンコーダは、様々な下流タスクで便利な使用のために任意の位置の特性を要約したベクトル埋め込みを提供する。 本研究では,多スペクトルsentinel-2衛星データに基づいて事前学習されたsatclip埋め込みを,温度予測や画像における動物認識,人口密度推定など,必ずしも衛星画像に依存しない様々な予測タスクに使用できることを示す。 タスク全体にわたって、satclipは、自然画像でトレーニングされたモデルからセマンティックコンテキストでトレーニングされたモデルまで、既存のトレーニング済みロケーションエンコーダからの埋め込みを一貫して上回っています。 SatCLIP埋め込みは地理的一般化の改善にも役立つ。 このことは、汎用的な位置エンコーダの可能性を示し、地理空間データの広大で多様で、ほとんど利用されていない様相から惑星の有意義な表現を学ぶための扉を開く。

関連論文リスト

• CV-Cities: Advancing Cross-View Geo-Localization in Global Cities [3.074201632920997]
  クロスビュージオローカライゼーション(CVGL)は、地上画像の地理的位置を決定するために衛星画像のマッチングと検索を行う。 この課題は, 視点の相違, 局所化シナリオの複雑化, グローバルなローカライゼーションの必要性など, 重大な課題に直面している。 本稿では,基本モデルであるDINOv2と高度な機能ミキサーを統合した新しいCVGLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-19T11:41:22Z)
• TorchSpatial: A Location Encoding Framework and Benchmark for Spatial Representation Learning [36.725822223732635]
  位置(ポイント)エンコーディングのための学習フレームワークとベンチマークであるTorchSpatialを提案する。 TorchSpatialには3つの重要なコンポーネントが含まれている: 1) 一般的に認識されている15のロケーションエンコーダを統合する統合されたロケーションエンコーダフレームワーク、2) LocBenchベンチマークタスクは、7つのジオアウェアイメージ分類と4つのジオアウェアイメージ回帰データセットを含む。
  論文  参考訳（メタデータ） (2024-06-21T21:33:16Z)
• GeoLLM: Extracting Geospatial Knowledge from Large Language Models [49.20315582673223]
  大規模言語モデルから地理空間的知識を効果的に抽出する新しい手法であるGeoLLMを提案する。 我々は、人口密度や経済生活の計測など、国際社会への関心の中心となる複数の課題にまたがるアプローチの有用性を実証する。 実験の結果, LLMは試料効率が高く, 地理空間情報に富み, 世界中のロバストであることがわかった。
  論文  参考訳（メタデータ） (2023-10-10T00:03:23Z)
• GeoCLIP: Clip-Inspired Alignment between Locations and Images for Effective Worldwide Geo-localization [61.10806364001535]
  世界規模のジオローカライゼーションは、地球上のどこでも撮影された画像の正確な位置を特定することを目的としている。 既存のアプローチは、地球を離散的な地理的細胞に分割し、問題を分類タスクに変換する。 画像と対応するGPS位置のアライメントを強制する新しいCLIPにインスパイアされた画像-GPS検索手法であるGeoCLIPを提案する。
  論文  参考訳（メタデータ） (2023-09-27T20:54:56Z)
• Geo-Encoder: A Chunk-Argument Bi-Encoder Framework for Chinese Geographic Re-Ranking [61.60169764507917]
  中国の地理的再ランクタスクは、検索された候補者の中で最も関連性の高い住所を見つけることを目的としている。 そこで我々は,中国語の地理的意味論をより効果的に統合する,革新的なフレームワークであるGeo-Encoderを提案する。
  論文  参考訳（メタデータ） (2023-09-04T13:44:50Z)
• CSP: Self-Supervised Contrastive Spatial Pre-Training for Geospatial-Visual Representations [90.50864830038202]
  ジオタグ付き画像の自己教師型学習フレームワークであるContrastive Spatial Pre-Training(CSP)を提案する。 デュアルエンコーダを用いて画像とその対応する位置情報を別々に符号化し、コントラスト目的を用いて画像から効果的な位置表現を学習する。 CSPは、様々なラベル付きトレーニングデータサンプリング比と10～34%の相対的な改善で、モデル性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-05-01T23:11:18Z)
• GeoNet: Benchmarking Unsupervised Adaptation across Geographies [71.23141626803287]
  地理的ロバスト性の問題について検討し、3つの主要な貢献を行う。 まず,地理的適応のための大規模データセットGeoNetを紹介する。 第2に、シーンコンテキストにおける大きな変化から、ドメインシフトの主な原因が生じるという仮説を立てる。 第3に、最先端の教師なしドメイン適応アルゴリズムとアーキテクチャを広範囲に評価する。
  論文  参考訳（メタデータ） (2023-03-27T17:59:34Z)
• GSV-Cities: Toward Appropriate Supervised Visual Place Recognition [3.6739949215165164]
  我々は,GSV-Citiesという画像データセットを紹介した。 次に、位置認識に特化してネットワークをトレーニングするディープメトリックス学習の進歩の可能性について検討する。 ピッツバーグ、Mapillary-SLS、SPED、Norlandといった大規模ベンチマークで、最先端の新たなベンチマークを確立します。
  論文  参考訳（メタデータ） (2022-10-19T01:39:29Z)
• Accurate 3-DoF Camera Geo-Localization via Ground-to-Satellite Image Matching [102.39635336450262]
  地上で取得したクエリ画像とジオタグ付き衛星画像の大規模データベースとをマッチングすることにより、地上から衛星画像のジオローカライズの問題に対処する。 我々の新しい手法は、衛星画像のピクセルサイズの精度まで、クエリー画像のきめ細かい位置を達成できる。
  論文  参考訳（メタデータ） (2022-03-26T20:10:38Z)
• Multi-Scale Representation Learning for Spatial Feature Distributions using Grid Cells [11.071527762096053]
  本研究では,位置の絶対位置と空間的関係を符号化するスペース2Vecという表現学習モデルを提案する。 その結果、Space2Vecはマルチスケール表現のため、確立されたMLアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-02-16T04:22:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。