論文の概要: USat: A Unified Self-Supervised Encoder for Multi-Sensor Satellite Imagery

• arxiv url: http://arxiv.org/abs/2312.02199v1
• Date: Sat, 2 Dec 2023 19:17:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 18:36:14.638999
• Title: USat: A Unified Self-Supervised Encoder for Multi-Sensor Satellite Imagery
• Title（参考訳）: USat: マルチセンサー衛星画像のための統合されたセルフスーパービジョンエンコーダ
• Authors: Jeremy Irvin, Lucas Tao, Joanne Zhou, Yuntao Ma, Langston Nashold, Benjamin Liu, Andrew Y. Ng
• Abstract要約: 我々は、複数のセンサからマルチスペクトルデータを入力し、自己教師付き事前学習を可能にする、USatと呼ばれる新しいエンコーダアーキテクチャを開発した。 我々は、UatをMasked Autoencoder(MAE)自己教師付き事前訓練手順に統合し、事前訓練されたUatがリモートセンシングデータに基づいてトレーニングされた最先端のMAEモデルより優れていることを確認する。
• 参考スコア（独自算出の注目度）: 5.671254904219855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large, self-supervised vision models have led to substantial advancements for automatically interpreting natural images. Recent works have begun tailoring these methods to remote sensing data which has rich structure with multi-sensor, multi-spectral, and temporal information providing massive amounts of self-labeled data that can be used for self-supervised pre-training. In this work, we develop a new encoder architecture called USat that can input multi-spectral data from multiple sensors for self-supervised pre-training. USat is a vision transformer with modified patch projection layers and positional encodings to model spectral bands with varying spatial scales from multiple sensors. We integrate USat into a Masked Autoencoder (MAE) self-supervised pre-training procedure and find that a pre-trained USat outperforms state-of-the-art self-supervised MAE models trained on remote sensing data on multiple remote sensing benchmark datasets (up to 8%) and leads to improvements in low data regimes (up to 7%). Code and pre-trained weights are available at https://github.com/stanfordmlgroup/USat .
• Abstract（参考訳）: 大きな自己教師付きビジョンモデルによって、自然画像の自動解釈が大幅に進歩した。 近年,マルチセンサ,マルチスペクトル,時間情報を備えた遠隔センシングデータに対して,自己教師付き事前学習に使用できる大量の自己ラベルデータを提供する手法が整備されている。 本研究では,複数のセンサからマルチスペクトルデータを入力し,自己教師付き事前学習を行う,usatと呼ばれる新しいエンコーダアーキテクチャを開発した。 USatは、複数のセンサーから様々な空間スケールのスペクトルバンドをモデル化するためのパッチプロジェクション層と位置符号化を改良したビジョントランスフォーマーである。 われわれは、USatをMasked Autoencoder(MAE)の自己教師付き事前トレーニング手順に統合し、複数のリモートセンシングベンチマークデータセット(最大8%)でリモートセンシングデータに基づいてトレーニングされた最先端の自己教師型MAEモデルよりも優れており、低データ構造の改善(最大7%)につながることを発見した。 コードとトレーニング済みのウェイトは、https://github.com/stanfordmlgroup/usat.comから利用できる。

関連論文リスト

• Cross-sensor self-supervised training and alignment for remote sensing [2.1178416840822027]
  リモートセンシング(X-STARS)のためのクロスセンサ・セルフ教師付きトレーニングとアライメントを導入する。 X-STARSは、スクラッチからモデルを訓練したり、例えば低解像度のデータに基づいて事前訓練された大型モデルを新しい高解像度センサーに適応させたりすることができる。 我々は、X-STARSが、データの可用性と解像度の様々な条件において、より少ないデータで最先端のデータよりも優れていることを実証した。
  論文  参考訳（メタデータ） (2024-05-16T09:25:45Z)
• Rethinking Transformers Pre-training for Multi-Spectral Satellite Imagery [78.43828998065071]
  教師なし学習の最近の進歩は、下流タスクにおける有望な結果を達成するための大きな視覚モデルの可能性を示している。 このような事前学習技術は、大量の未学習データが利用可能であることから、リモートセンシング領域でも最近研究されている。 本稿では,マルチモーダルで効果的に活用されるマルチスケール情報の事前学習と活用について述べる。
  論文  参考訳（メタデータ） (2024-03-08T16:18:04Z)
• SatMAE: Pre-training Transformers for Temporal and Multi-Spectral Satellite Imagery [74.82821342249039]
  Masked Autoencoder(MAE)に基づく時間・マルチスペクトル衛星画像の事前学習フレームワークであるSatMAEについて述べる。 時間的情報を活用するために、時間にわたって画像パッチを個別にマスキングする時間的埋め込みを含む。
  論文  参考訳（メタデータ） (2022-07-17T01:35:29Z)
• Integral Migrating Pre-trained Transformer Encoder-decoders for Visual Object Detection [78.2325219839805]
  imTEDは、数発のオブジェクト検出の最先端を最大7.6%改善する。 MS COCOデータセットの実験は、imTEDが一貫してそのデータセットを2.8%上回っていることを示している。
  論文  参考訳（メタデータ） (2022-05-19T15:11:20Z)
• SEnSeI: A Deep Learning Module for Creating Sensor Independent Cloud Masks [0.7340845393655052]
  我々は、新しいニューラルネットワークアーキテクチャー、Sensor Independence(SEnSeI)のためのスペクトルエンコーダを導入する。 クラウドマスキングの問題,既存のいくつかのデータセット,Sentinel-2用の新たな無償データセットなどに注目した。 我々のモデルは、訓練した衛星(Sentinel-2とLandsat 8)の最先端性能を達成し、Landsat 7, Per'uSat-1、Sentinel-3 SLSTRのようなトレーニング中に観測されていないセンサーに外挿することができる。
  論文  参考訳（メタデータ） (2021-11-16T10:47:10Z)
• Representation Learning for Remote Sensing: An Unsupervised Sensor Fusion Approach [0.0]
  本稿では,複数の情報源から得られたコヒーレンスデータを利用したコントラシティブ・センサ・フュージョンを提案し,それらの組み合わせのすべての有用な表現を学習する。 4700万枚のラベルのない画像三重項のデータセットを用いて、入力センサーから可能なチャネルの組み合わせから有意義な表現を生成するエンコーダを訓練する。 これらの表現は、リモートセンシング分類タスクにおいて、完全な教師付きイメージネット重みよりも優れ、より多くのセンサーが融合するにつれて改善される。
  論文  参考訳（メタデータ） (2021-08-11T08:32:58Z)
• Self-supervised Audiovisual Representation Learning for Remote Sensing Data [96.23611272637943]
  遠隔センシングにおける深層ニューラルネットワークの事前学習のための自己教師型アプローチを提案する。 ジオタグ付きオーディオ記録とリモートセンシングの対応を利用して、これは完全にラベルなしの方法で行われる。 提案手法は,既存のリモートセンシング画像の事前学習方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-02T07:50:50Z)
• Seasonal Contrast: Unsupervised Pre-Training from Uncurated Remote Sensing Data [64.40187171234838]
  季節的コントラスト(SeCo)は、リモートセンシング表現のドメイン内事前トレーニングにラベルのないデータを活用するための効果的なパイプラインである。 SeCoは、転送学習を容易にし、再リモートセンシングアプリケーションの急速な進歩を可能にするために公開されます。
  論文  参考訳（メタデータ） (2021-03-30T18:26:39Z)
• Self-Supervised Person Detection in 2D Range Data using a Calibrated Camera [83.31666463259849]
  2次元LiDARに基づく人検出器のトレーニングラベル(擬似ラベル)を自動生成する手法を提案する。 擬似ラベルで訓練または微調整された自己監視検出器が,手動アノテーションを用いて訓練された検出器を上回っていることを示した。 私達の方法は付加的な分類の努力なしで配置の間に人の探知器を改善する有効な方法です。
  論文  参考訳（メタデータ） (2020-12-16T12:10:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。