論文の概要: Seasonal Contrast: Unsupervised Pre-Training from Uncurated Remote
Sensing Data
- arxiv url: http://arxiv.org/abs/2103.16607v1
- Date: Tue, 30 Mar 2021 18:26:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-02 09:38:25.429451
- Title: Seasonal Contrast: Unsupervised Pre-Training from Uncurated Remote
Sensing Data
- Title（参考訳）: 季節コントラスト:未確認リモートセンシングデータからの教師なし事前学習
- Authors: Oscar Ma\~nas, Alexandre Lacoste, Xavier Giro-i-Nieto, David Vazquez,
Pau Rodriguez
- Abstract要約: 季節的コントラスト(SeCo)は、リモートセンシング表現のドメイン内事前トレーニングにラベルのないデータを活用するための効果的なパイプラインである。
SeCoは、転送学習を容易にし、再リモートセンシングアプリケーションの急速な進歩を可能にするために公開されます。
- 参考スコア（独自算出の注目度）: 64.40187171234838
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Remote sensing and automatic earth monitoring are key to solve global-scale
challenges such as disaster prevention, land use monitoring, or tackling
climate change. Although there exist vast amounts of remote sensing data, most
of it remains unlabeled and thus inaccessible for supervised learning
algorithms. Transfer learning approaches can reduce the data requirements of
deep learning algorithms. However, most of these methods are pre-trained on
ImageNet and their generalization to remote sensing imagery is not guaranteed
due to the domain gap. In this work, we propose Seasonal Contrast (SeCo), an
effective pipeline to leverage unlabeled data for in-domain pre-training of
re-mote sensing representations. The SeCo pipeline is com-posed of two parts.
First, a principled procedure to gather large-scale, unlabeled and uncurated
remote sensing datasets containing images from multiple Earth locations at
different timestamps. Second, a self-supervised algorithm that takes advantage
of time and position invariance to learn transferable representations for
re-mote sensing applications. We empirically show that models trained with SeCo
achieve better performance than their ImageNet pre-trained counterparts and
state-of-the-art self-supervised learning methods on multiple downstream tasks.
The datasets and models in SeCo will be made public to facilitate transfer
learning and enable rapid progress in re-mote sensing applications.
- Abstract（参考訳）: リモートセンシングと自動地球モニタリングは、防災、土地利用監視、気候変動対策といった世界的な課題を解決する鍵となる。
膨大な量のリモートセンシングデータが存在するが、ほとんどはラベルが付けられておらず、教師付き学習アルゴリズムにはアクセスできない。
トランスファーラーニングアプローチは、ディープラーニングアルゴリズムのデータ要求を減らすことができる。
しかし,これらの手法の多くはImageNet上で事前学習されており,ドメインギャップのため,リモートセンシング画像への一般化は保証されていない。
本研究では,リモートセンシング表現の事前学習にラベルなしデータを活用する効果的なパイプラインである季節コントラスト(seco)を提案する。
secoパイプラインは2つの部分からなる。
まず、異なるタイムスタンプで複数の地球からの画像を含む大規模な、ラベルなし、未修正のリモートセンシングデータセットを収集する。
第二に、時間と位置の不変性を利用して移動可能な表現を学習する自己教師付きアルゴリズムである。
我々は、SeCoでトレーニングされたモデルが、ImageNetが事前訓練したモデルや、複数の下流タスクにおける最先端の自己教師型学習方法よりも優れたパフォーマンスを達成することを実証的に示す。
SeCoのデータセットとモデルは公開され、転送学習を容易にし、リモートセンシングアプリケーションの急速な進歩を可能にする。
関連論文リスト
- Rethinking Transformers Pre-training for Multi-Spectral Satellite
Imagery [78.43828998065071]
教師なし学習の最近の進歩は、下流タスクにおける有望な結果を達成するための大きな視覚モデルの可能性を示している。
このような事前学習技術は、大量の未学習データが利用可能であることから、リモートセンシング領域でも最近研究されている。
本稿では,マルチモーダルで効果的に活用されるマルチスケール情報の事前学習と活用について述べる。
論文 参考訳（メタデータ） (2024-03-08T16:18:04Z) - Joint multi-modal Self-Supervised pre-training in Remote Sensing:
Application to Methane Source Classification [10.952006057356714]
地球観測では、ドメイン固有のリモートセンシング画像データを利用する機会がある。
本稿では,いわゆる「共同埋め込み法」の背景にある基本原理を概観し,自己指導型事前学習における複数リモートセンシングの活用について検討する。
論文 参考訳（メタデータ） (2023-06-16T14:01:57Z) - Supervised and Contrastive Self-Supervised In-Domain Representation
Learning for Dense Prediction Problems in Remote Sensing [0.0]
本稿では、リモートセンシングと画像Netデータセットの領域差を解決するために、教師付きおよび自己教師型両方のドメイン表現の有効性について検討する。
自己教師付き事前学習では,SimSiamアルゴリズムは単純であり,膨大な計算資源を必要としない。
その結果,自己教師付き表現学習に空間分解能の高いデータセットを用いることで,下流タスクの性能が向上することが実証された。
論文 参考訳（メタデータ） (2023-01-29T20:56:51Z) - Evaluating the Label Efficiency of Contrastive Self-Supervised Learning
for Multi-Resolution Satellite Imagery [0.0]
遠隔センシング領域における自己教師付き学習は、容易に利用可能なラベル付きデータを活用するために応用されている。
本稿では,ラベル効率のレンズを用いた自己教師型視覚表現学習について検討する。
論文 参考訳（メタデータ） (2022-10-13T06:54:13Z) - Consecutive Pretraining: A Knowledge Transfer Learning Strategy with
Relevant Unlabeled Data for Remote Sensing Domain [25.84756140221655]
自然言語処理(NLP)における事前学習を停止しないという考え方に基づいて,CSPT(ConSecutive PreTraining)を提案する。
提案したCSPTは、タスク対応モデルトレーニングのためのラベルなしデータの巨大な可能性を公開することもできる。
その結果,提案したCSPTをタスク認識モデルトレーニングに活用することにより,従来の教師付きプレトレーニング-then-fine-tuning法よりもRTDのダウンストリームタスクのほとんどを上回り得ることがわかった。
論文 参考訳（メタデータ） (2022-07-08T12:32:09Z) - Self-supervised Audiovisual Representation Learning for Remote Sensing Data [96.23611272637943]
遠隔センシングにおける深層ニューラルネットワークの事前学習のための自己教師型アプローチを提案する。
ジオタグ付きオーディオ記録とリモートセンシングの対応を利用して、これは完全にラベルなしの方法で行われる。
提案手法は,既存のリモートセンシング画像の事前学習方法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-08-02T07:50:50Z) - Geographical Knowledge-driven Representation Learning for Remote Sensing
Images [18.79154074365997]
リモートセンシング画像のための地理知識駆動表現学習法(GeoKR)を提案する。
各リモートセンシング画像に関連するグローバルな土地被覆製品と地理的位置を地理的知識とみなす。
ネットワーク事前トレーニングをサポートするために,大規模な事前トレーニングデータセットであるLevir-KRを提案する。
論文 参考訳（メタデータ） (2021-07-12T09:23:15Z) - Deep Traffic Sign Detection and Recognition Without Target Domain Real
Images [52.079665469286496]
本稿では,ターゲットドメインからの実際の画像を必要としない新しいデータベース生成手法と,(ii)交通標識のテンプレートを提案する。
この方法は、実際のデータでトレーニングを克服することではなく、実際のデータが利用できない場合に互換性のある代替手段になることを目的としている。
大規模なデータセットでは、完全に合成されたデータセットによるトレーニングは、実際のデータセットとトレーニングのパフォーマンスにほぼ一致する。
論文 参考訳（メタデータ） (2020-07-30T21:06:47Z) - Laplacian Denoising Autoencoder [114.21219514831343]
本稿では,新しいタイプの自動符号化器を用いてデータ表現を学習することを提案する。
勾配領域における潜伏クリーンデータを破損させて雑音入力データを生成する。
いくつかのビジュアルベンチマークの実験では、提案されたアプローチでより良い表現が学べることが示されている。
論文 参考訳（メタデータ） (2020-03-30T16:52:39Z) - Understanding Self-Training for Gradual Domain Adaptation [107.37869221297687]
段階的なドメイン適応は、対象領域へ徐々にシフトするラベルのないデータのみを与えられたソースドメインで訓練された初期分類器を適応させることが目的である。
目標領域への直接適応が非有界誤差をもたらすような設定下において、段階的なシフトを伴う自己学習の誤差に対する最初の非無空上界を証明した。
この理論解析はアルゴリズムの洞察を導き、無限のデータを持つ場合でも正規化とラベルのシャープ化が不可欠であることを強調し、より小さなワッサーシュタイン無限距離のシフトに対して自己学習が特にうまく働くことを示唆している。
論文 参考訳（メタデータ） (2020-02-26T08:59:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。