論文の概要: Extending global-local view alignment for self-supervised learning with remote sensing imagery
- arxiv url: http://arxiv.org/abs/2303.06670v2
- Date: Wed, 24 Apr 2024 03:28:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-27 00:27:30.860768
- Title: Extending global-local view alignment for self-supervised learning with remote sensing imagery
- Title(参考訳): リモートセンシング画像を用いた自己教師型学習のためのグローバル・ローカル・ビューアライメントの拡張
- Authors: Xinye Wanyan, Sachith Seneviratne, Shuchang Shen, Michael Kirley,
- Abstract要約: 自己教師付きモデルは、大量のラベルのないデータに対して擬似ラベルを生成するプレテキストタスクを定式化することにより、一般的な特徴表現を取得する。
DINOに触発されて、リモートセンシング画像(SSLRS)を用いた自己教師型学習のための2つのプレテキストタスクを定式化した。
我々は,DINOを拡張し,単一の固定サイズではなく,様々な大きさの作物の局所的なビューを利用するDINO-MCを提案する。
- 参考スコア(独自算出の注目度): 1.5192294544599656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Since large number of high-quality remote sensing images are readily accessible, exploiting the corpus of images with less manual annotation draws increasing attention. Self-supervised models acquire general feature representations by formulating a pretext task that generates pseudo-labels for massive unlabeled data to provide supervision for training. While prior studies have explored multiple self-supervised learning techniques in remote sensing domain, pretext tasks based on local-global view alignment remain underexplored, despite achieving state-of-the-art results on natural imagery. Inspired by DINO, which employs an effective representation learning structure with knowledge distillation based on global-local view alignment, we formulate two pretext tasks for self-supervised learning on remote sensing imagery (SSLRS). Using these tasks, we explore the effectiveness of positive temporal contrast as well as multi-sized views on SSLRS. We extend DINO and propose DINO-MC which uses local views of various sized crops instead of a single fixed size in order to alleviate the limited variation in object size observed in remote sensing imagery. Our experiments demonstrate that even when pre-trained on only 10% of the dataset, DINO-MC performs on par or better than existing state-of-the-art SSLRS methods on multiple remote sensing tasks, while using less computational resources. All codes, models, and results are released at https://github.com/WennyXY/DINO-MC.
- Abstract(参考訳): 多数の高品質なリモートセンシング画像が容易にアクセス可能であるため、手動によるアノテーションの少ない画像のコーパスを利用すると注目が集まる。
自己教師付きモデルは、大量のラベルのないデータに対して擬似ラベルを生成するプレテキストタスクを定式化し、訓練のための監督を提供することで、一般的な特徴表現を取得する。
従来の研究では、リモートセンシング領域における複数の自己教師付き学習手法が検討されてきたが、自然画像に関する最先端の結果が得られたにもかかわらず、局所的な視点のアライメントに基づくプレテキストタスクは未探索のままである。
グローバル・ローカル・ビューアライメントに基づく知識蒸留による効果的な表現学習構造を取り入れたDINOに着想を得て,リモートセンシング画像(SSLRS)を用いた自己教師型学習のための2つのプレテキストタスクを定式化した。
これらのタスクを用いて、SSLRSのマルチサイズビューと同様に、正の時間的コントラストの有効性について検討する。
我々は,DINOを拡張し,DINO-MCを提案する。DINO-MCは,リモートセンシング画像で観測される物体の大きさの限られた変化を緩和するために,単一の固定サイズではなく,様々な大きさの作物の局所的なビューを使用する。
我々の実験は、データセットの10%しか事前トレーニングしていない場合でも、DINO-MCは計算資源を少ないまま、複数のリモートセンシングタスクにおいて既存の最先端SSLRSメソッドと同等かそれ以上の性能を発揮することを示した。
すべてのコード、モデル、結果はhttps://github.com/WennyXY/DINO-MCで公開される。
関連論文リスト
- Remote Sensing Vision-Language Foundation Models without Annotations via
Ground Remote Alignment [61.769441954135246]
テキストアノテーションを使わずにリモートセンシング画像の視覚言語モデルを訓練する手法を提案する。
私たちの重要な洞察は、リモートセンシング画像と言語を接続するための仲介手段として、地上で撮影されたコロケーションのインターネットイメージを使用することです。
論文 参考訳(メタデータ) (2023-12-12T03:39:07Z) - MOCA: Self-supervised Representation Learning by Predicting Masked
Online Codebook Assignments [48.67345147676275]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。
相乗的, 計算効率の両パラダイムを効果的に活用する方法を示す。
我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文 参考訳(メタデータ) (2023-07-18T15:46:20Z) - Text2Seg: Remote Sensing Image Semantic Segmentation via Text-Guided
Visual Foundation Models [5.360103006279672]
本研究では,従来のシナリオと画像の相違が顕著なリモートセンシング領域に焦点を当てた。
テキストプロンプトによって誘導されるリモートセンシング画像セマンティックセグメンテーションタスクを容易にするために,複数の基盤モデルを活用するパイプラインを開発した。
パイプラインは、広く使われているリモートセンシングデータセットをベンチマークし、その有効性を示すための予備的な結果を示す。
論文 参考訳(メタデータ) (2023-04-20T18:39:41Z) - Domain Adaptable Self-supervised Representation Learning on Remote
Sensing Satellite Imagery [2.796274924103132]
本研究は,リモートセンシング衛星データを用いたコントラスト型自己教師型表現学習と知識伝達のための新しい領域パラダイムを提案する。
提案手法は,異なるソースおよび対象データ分布にまたがる自己教師付き表現の知識伝達について検討する。
UC Merced Landuse (UCMD)、SIRI-WHU、MLRSNetの3つの公開データセットで実験が行われた。
論文 参考訳(メタデータ) (2023-04-19T14:32:36Z) - Evaluating the Label Efficiency of Contrastive Self-Supervised Learning
for Multi-Resolution Satellite Imagery [0.0]
遠隔センシング領域における自己教師付き学習は、容易に利用可能なラベル付きデータを活用するために応用されている。
本稿では,ラベル効率のレンズを用いた自己教師型視覚表現学習について検討する。
論文 参考訳(メタデータ) (2022-10-13T06:54:13Z) - Activation to Saliency: Forming High-Quality Labels for Unsupervised
Salient Object Detection [54.92703325989853]
本稿では,高品質なサリエンシキューを効果的に生成する2段階アクティベーション・ツー・サリエンシ(A2S)フレームワークを提案する。
トレーニングプロセス全体において、私たちのフレームワークにヒューマンアノテーションは関与していません。
本フレームワークは,既存のUSOD法と比較して高い性能を示した。
論文 参考訳(メタデータ) (2021-12-07T11:54:06Z) - Remote Sensing Images Semantic Segmentation with General Remote Sensing
Vision Model via a Self-Supervised Contrastive Learning Method [13.479068312825781]
リモートセマンティックセグメンテーションのためのGlobal style and Local matching Contrastive Learning Network (GLCNet)を提案する。
具体的には、画像レベルの表現をより良く学習するために、グローバルスタイルのコントラストモジュールが使用される。
コントラストモジュールにマッチするローカル特徴は、セマンティックセグメンテーションに有用なローカル領域の表現を学習するために設計されている。
論文 参考訳(メタデータ) (2021-06-20T03:03:40Z) - Seasonal Contrast: Unsupervised Pre-Training from Uncurated Remote
Sensing Data [64.40187171234838]
季節的コントラスト(SeCo)は、リモートセンシング表現のドメイン内事前トレーニングにラベルのないデータを活用するための効果的なパイプラインである。
SeCoは、転送学習を容易にし、再リモートセンシングアプリケーションの急速な進歩を可能にするために公開されます。
論文 参考訳(メタデータ) (2021-03-30T18:26:39Z) - Geography-Aware Self-Supervised Learning [79.4009241781968]
異なる特徴により、標準ベンチマークにおけるコントラスト学習と教師あり学習の間には、非自明なギャップが持続していることが示される。
本稿では,リモートセンシングデータの空間的整合性を利用した新しいトレーニング手法を提案する。
提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションにおけるコントラスト学習と教師あり学習のギャップを埋めるものである。
論文 参考訳(メタデータ) (2020-11-19T17:29:13Z) - Learning Invariant Representations for Reinforcement Learning without
Reconstruction [98.33235415273562]
本研究では,表現学習が画像などのリッチな観察からの強化学習を,ドメイン知識や画素再構成に頼ることなく促進する方法について検討する。
シミュレーションメトリクスは、連続MDPの状態間の振る舞いの類似性を定量化する。
修正された視覚的 MuJoCo タスクを用いてタスク関連情報を無視する手法の有効性を実証する。
論文 参考訳(メタデータ) (2020-06-18T17:59:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。