論文の概要: Supervised and Contrastive Self-Supervised In-Domain Representation
Learning for Dense Prediction Problems in Remote Sensing
- arxiv url: http://arxiv.org/abs/2301.12541v1
- Date: Sun, 29 Jan 2023 20:56:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-31 16:30:35.059238
- Title: Supervised and Contrastive Self-Supervised In-Domain Representation
Learning for Dense Prediction Problems in Remote Sensing
- Title（参考訳）: リモートセンシングにおける高密度予測問題に対する教師付き自己監督型ドメイン内表現学習
- Authors: Ali Ghanbarzade and Dr. Hossein Soleimani
- Abstract要約: 本稿では、リモートセンシングと画像Netデータセットの領域差を解決するために、教師付きおよび自己教師型両方のドメイン表現の有効性について検討する。
自己教師付き事前学習では,SimSiamアルゴリズムは単純であり,膨大な計算資源を必要としない。
その結果,自己教師付き表現学習に空間分解能の高いデータセットを用いることで,下流タスクの性能が向上することが実証された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years Convolutional neural networks (CNN) have made significant
progress in computer vision. These advancements have been applied to other
areas, such as remote sensing and have shown satisfactory results. However, the
lack of large labeled datasets and the inherent complexity of remote sensing
problems have made it difficult to train deep CNNs for dense prediction
problems. To solve this issue, ImageNet pretrained weights have been used as a
starting point in various dense predictions tasks. Although this type of
transfer learning has led to improvements, the domain difference between
natural and remote sensing images has also limited the performance of deep
CNNs. On the other hand, self-supervised learning methods for learning visual
representations from large unlabeled images have grown substantially over the
past two years. Accordingly, in this paper we have explored the effectiveness
of in-domain representations in both supervised and self-supervised forms to
solve the domain difference between remote sensing and the ImageNet dataset.
The obtained weights from remote sensing images are utilized as initial weights
for solving semantic segmentation and object detection tasks and
state-of-the-art results are obtained. For self-supervised pre-training, we
have utilized the SimSiam algorithm as it is simple and does not need huge
computational resources. One of the most influential factors in acquiring
general visual representations from remote sensing images is the pre-training
dataset. To examine the effect of the pre-training dataset, equal-sized remote
sensing datasets are used for pre-training. Our results have demonstrated that
using datasets with a high spatial resolution for self-supervised
representation learning leads to high performance in downstream tasks.
- Abstract（参考訳）: 近年、畳み込みニューラルネットワーク(CNN)はコンピュータビジョンにおいて大きな進歩を遂げている。
これらの進歩はリモートセンシングなど他の分野にも適用され、良好な結果を示している。
しかし、大規模なラベル付きデータセットの欠如とリモートセンシング問題の本質的な複雑さにより、密集した予測問題に対する深層CNNの訓練が困難になっている。
この問題を解決するために、ImageNetの事前訓練された重みは、様々な密集した予測タスクの出発点として使われてきた。
この種の転送学習は改善されているが、自然画像とリモートセンシング画像の領域差も深いCNNの性能に制限されている。
一方,大規模無ラベル画像から視覚表現を学習するための自己教師あり学習手法は,過去2年間で大きく増加している。
そこで本稿では,リモートセンシングとイメージネットデータセットの領域差を解決するために,教師付きおよび自己教師型両方のドメイン表現の有効性を検討した。
リモートセンシング画像から得られた重みを初期重みとして利用し、意味セグメンテーションと物体検出課題を解決し、最新結果を得る。
自己教師付き事前学習では,SimSiamアルゴリズムは単純であり,膨大な計算資源を必要としない。
リモートセンシング画像から一般的な視覚表現を取得する最も大きな要因の1つは、事前学習データセットである。
プリトレーニングデータセットの効果を調べるために、同じサイズのリモートセンシングデータセットをプリトレーニングに使用する。
その結果,自己教師付き表現学習に空間分解能の高いデータセットを用いることで,下流タスクの性能が向上することが実証された。
関連論文リスト
- Deep Domain Adaptation: A Sim2Real Neural Approach for Improving Eye-Tracking Systems [80.62854148838359]
眼球画像のセグメンテーションは、最終視線推定に大きな影響を及ぼす眼球追跡の重要なステップである。
対象視線画像と合成訓練データとの重なり合いを測定するために,次元還元法を用いている。
提案手法は,シミュレーションと実世界のデータサンプルの相違に対処する際の頑健で,性能が向上する。
論文 参考訳（メタデータ） (2024-03-23T22:32:06Z) - Rethinking Transformers Pre-training for Multi-Spectral Satellite
Imagery [78.43828998065071]
教師なし学習の最近の進歩は、下流タスクにおける有望な結果を達成するための大きな視覚モデルの可能性を示している。
このような事前学習技術は、大量の未学習データが利用可能であることから、リモートセンシング領域でも最近研究されている。
本稿では,マルチモーダルで効果的に活用されるマルチスケール情報の事前学習と活用について述べる。
論文 参考訳（メタデータ） (2024-03-08T16:18:04Z) - What Makes Pre-Trained Visual Representations Successful for Robust
Manipulation? [57.92924256181857]
照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。
創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
論文 参考訳（メタデータ） (2023-11-03T18:09:08Z) - In-Domain Self-Supervised Learning Improves Remote Sensing Image Scene
Classification [5.323049242720532]
リモートセンシング画像分類のための有望なアプローチとして,自己教師付き学習が登場している。
そこで本研究では,14の下流データセットにまたがる自己教師型事前学習戦略について検討し,その効果を評価する。
論文 参考訳（メタデータ） (2023-07-04T10:57:52Z) - Self-Supervised In-Domain Representation Learning for Remote Sensing
Image Scene Classification [1.0152838128195465]
ImageNetのトレーニング済み重量を様々なリモートセンシングタスクに転送すると、許容できる結果が得られる。
近年の研究では、自己教師あり学習手法が、より差別的で伝達しやすい視覚的特徴を捉えていることが示されている。
我々はこれらの事実に動機付けられ、対照的な自己教師付き学習を用いて、リモートセンシング画像のドメイン内表現を事前訓練する。
論文 参考訳（メタデータ） (2023-02-03T15:03:07Z) - Evaluating the Label Efficiency of Contrastive Self-Supervised Learning
for Multi-Resolution Satellite Imagery [0.0]
遠隔センシング領域における自己教師付き学習は、容易に利用可能なラベル付きデータを活用するために応用されている。
本稿では,ラベル効率のレンズを用いた自己教師型視覚表現学習について検討する。
論文 参考訳（メタデータ） (2022-10-13T06:54:13Z) - An Empirical Study of Remote Sensing Pretraining [117.90699699469639]
本研究では,空中画像におけるリモートセンシング事前訓練(RSP)の実証的研究を行った。
RSPは、シーン認識タスクで特有のパフォーマンスを提供するのに役立つ。
RSPは、従来のイメージネットがRS画像に事前学習する際のデータ格差を緩和するが、それでもタスクの相違に悩まされる可能性がある。
論文 参考訳（メタデータ） (2022-04-06T13:38:11Z) - Self-supervised Audiovisual Representation Learning for Remote Sensing Data [96.23611272637943]
遠隔センシングにおける深層ニューラルネットワークの事前学習のための自己教師型アプローチを提案する。
ジオタグ付きオーディオ記録とリモートセンシングの対応を利用して、これは完全にラベルなしの方法で行われる。
提案手法は,既存のリモートセンシング画像の事前学習方法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-08-02T07:50:50Z) - Geographical Knowledge-driven Representation Learning for Remote Sensing
Images [18.79154074365997]
リモートセンシング画像のための地理知識駆動表現学習法(GeoKR)を提案する。
各リモートセンシング画像に関連するグローバルな土地被覆製品と地理的位置を地理的知識とみなす。
ネットワーク事前トレーニングをサポートするために,大規模な事前トレーニングデータセットであるLevir-KRを提案する。
論文 参考訳（メタデータ） (2021-07-12T09:23:15Z) - Seasonal Contrast: Unsupervised Pre-Training from Uncurated Remote
Sensing Data [64.40187171234838]
季節的コントラスト(SeCo)は、リモートセンシング表現のドメイン内事前トレーニングにラベルのないデータを活用するための効果的なパイプラインである。
SeCoは、転送学習を容易にし、再リモートセンシングアプリケーションの急速な進歩を可能にするために公開されます。
論文 参考訳（メタデータ） (2021-03-30T18:26:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。