論文の概要: Is Self-Supervised Pre-training on Satellite Imagery Better than ImageNet? A Systematic Study with Sentinel-2

• arxiv url: http://arxiv.org/abs/2502.10669v1
• Date: Sat, 15 Feb 2025 04:42:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:11:39.193114
• Title: Is Self-Supervised Pre-training on Satellite Imagery Better than ImageNet? A Systematic Study with Sentinel-2
• Title（参考訳）: 衛星画像の事前学習はイメージネットより優れているか? -Sentinel-2を用いた系統的研究-
• Authors: Saad Lahrichi, Zion Sheng, Shufan Xia, Kyle Bradbury, Jordan Malof,
• Abstract要約: 自己教師付き学習(SSL)は、ラベル付きデータに制限のある頑健なモデルを事前学習する上で大きな可能性を示している。 ドメイン整列データに対する事前トレーニングは、特にImageNet-pretraining(INP)と比較して、下流タスクに最大のメリットをもたらす、という一般的な仮定である。 本研究では,GeoNetとImageNetの両方で,グローバルな光センチネル2画像の大規模かつ多様なデータセットであるGeoNetと,SwaVとMAEを事前学習することで,この仮定を検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Self-supervised learning (SSL) has demonstrated significant potential in pre-training robust models with limited labeled data, making it particularly valuable for remote sensing (RS) tasks. A common assumption is that pre-training on domain-aligned data provides maximal benefits on downstream tasks, particularly when compared to ImageNet-pretraining (INP). In this work, we investigate this assumption by collecting GeoNet, a large and diverse dataset of global optical Sentinel-2 imagery, and pre-training SwAV and MAE on both GeoNet and ImageNet. Evaluating these models on six downstream tasks in the few-shot setting reveals that SSL pre-training on RS data offers modest performance improvements over INP, and that it remains competitive in multiple scenarios. This indicates that the presumed benefits of SSL pre-training on RS data may be overstated, and the additional costs of data curation and pre-training could be unjustified.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、ラベル付きデータに制限のあるロバストモデルの事前トレーニングにおいて大きな可能性を示しており、リモートセンシング(RS)タスクに特に有用である。 ドメイン整列データに対する事前トレーニングは、特にImageNet-pretraining(INP)と比較して、下流タスクに最大のメリットをもたらす、という一般的な仮定である。 本研究では,GeoNetとImageNetの両方で,グローバルな光センチネル2画像の大規模かつ多様なデータセットであるGeoNetと,SwaVとMAEを事前学習することで,この仮定を検証した。 数ショット設定で、これらのモデルを6つの下流タスクで評価すると、SSLのRSデータに対する事前トレーニングは、INPよりも控えめなパフォーマンス改善をもたらし、複数のシナリオで競争力を維持していることが分かる。 これは、RSデータに対するSSL事前トレーニングの想定された利点が過大評価され、データキュレーションと事前トレーニングの追加コストが不正になる可能性があることを示している。

関連論文リスト

• Self-supervised visual learning in the low-data regime: a comparative evaluation [38.34785825702943]
  自己監視学習(SSL)は、現代のディープニューラルネットワーク(DNN)のための価値ある、堅牢なトレーニング手法である 大量のラベルのないトレーニングデータから効率的な表現学習を可能にする。 非常に大きな事前学習データセットの収集や利用が常に可能であるとは限らない。
  論文  参考訳（メタデータ） (2024-04-26T07:23:14Z)
• Self-supervised learning for skin cancer diagnosis with limited training data [0.196629787330046]
  自己教師付き学習(SSL)は、限られたトレーニングデータを持つシナリオに対するImageNetの標準教師付き事前トレーニングの代替である。 textitfurther SSL をタスク固有のデータセットで事前トレーニングし、その実装は教師あり転送学習によって動機づけられる。 タスク固有のデータに対するより最小限のSSL事前トレーニングは、限られたラベル付きデータによる医療画像分類タスクにおいて、ImageNet上の大規模なSSL事前トレーニングと同じくらい効果的である。
  論文  参考訳（メタデータ） (2024-01-01T08:11:38Z)
• Data Filtering Networks [67.827994353269]
  本研究では、大規模な未処理データセットをフィルタリングする第2ステップにおいて、データフィルタリングネットワーク(DFN)を学習する問題について検討する。 我々の重要な発見は、フィルタリングのためのネットワークの品質が下流タスクのパフォーマンスと異なることである。 我々の知見に基づいて、最先端の画像テキストデータセットを誘導する新しいデータフィルタリングネットワークを構築した。
  論文  参考訳（メタデータ） (2023-09-29T17:37:29Z)
• In-Domain Self-Supervised Learning Improves Remote Sensing Image Scene Classification [5.323049242720532]
  リモートセンシング画像分類のための有望なアプローチとして,自己教師付き学習が登場している。 そこで本研究では,14の下流データセットにまたがる自己教師型事前学習戦略について検討し,その効果を評価する。
  論文  参考訳（メタデータ） (2023-07-04T10:57:52Z)
• Rethinking Self-Supervised Visual Representation Learning in Pre-training for 3D Human Pose and Shape Estimation [57.206129938611454]
  自己教師付き表現学習(SSL)法は、オブジェクト検出などの視覚タスクのためのImageNet分類前トレーニングよりも優れている。 我々は、SSLの効果を実証的に研究し分析し、3DHPSEの事前学習方法と比較した。 我々の観察では、現在のSSLの3DHPSEへの初歩的な適用に挑戦し、事前トレーニングの側面において、他のデータ型の価値を啓蒙する。
  論文  参考訳（メタデータ） (2023-03-09T16:17:52Z)
• Task-Customized Self-Supervised Pre-training with Scalable Dynamic Routing [76.78772372631623]
  セルフ教師付き事前トレーニングの一般的な実践は、できるだけ多くのデータを使用することである。 しかし、特定のダウンストリームタスクでは、事前トレーニングで無関係なデータを含むと、ダウンストリームのパフォーマンスが低下する可能性がある。 異なるタスクのための事前トレーニングで、異なるダウンストリームタスクにカスタマイズされたデータセットを使用することは、重荷であり、実現不可能である。
  論文  参考訳（メタデータ） (2022-05-26T10:49:43Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• Are Large-scale Datasets Necessary for Self-Supervised Pre-training? [29.49873710927313]
  対象のタスクデータのみを活用する自己指導型事前学習シナリオについて検討する。 本研究は,BEiTなどのデノイングオートエンコーダが,事前学習データの種類やサイズに対してより堅牢であることを示す。 COCOでは、COCOイメージのみを使用して事前トレーニングを行う場合、検出とインスタンスセグメンテーションのパフォーマンスは、同等の設定で教師付きImageNet事前トレーニングを上回る。
  論文  参考訳（メタデータ） (2021-12-20T18:41:32Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Efficient Conditional Pre-training for Transfer Learning [71.01129334495553]
  本稿では,事前学習データセットから関連するサブセットを選択するための効率的なフィルタリング手法を提案する。 我々は、教師なし設定と教師なし設定の両方において、ImageNetで事前トレーニングを行うことで、我々の技術を検証する。 我々は、サブセットで利用可能なモデルをチューニングし、大規模なデータセットからフィルタリングされたデータセットで事前トレーニングすることで、標準のImageNet事前トレーニングを1～3%改善する。
  論文  参考訳（メタデータ） (2020-11-20T06:16:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。