論文の概要: Efficient Self-Supervised Learning for Earth Observation via Dynamic Dataset Curation

• arxiv url: http://arxiv.org/abs/2504.06962v1
• Date: Wed, 09 Apr 2025 15:13:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:07:26.485432
• Title: Efficient Self-Supervised Learning for Earth Observation via Dynamic Dataset Curation
• Title（参考訳）: 動的データセット計算による地球観測のための効率的な自己教師付き学習
• Authors: Thomas Kerdreux, Alexandre Tuel, Quentin Febvre, Alexis Mouche, Bertrand Chapron,
• Abstract要約: 自己教師付き学習(SSL)により、地球観測のための視覚基盤モデルの開発が可能になった。 EOでは、この課題は衛星画像に共通する冗長性と重尾分布によって増幅される。 本稿では,データセットの多様性とバランスを最大化し,SSL事前トレーニングを改善するために設計された動的データセットプルーニング戦略を提案する。
• 参考スコア（独自算出の注目度）: 67.23953699167274
• License:
• Abstract: Self-supervised learning (SSL) has enabled the development of vision foundation models for Earth Observation (EO), demonstrating strong transferability across diverse remote sensing tasks. While prior work has focused on network architectures and training strategies, the role of dataset curation, especially in balancing and diversifying pre-training datasets, remains underexplored. In EO, this challenge is amplified by the redundancy and heavy-tailed distributions common in satellite imagery, which can lead to biased representations and inefficient training. In this work, we propose a dynamic dataset pruning strategy designed to improve SSL pre-training by maximizing dataset diversity and balance. Our method iteratively refines the training set without requiring a pre-existing feature extractor, making it well-suited for domains where curated datasets are limited or unavailable. We demonstrate our approach on the Sentinel-1 Wave Mode (WV) Synthetic Aperture Radar (SAR) archive, a challenging dataset dominated by ocean observations. We train models from scratch on the entire Sentinel-1 WV archive spanning 10 years. Across three downstream tasks, our results show that dynamic pruning improves both computational efficiency and representation quality, leading to stronger transferability. We also release the weights of Nereus-SAR-1, the first model in the Nereus family, a series of foundation models for ocean observation and analysis using SAR imagery, at github.com/galeio-research/nereus-sar-models/.
• Abstract（参考訳）: 自己教師付き学習(SSL)により、地球観測(EO)のための視覚基盤モデルの開発が可能となり、多様なリモートセンシングタスク間で強い伝達可能性を示している。 以前の作業では、ネットワークアーキテクチャとトレーニング戦略に重点を置いていたが、データセットキュレーション、特に事前トレーニングデータセットのバランスと多様化における役割は、まだ解明されていない。 EOでは、この課題は衛星画像に共通する冗長性と重尾分布によって増幅され、偏りのある表現や非効率な訓練につながる可能性がある。 本研究では、データセットの多様性とバランスを最大化し、SSL事前トレーニングを改善するために設計された動的データセットプルーニング戦略を提案する。 提案手法は,既存の特徴抽出器を必要とせず,反復的にトレーニングセットを洗練し,キュレートされたデータセットが制限されたり,利用できない領域に適している。 我々は,海洋観測に支配される挑戦的データセットであるSentinel-1 Wave Mode (WV) Synthetic Aperture Radar (SAR)アーカイブへのアプローチを実証した。 10年にわたるSentinel-1 WVアーカイブ全体のスクラッチからモデルをトレーニングします。 3つの下流タスクにおいて,動的プルーニングにより計算効率と表現品質が向上し,転送性が向上した。 また,SAR画像を用いた海洋観測・解析の基礎モデルNereus-SAR-1をgithub.com/galeio-research/nereus-sar-models/で発表する。

関連論文リスト

• SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation [81.36747103102459]
  表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。 現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。 本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-16T18:59:46Z)
• Advancing ALS Applications with Large-Scale Pre-training: Dataset Development and Downstream Assessment [6.606615641354963]
  事前訓練と微調整のパラダイムは、衛星リモートセンシングの応用に革命をもたらした。 大規模なALSポイントクラウドデータセットを構築し、下流アプリケーションへの影響を評価する。 以上の結果から,事前学習したモデルは,ダウンストリームタスク全体において,スクラッチよりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-01-09T09:21:09Z)
• Self-Supervised Radio Pre-training: Toward Foundational Models for Spectrogram Learning [6.1339395157466425]
  Foundational Deep Learning(DL)モデルは、多種多様で多様なデータセットに基づいてトレーニングされた一般的なモデルである。 本稿では,無線信号を用いた基礎DLモデルの事前学習のための,新しい自己教師型学習手法であるMasked Spectrogram Modelingを紹介する。
  論文  参考訳（メタデータ） (2024-11-14T23:56:57Z)
• Multi-Label Guided Soft Contrastive Learning for Efficient Earth Observation Pretraining [19.143105229950976]
  土地被覆土地利用製品は、自然界の強い知識を持つビジョン基盤モデルと同様に、自由なグローバルな意味情報を提供する。 これらの自由な追加リソースは、一般的なコントラスト学習ボトルネックを解決するだけでなく、EO事前学習の効率と効果を大幅に向上させることを示す。 我々は、既存のSOTAモデルよりも11の下流タスクのうち10のタスクにおいて、はるかに優れた結果が得られるマルチスペクトルおよびSAR基盤モデルを作成している。
  論文  参考訳（メタデータ） (2024-05-30T20:19:42Z)
• Foundation Models for Generalist Geospatial Artificial Intelligence [3.7002058945990415]
  本稿では,大規模データに基づく基礎モデルの事前学習と微調整を効果的に行うための第1種フレームワークを提案する。 我々はこの枠組みを利用して、マルチスペクトル衛星画像の1TB以上を事前トレーニングしたトランスフォーマーベースの基礎モデルであるPrithviを開発した。
  論文  参考訳（メタデータ） (2023-10-28T10:19:55Z)
• Scaling Data Generation in Vision-and-Language Navigation [116.95534559103788]
  本稿では,学習のための大規模データ生成に有効なパラダイムを提案する。 我々は、HM3DとGibsonのデータセットから1200以上のフォトリアリスティック環境を適用し、490万の命令軌道対を合成する。 我々の大規模データセットのおかげで、既存のエージェントの性能は(以前のSoTAでは+11%絶対)、単純な模倣学習によってR2Rテストの分割で80%の単ラン成功率で大幅に向上できる。
  論文  参考訳（メタデータ） (2023-07-28T16:03:28Z)
• In-Domain Self-Supervised Learning Improves Remote Sensing Image Scene Classification [5.323049242720532]
  リモートセンシング画像分類のための有望なアプローチとして,自己教師付き学習が登場している。 そこで本研究では,14の下流データセットにまたがる自己教師型事前学習戦略について検討し,その効果を評価する。
  論文  参考訳（メタデータ） (2023-07-04T10:57:52Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Self-supervised Audiovisual Representation Learning for Remote Sensing Data [96.23611272637943]
  遠隔センシングにおける深層ニューラルネットワークの事前学習のための自己教師型アプローチを提案する。 ジオタグ付きオーディオ記録とリモートセンシングの対応を利用して、これは完全にラベルなしの方法で行われる。 提案手法は,既存のリモートセンシング画像の事前学習方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-02T07:50:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。