論文の概要: Cross-sensor self-supervised training and alignment for remote sensing
- arxiv url: http://arxiv.org/abs/2405.09922v1
- Date: Thu, 16 May 2024 09:25:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-17 14:51:34.622346
- Title: Cross-sensor self-supervised training and alignment for remote sensing
- Title（参考訳）: リモートセンシングのためのクロスセンサ自己教師型トレーニングとアライメント
- Authors: Valerio Marsocci, Nicolas Audebert,
- Abstract要約: リモートセンシング(X-STARS)のためのクロスセンサ・セルフ教師付きトレーニングとアライメントを導入する。
X-STARSは、スクラッチからモデルを訓練したり、例えば低解像度のデータに基づいて事前訓練された大型モデルを新しい高解像度センサーに適応させたりすることができる。
我々は、X-STARSが、データの可用性と解像度の様々な条件において、より少ないデータで最先端のデータよりも優れていることを実証した。
- 参考スコア（独自算出の注目度）: 2.1178416840822027
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale "foundation models" have gained traction as a way to leverage the vast amounts of unlabeled remote sensing data collected every day. However, due to the multiplicity of Earth Observation satellites, these models should learn "sensor agnostic" representations, that generalize across sensor characteristics with minimal fine-tuning. This is complicated by data availability, as low-resolution imagery, such as Sentinel-2 and Landsat-8 data, are available in large amounts, while very high-resolution aerial or satellite data is less common. To tackle these challenges, we introduce cross-sensor self-supervised training and alignment for remote sensing (X-STARS). We design a self-supervised training loss, the Multi-Sensor Alignment Dense loss (MSAD), to align representations across sensors, even with vastly different resolutions. Our X-STARS can be applied to train models from scratch, or to adapt large models pretrained on e.g low-resolution EO data to new high-resolution sensors, in a continual pretraining framework. We collect and release MSC-France, a new multi-sensor dataset, on which we train our X-STARS models, then evaluated on seven downstream classification and segmentation tasks. We demonstrate that X-STARS outperforms the state-of-the-art by a significant margin with less data across various conditions of data availability and resolutions.
- Abstract（参考訳）: 大規模な"境界モデル"は、毎日収集される大量のラベルのないリモートセンシングデータを活用する手段として、注目を集めている。
しかし、地球観測衛星の多重性のため、これらのモデルはセンサー特性を最小限の微調整で一般化する「センサー非依存」表現を学習すべきである。
これは、Sentinel-2やLandsat-8のデータのような低解像度の画像が大量に利用可能であるのに対して、非常に高解像度の空中データや衛星データは一般的ではないため、データの可用性によって複雑である。
これらの課題に対処するために、リモートセンシング(X-STARS)のためのクロスセンサ・セルフ教師付きトレーニングとアライメントを導入する。
我々は,センサ間の表現の整合性を確保するために,自己監督型トレーニング損失であるマルチセンサアライメント・センス・ロス(MSAD)を設計する。
我々のX-STARSは、スクラッチからモデルをトレーニングしたり、例えば低分解能EOデータに基づいて事前訓練された大型モデルを新しい高分解能センサーに、連続的な事前訓練フレームワークで適用することができる。
新しいマルチセンサデータセットであるMSC-Franceを収集・リリースし、X-STARSモデルをトレーニングし、7つの下流分類とセグメンテーションタスクで評価する。
我々は、X-STARSが、データの可用性と解像度の様々な条件において、より少ないデータで最先端のデータよりも優れていることを実証した。
関連論文リスト
- MSSIDD: A Benchmark for Multi-Sensor Denoising [55.41612200877861]
我々は,マルチセンサSIDDデータセットという新しいベンチマークを導入する。これは,認知モデルのセンサ伝達性を評価するために設計された,最初の生ドメインデータセットである。
そこで本研究では,センサに不変な特徴を認知モデルで学習することのできるセンサ一貫性トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-18T13:32:59Z) - Physical-Layer Semantic-Aware Network for Zero-Shot Wireless Sensing [74.12670841657038]
デバイスレスワイヤレスセンシングは、幅広い没入型人間機械対話型アプリケーションをサポートする可能性から、近年、大きな関心を集めている。
無線信号におけるデータの均一性と分散センシングにおけるデータプライバシ規制は、広域ネットワークシステムにおける無線センシングの広範な適用を妨げる主要な課題であると考えられている。
そこで本研究では,ラベル付きデータを使わずに,一箇所ないし限られた箇所で構築されたモデルを直接他の場所に転送できるゼロショット無線センシングソリューションを提案する。
論文 参考訳（メタデータ） (2023-12-08T13:50:30Z) - USat: A Unified Self-Supervised Encoder for Multi-Sensor Satellite
Imagery [5.671254904219855]
我々は、複数のセンサからマルチスペクトルデータを入力し、自己教師付き事前学習を可能にする、USatと呼ばれる新しいエンコーダアーキテクチャを開発した。
我々は、UatをMasked Autoencoder(MAE)自己教師付き事前訓練手順に統合し、事前訓練されたUatがリモートセンシングデータに基づいてトレーニングされた最先端のMAEモデルより優れていることを確認する。
論文 参考訳（メタデータ） (2023-12-02T19:17:04Z) - Zooming Out on Zooming In: Advancing Super-Resolution for Remote Sensing [31.409817016287704]
リモートセンシングのための超解像は、惑星の監視に大きな影響を与える可能性がある。
多くの注意を払っているにもかかわらず、いくつかの矛盾や課題により、実際にデプロイされるのを妨げている。
この研究は、従来の測定値よりも人間の判断にはるかによく対応している、超高解像度のCLIPScoreのための新しい測定基準を示す。
論文 参考訳（メタデータ） (2023-11-29T21:06:45Z) - Learning to Simulate Realistic LiDARs [66.7519667383175]
リアルLiDARセンサのデータ駆動シミュレーションのためのパイプラインを提案する。
本モデルでは, 透明表面上の落下点などの現実的な効果を符号化できることが示される。
我々は2つの異なるLiDARセンサのモデルを学習し、それに従ってシミュレーションされたLiDARデータを改善する。
論文 参考訳（メタデータ） (2022-09-22T13:12:54Z) - SEnSeI: A Deep Learning Module for Creating Sensor Independent Cloud
Masks [0.7340845393655052]
我々は、新しいニューラルネットワークアーキテクチャー、Sensor Independence(SEnSeI)のためのスペクトルエンコーダを導入する。
クラウドマスキングの問題,既存のいくつかのデータセット,Sentinel-2用の新たな無償データセットなどに注目した。
我々のモデルは、訓練した衛星(Sentinel-2とLandsat 8)の最先端性能を達成し、Landsat 7, Per'uSat-1、Sentinel-3 SLSTRのようなトレーニング中に観測されていないセンサーに外挿することができる。
論文 参考訳（メタデータ） (2021-11-16T10:47:10Z) - SODA10M: Towards Large-Scale Object Detection Benchmark for Autonomous
Driving [94.11868795445798]
我々は,SODA10Mという名の自律走行用大規模物体検出ベンチマークをリリースし,1000万枚の未ラベル画像と6つの代表対象カテゴリをラベル付けした20K画像を含む。
多様性を向上させるために、画像は32の異なる都市で、1フレームあたり10秒毎に異なる気象条件、期間、場所のシーンで収集される。
我々は、既存の教師付き最先端検出モデル、一般的な自己監督型および半教師付きアプローチ、および将来のモデルの開発方法に関するいくつかの知見について、広範な実験と詳細な分析を行った。
論文 参考訳（メタデータ） (2021-06-21T13:55:57Z) - Learning to Detect Fortified Areas [0.0]
本研究では,道路,歩道,駐車場,舗装された自動車道,テラスなどによって,ある表面のどの部分が要塞化されているのかを分類する問題を考察する。
本稿では,すべてのセンサシステムからデータを新しい共通表現に変換するニューラルネット埋め込みアーキテクチャを設計し,アルゴリズムによる解を提案する。
論文 参考訳（メタデータ） (2021-05-26T08:03:42Z) - X-ModalNet: A Semi-Supervised Deep Cross-Modal Network for
Classification of Remote Sensing Data [69.37597254841052]
我々はX-ModalNetと呼ばれる新しいクロスモーダルディープラーニングフレームワークを提案する。
X-ModalNetは、ネットワークの上部にある高レベルな特徴によって構築されたアップダスタブルグラフ上にラベルを伝搬するため、うまく一般化する。
我々は2つのマルチモーダルリモートセンシングデータセット(HSI-MSIとHSI-SAR)上でX-ModalNetを評価し、いくつかの最先端手法と比較して大幅に改善した。
論文 参考訳（メタデータ） (2020-06-24T15:29:41Z) - High-Precision Digital Traffic Recording with Multi-LiDAR Infrastructure
Sensor Setups [0.0]
融解したLiDAR点雲と単一LiDAR点雲との差について検討した。
抽出した軌道の評価は, 融合インフラストラクチャーアプローチが追跡結果を著しく増加させ, 数cm以内の精度に達することを示す。
論文 参考訳（メタデータ） (2020-06-22T10:57:52Z) - Deep Soft Procrustes for Markerless Volumetric Sensor Alignment [81.13055566952221]
本研究では、より堅牢なマルチセンサ空間アライメントを実現するために、マーカーレスデータ駆動対応推定を改善する。
我々は、幾何学的制約を終末的に典型的なセグメンテーションベースモデルに組み込み、対象のポーズ推定タスクと中間密な分類タスクをブリッジする。
実験により,マーカーベースの手法で同様の結果が得られ,マーカーレス手法よりも優れ,またキャリブレーション構造のポーズ変動にも頑健であることがわかった。
論文 参考訳（メタデータ） (2020-03-23T10:51:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。