論文の概要: Bridging Remote Sensors with Multisensor Geospatial Foundation Models

• arxiv url: http://arxiv.org/abs/2404.01260v1
• Date: Mon, 1 Apr 2024 17:30:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 21:36:17.719920
• Title: Bridging Remote Sensors with Multisensor Geospatial Foundation Models
• Title（参考訳）: マルチセンサ地理空間基礎モデルを用いたブリジングリモートセンサ
• Authors: Boran Han, Shuai Zhang, Xingjian Shi, Markus Reichstein,
• Abstract要約: msGFMは4つのキーセンサーからのデータを統合する多センサ地理空間基盤モデルである。 同一の位置情報から得られるデータに対して、我々のモデルは革新的なクロスセンサー事前学習アプローチを採用している。 msGFMは、シングルセンサーとマルチセンサーの両方の下流タスクにおいて、高い習熟度を示した。
• 参考スコア（独自算出の注目度）: 15.289711240431107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the realm of geospatial analysis, the diversity of remote sensors, encompassing both optical and microwave technologies, offers a wealth of distinct observational capabilities. Recognizing this, we present msGFM, a multisensor geospatial foundation model that effectively unifies data from four key sensor modalities. This integration spans an expansive dataset of two million multisensor images. msGFM is uniquely adept at handling both paired and unpaired sensor data. For data originating from identical geolocations, our model employs an innovative cross-sensor pretraining approach in masked image modeling, enabling the synthesis of joint representations from diverse sensors. msGFM, incorporating four remote sensors, upholds strong performance, forming a comprehensive model adaptable to various sensor types. msGFM has demonstrated enhanced proficiency in a range of both single-sensor and multisensor downstream tasks. These include scene classification, segmentation, cloud removal, and pan-sharpening. A key discovery of our research is that representations derived from natural images are not always compatible with the distinct characteristics of geospatial remote sensors, underscoring the limitations of existing representations in this field. Our work can serve as a guide for developing multisensor geospatial pretraining models, paving the way for more advanced geospatial capabilities.
• Abstract（参考訳）: 地理空間分析の分野では、光学技術とマイクロ波技術の両方を含むリモートセンサーの多様性は、多くの異なる観測能力を提供する。 これを認識して、4つのキーセンサモードからデータを効果的に統一するマルチセンサ地理空間基盤モデルmsGFMを提案する。 この統合は、200万のマルチセンサー画像の拡張データセットにまたがる。 msGFMは、ペアとアンペアの両方のセンサーデータの処理に長けている。 同一位置から得られるデータに対しては,マスク画像モデリングに革新的なクロスセンサ事前学習アプローチを採用し,多様なセンサからの関節表現の合成を可能にする。 4つのリモートセンサーを組み込んだmsGFMは、強力な性能を維持し、様々なセンサータイプに対応可能な包括的なモデルを形成する。 msGFMは、シングルセンサーとマルチセンサーの両方の下流タスクにおいて、高い習熟度を示した。 シーン分類、セグメンテーション、雲の除去、パンシャーピングなどがある。 我々の研究の重要な発見は、自然画像から派生した表現は、常に地理空間的リモートセンサーの特徴と相容れないということであり、この分野における既存の表現の限界を暗示している。 我々の研究は、マルチセンサー地理空間事前学習モデルを開発するためのガイドとして機能し、より高度な地理空間機能を実現するための道を開くことができる。

関連論文リスト

• MSSIDD: A Benchmark for Multi-Sensor Denoising [55.41612200877861]
  我々は,マルチセンサSIDDデータセットという新しいベンチマークを導入する。これは,認知モデルのセンサ伝達性を評価するために設計された,最初の生ドメインデータセットである。 そこで本研究では,センサに不変な特徴を認知モデルで学習することのできるセンサ一貫性トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-18T13:32:59Z)
• SenPa-MAE: Sensor Parameter Aware Masked Autoencoder for Multi-Satellite Self-Supervised Pretraining [1.4528189330418977]
  SenPa-MAEは、観察されたマルチスペクトル信号のセンサーパラメータを画像埋め込みに符号化する。 SenPa-MAEは、非マッチングスペクトルまたは幾何学的センサー特性を持つ異なる衛星の画像で事前訓練することができる。
  論文  参考訳（メタデータ） (2024-08-20T16:53:30Z)
• Increasing the Robustness of Model Predictions to Missing Sensors in Earth Observation [5.143097874851516]
  入力センサドロップアウト(ISensD)とアンサンブルセンサ不変(ESensI)という,マルチセンサシナリオに適した2つの新しい手法について検討した。 これらの手法は, モデル予測の頑健さを, センサの欠如に対して効果的に向上させることを示した。 アンサンブル・マルチセンサー・モデルはセンサの欠如に対して最も頑丈であることが観察された。
  論文  参考訳（メタデータ） (2024-07-22T09:58:29Z)
• Neural Plasticity-Inspired Multimodal Foundation Model for Earth Observation [48.66623377464203]
  我々の新しいアプローチは、脳科学における神経可塑性の概念を活用する、ダイナミックワンフォーオール(DOFA)モデルを導入している。 このダイナミックなハイパーネットワークは、異なる波長に調整され、5つのセンサーのデータに基づいて1つの多目的トランスフォーマーを共同で訓練し、12の異なる地球観測タスクを遂行することを可能にする。
  論文  参考訳（メタデータ） (2024-03-22T17:11:47Z)
• Data-Induced Interactions of Sparse Sensors [3.050919759387984]
  トレーニングデータによって引き起こされるセンサインタラクションの全体像を熱力学ビューで計算する。 これらのデータによって引き起こされるセンサーの相互作用をマッピングすることで、外部選択基準と組み合わせ、センサーの代替効果を予測することができる。
  論文  参考訳（メタデータ） (2023-07-21T18:13:37Z)
• Learning Online Multi-Sensor Depth Fusion [100.84519175539378]
  SenFuNetは、センサ固有のノイズと外れ値統計を学習するディープフュージョンアプローチである。 実世界のCoRBSとScene3Dデータセットで様々なセンサーの組み合わせで実験を行う。
  論文  参考訳（メタデータ） (2022-04-07T10:45:32Z)
• Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision Action Recognition [131.6328804788164]
  本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。 SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
  論文  参考訳（メタデータ） (2020-09-01T03:38:31Z)
• Deep Soft Procrustes for Markerless Volumetric Sensor Alignment [81.13055566952221]
  本研究では、より堅牢なマルチセンサ空間アライメントを実現するために、マーカーレスデータ駆動対応推定を改善する。 我々は、幾何学的制約を終末的に典型的なセグメンテーションベースモデルに組み込み、対象のポーズ推定タスクと中間密な分類タスクをブリッジする。 実験により,マーカーベースの手法で同様の結果が得られ,マーカーレス手法よりも優れ,またキャリブレーション構造のポーズ変動にも頑健であることがわかった。
  論文  参考訳（メタデータ） (2020-03-23T10:51:32Z)
• Learning Selective Sensor Fusion for States Estimation [47.76590539558037]
  本稿では,エンド・ツー・エンドのセンサ・フュージョン・モジュールであるSelectFusionを提案する。 予測中、ネットワークは異なるセンサーモードから潜伏する特徴の信頼性を評価することができる。 我々は、公開データセットと漸進的に劣化したデータセットの両方において、すべての融合戦略を広範囲に評価する。
  論文  参考訳（メタデータ） (2019-12-30T20:25:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。