論文の概要: Panopticon: Advancing Any-Sensor Foundation Models for Earth Observation

• arxiv url: http://arxiv.org/abs/2503.10845v1
• Date: Thu, 13 Mar 2025 19:54:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:06:33.141061
• Title: Panopticon: Advancing Any-Sensor Foundation Models for Earth Observation
• Title（参考訳）: パノプティコン:地球観測のためのあらゆるセンサーの基礎モデルの改善
• Authors: Leonard Waldmann, Ando Shah, Yi Wang, Nils Lehmann, Adam J. Stewart, Zhitong Xiong, Xiao Xiang Zhu, Stefan Bauer, John Chuang,
• Abstract要約: DINOv2フレームワーク上に構築された任意のセンサ基盤モデルであるPanopticonを提案する。 光学および合成開口レーダーセンサーの波長とモードを符号化することで、パノプティコンは任意のチャネルの組み合わせを効果的に処理できる。 パノプティコンは、既存の衛星プラットフォームと将来の衛星プラットフォームの両方への即時一般化を可能にする。
• 参考スコア（独自算出の注目度）: 31.64195131733122
• License:
• Abstract: Earth observation (EO) data features diverse sensing platforms with varying spectral bands, spatial resolutions, and sensing modalities. While most prior work has constrained inputs to fixed sensors, a new class of any-sensor foundation models able to process arbitrary sensors has recently emerged. Contributing to this line of work, we propose Panopticon, an any-sensor foundation model built on the DINOv2 framework. We extend DINOv2 by (1) treating images of the same geolocation across sensors as natural augmentations, (2) subsampling channels to diversify spectral input, and (3) adding a cross attention over channels as a flexible patch embedding mechanism. By encoding the wavelength and modes of optical and synthetic aperture radar sensors, respectively, Panopticon can effectively process any combination of arbitrary channels. In extensive evaluations, we achieve state-of-the-art performance on GEO-Bench, especially on the widely-used Sentinel-1 and Sentinel-2 sensors, while out-competing other any-sensor models, as well as domain adapted fixed-sensor models on unique sensor configurations. Panopticon enables immediate generalization to both existing and future satellite platforms, advancing sensor-agnostic EO.
• Abstract（参考訳）: 地球観測(EO)データには、様々なスペクトル帯、空間分解能、センシングモダリティを持つ様々なセンシングプラットフォームがある。 これまでのほとんどの研究は、固定センサーへの入力を制限してきたが、任意のセンサーを処理できる新しい種類のセンサー基盤モデルが最近登場した。 DINOv2フレームワーク上に構築された任意のセンサ基盤モデルであるPanopticonを提案する。 DINOv2は,(1)センサ間の同じ位置の画像を自然な拡張として処理し,(2)スペクトル入力を多様化するためのサブサンプリングチャネルを,(3)フレキシブルパッチ埋め込み機構としてチャネルに横断的な注意を加えることで拡張する。 光学および合成開口レーダーセンサーの波長とモードをそれぞれ符号化することで、パノプティコンは任意のチャネルの組み合わせを効果的に処理できる。 特に広く使用されているSentinel-1およびSentinel-2センサーでは,他の非センサモデルと独自のセンサ構成のドメイン適応型固定センサモデルとを併用しながら,GEO-Benchの最先端性能を実現している。 パノプティコンは、既存の衛星プラットフォームと将来の衛星プラットフォームの両方への即時一般化を可能にし、センサーに依存しないEOを前進させる。

関連論文リスト

• MSSIDD: A Benchmark for Multi-Sensor Denoising [55.41612200877861]
  我々は,マルチセンサSIDDデータセットという新しいベンチマークを導入する。これは,認知モデルのセンサ伝達性を評価するために設計された,最初の生ドメインデータセットである。 そこで本研究では,センサに不変な特徴を認知モデルで学習することのできるセンサ一貫性トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-18T13:32:59Z)
• STARS: Sensor-agnostic Transformer Architecture for Remote Sensing [2.6938549839852524]
  本稿では,スペクトル基礎モデルの基礎となるセンサ非依存スペクトル変換器を提案する。 我々は、任意の分光器からのスペクトルを共通の表現に符号化するユニバーサルスペクトル表現(USR)を導入する。 我々は,このようなモデルを自己教師型で事前学習するための方法論を開発した。
  論文  参考訳（メタデータ） (2024-11-08T17:16:02Z)
• SenPa-MAE: Sensor Parameter Aware Masked Autoencoder for Multi-Satellite Self-Supervised Pretraining [1.4528189330418977]
  SenPa-MAEは、観察されたマルチスペクトル信号のセンサーパラメータを画像埋め込みに符号化する。 SenPa-MAEは、非マッチングスペクトルまたは幾何学的センサー特性を持つ異なる衛星の画像で事前訓練することができる。
  論文  参考訳（メタデータ） (2024-08-20T16:53:30Z)
• Bridging Remote Sensors with Multisensor Geospatial Foundation Models [15.289711240431107]
  msGFMは4つのキーセンサーからのデータを統合する多センサ地理空間基盤モデルである。 同一の位置情報から得られるデータに対して、我々のモデルは革新的なクロスセンサー事前学習アプローチを採用している。 msGFMは、シングルセンサーとマルチセンサーの両方の下流タスクにおいて、高い習熟度を示した。
  論文  参考訳（メタデータ） (2024-04-01T17:30:56Z)
• Automatic Spatial Calibration of Near-Field MIMO Radar With Respect to Optical Depth Sensors [4.328226032204419]
  本稿では,光学RGB-DセンサとMIMOレーダの連成校正手法を提案する。 私たちのパイプラインは、自動目標検出と位置決めを可能にする、ベスポークキャリブレーションターゲットで構成されています。 我々は光学領域から2つの異なる深度センシング技術を用いてアプローチを検証する。
  論文  参考訳（メタデータ） (2024-03-16T17:24:46Z)
• Multi-Modal Neural Radiance Field for Monocular Dense SLAM with a Light-Weight ToF Sensor [58.305341034419136]
  単眼カメラと軽量ToFセンサを備えた初の高密度SLAMシステムを提案する。 本稿では,RGBカメラと軽量ToFセンサの両方の信号のレンダリングをサポートするマルチモーダル暗黙のシーン表現を提案する。 実験により,本システムは軽量なToFセンサの信号をうまく利用し,競合的な結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-08-28T07:56:13Z)
• Energy-Based Models for Cross-Modal Localization using Convolutional Transformers [52.27061799824835]
  GPSのない衛星画像に対して、距離センサを搭載した地上車両を位置決めする新しい枠組みを提案する。 本稿では, 畳み込み変換器を用いて, 高精度な計量レベルの局所化を行う手法を提案する。 我々は、エンドツーエンドでモデルをトレーニングし、KITTI、Pandaset、カスタムデータセットの最先端技術よりも高い精度でアプローチを実証する。
  論文  参考訳（メタデータ） (2023-06-06T21:27:08Z)
• Drone Detection and Tracking in Real-Time by Fusion of Different Sensing Modalities [66.4525391417921]
  マルチセンサ・ドローン検知システムの設計と評価を行う。 われわれのソリューションは、魚眼カメラを統合し、空の広い部分を監視し、他のカメラを興味ある対象に向けて操縦する。 このサーマルカメラは、たとえこのカメラが解像度が低いとしても、ビデオカメラと同じくらい実現可能なソリューションであることが示されている。
  論文  参考訳（メタデータ） (2022-07-05T10:00:58Z)
• On Learning the Invisible in Photoacoustic Tomography with Flat Directionally Sensitive Detector [0.27074235008521236]
  本稿では,センサの入射波面方向に対する感度の変化に起因する第2のタイプに着目した。 画像領域とデータ領域における可視範囲は、波面方向マッピングによって関連付けられる。 我々は、高速な近似演算子と調整された深層ニューラルネットワークアーキテクチャを最適に組み合わせて、効率的な学習的再構成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-21T09:57:01Z)
• Automatic Extrinsic Calibration Method for LiDAR and Camera Sensor Setups [68.8204255655161]
  本論文では,LiDAR,単眼,ステレオカメラを含む任意のセンサのパラメータを校正する手法を提案する。 提案手法は、通常、車両のセットアップで見られるように、非常に異なる解像度とポーズのデバイスを扱うことができる。
  論文  参考訳（メタデータ） (2021-01-12T12:02:26Z)
• Deep Soft Procrustes for Markerless Volumetric Sensor Alignment [81.13055566952221]
  本研究では、より堅牢なマルチセンサ空間アライメントを実現するために、マーカーレスデータ駆動対応推定を改善する。 我々は、幾何学的制約を終末的に典型的なセグメンテーションベースモデルに組み込み、対象のポーズ推定タスクと中間密な分類タスクをブリッジする。 実験により,マーカーベースの手法で同様の結果が得られ,マーカーレス手法よりも優れ,またキャリブレーション構造のポーズ変動にも頑健であることがわかった。
  論文  参考訳（メタデータ） (2020-03-23T10:51:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。