論文の概要: SMARTIES: Spectrum-Aware Multi-Sensor Auto-Encoder for Remote Sensing Images

• arxiv url: http://arxiv.org/abs/2506.19585v1
• Date: Tue, 24 Jun 2025 12:51:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.629669
• Title: SMARTIES: Spectrum-Aware Multi-Sensor Auto-Encoder for Remote Sensing Images
• Title（参考訳）: SMARTIES:リモートセンシング画像のためのスペクトル対応マルチセンサオートエンコーダ
• Authors: Gencer Sumbul, Chang Xu, Emanuele Dalsasso, Devis Tuia,
• Abstract要約: 最近のディープラーニングモデルは、単一のセンサーや固定された組み合わせに特化していることが多い。 SMARTIESは、センサ依存/依存の取り組みを持ち上げる汎用的で汎用的な基礎モデルである。 多様なセンサーにまたがる単一タスクとマルチモーダルタスクにおいて、SMARTIESはセンサー固有の事前訓練に依存する以前のモデルより優れている。
• 参考スコア（独自算出の注目度）: 17.304106221330414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: From optical sensors to microwave radars, leveraging the complementary strengths of remote sensing (RS) sensors is crucial for achieving dense spatio-temporal monitoring of our planet. In contrast, recent deep learning models, whether task-specific or foundational, are often specific to single sensors or to fixed combinations: adapting such models to different sensory inputs requires both architectural changes and re-training, limiting scalability and generalization across multiple RS sensors. On the contrary, a single model able to modulate its feature representations to accept diverse sensors as input would pave the way to agile and flexible multi-sensor RS data processing. To address this, we introduce SMARTIES, a generic and versatile foundation model lifting sensor-specific/dependent efforts and enabling scalability and generalization to diverse RS sensors: SMARTIES projects data from heterogeneous sensors into a shared spectrum-aware space, enabling the use of arbitrary combinations of bands both for training and inference. To obtain sensor-agnostic representations, we train a single, unified transformer model reconstructing masked multi-sensor data with cross-sensor token mixup. On both single- and multi-modal tasks across diverse sensors, SMARTIES outperforms previous models that rely on sensor-specific pretraining. Our code and pretrained models are available at https://gsumbul.github.io/SMARTIES.
• Abstract（参考訳）: 光センサからマイクロ波レーダーまで、リモートセンシング(RS)センサーの相補的な強度を活用することは、我々の惑星の高密度時空間モニタリングを実現するのに不可欠である。 対照的に、最近のディープラーニングモデルは、タスク固有のものであれ、基礎的なものであれ、しばしば単一のセンサーや固定された組み合わせに特化している。 それとは対照的に、入力がアジャイルで柔軟なマルチセンサーRSデータ処理の道を開くように、特徴表現を変調して多様なセンサーを受け入れることができる単一のモデルがある。 SMARTIESは、センサ固有の独立性を持ち、多様なRSセンサへのスケーラビリティと一般化を可能にする汎用的で汎用的な基礎モデルである。SMARTIESは、異種センサから共有スペクトル認識空間にデータを投影し、トレーニングと推論の両方に任意のバンドの組み合わせを使用できる。 センサに依存しない表現を得るために,マスク付きマルチセンサデータをクロスセンサ・トークン・ミックスアップで再構成する単一統一トランスフォーマーモデルを訓練する。 SMARTIESは、センサーを多用する単一タスクとマルチモーダルタスクの両方において、センサー固有の事前訓練に依存する従来のモデルよりも優れています。 私たちのコードと事前訓練されたモデルはhttps://gsumbul.github.io/SMARTIES.comで利用可能です。

関連論文リスト

• FDCT: Frequency-Aware Decomposition and Cross-Modal Token-Alignment for Multi-Sensor Target Classification [10.878168590232852]
  我々は、ターゲット分類のための複数の画像センサデータを分解、整列、融合する。 本稿では,センサ間の共有離散トークン(UDT)空間を提案する。 単一モダリティ分類器よりも優れた分類性能を実現する。
  論文  参考訳（メタデータ） (2025-03-12T22:12:35Z)
• Sensor-Invariant Tactile Representation [11.153753622913843]
  高解像度触覚センサーは、知覚の具体化やロボット操作に欠かせないものとなっている。 この分野における重要な課題は、設計と製造のバリエーションによるセンサー間の伝達性の欠如である。 本稿では,光触覚センサ間のゼロショット転送を可能にする,SITR(Sensor-Invariant Tactile Representations)の抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-02-27T00:12:50Z)
• MSSIDD: A Benchmark for Multi-Sensor Denoising [55.41612200877861]
  我々は,マルチセンサSIDDデータセットという新しいベンチマークを導入する。これは,認知モデルのセンサ伝達性を評価するために設計された,最初の生ドメインデータセットである。 そこで本研究では,センサに不変な特徴を認知モデルで学習することのできるセンサ一貫性トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-18T13:32:59Z)
• CAFuser: Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes [56.52618054240197]
  本研究では,運転シーンのロバストな意味認識のための条件対応型マルチモーダル融合手法を提案する。 CAFuserは、RGBカメラ入力を用いて環境条件を分類し、コンディショントークンを生成する。 我々のモデルは、特に悪条件シナリオにおいて、ロバスト性と精度を著しく向上させる。
  論文  参考訳（メタデータ） (2024-10-14T17:56:20Z)
• SenPa-MAE: Sensor Parameter Aware Masked Autoencoder for Multi-Satellite Self-Supervised Pretraining [1.4528189330418977]
  SenPa-MAEは、観察されたマルチスペクトル信号のセンサーパラメータを画像埋め込みに符号化する。 SenPa-MAEは、非マッチングスペクトルまたは幾何学的センサー特性を持つ異なる衛星の画像で事前訓練することができる。
  論文  参考訳（メタデータ） (2024-08-20T16:53:30Z)
• Bridging Remote Sensors with Multisensor Geospatial Foundation Models [15.289711240431107]
  msGFMは4つのキーセンサーからのデータを統合する多センサ地理空間基盤モデルである。 同一の位置情報から得られるデータに対して、我々のモデルは革新的なクロスセンサー事前学習アプローチを採用している。 msGFMは、シングルセンサーとマルチセンサーの両方の下流タスクにおいて、高い習熟度を示した。
  論文  参考訳（メタデータ） (2024-04-01T17:30:56Z)
• Learning Online Multi-Sensor Depth Fusion [100.84519175539378]
  SenFuNetは、センサ固有のノイズと外れ値統計を学習するディープフュージョンアプローチである。 実世界のCoRBSとScene3Dデータセットで様々なセンサーの組み合わせで実験を行う。
  論文  参考訳（メタデータ） (2022-04-07T10:45:32Z)
• SensiX++: Bringing MLOPs and Multi-tenant Model Serving to Sensory Edge Devices [69.1412199244903]
  エッジデバイス上でMLOpsを統合した,適応モデル実行のためのマルチテナントランタイムを提案する。 S SensiX++は、高度にモジュール化されたコンポーネント化と、明確な抽象化によるデータ操作の外部化と、システム全体のオーケストレーションのためのドキュメント中心の宣言という、2つの基本原則で運用されている。 SensiX++のさまざまな自動化コンポーネントの全体的なスループットと定量化メリットについて報告し、運用の複雑さを著しく低減し、エッジデバイスへの組み込みモデルのデプロイ、アップグレード、再構成、提供の労力を削減する効果を実証する。
  論文  参考訳（メタデータ） (2021-09-08T22:06:16Z)
• Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision Action Recognition [131.6328804788164]
  本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。 SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
  論文  参考訳（メタデータ） (2020-09-01T03:38:31Z)
• Deep Soft Procrustes for Markerless Volumetric Sensor Alignment [81.13055566952221]
  本研究では、より堅牢なマルチセンサ空間アライメントを実現するために、マーカーレスデータ駆動対応推定を改善する。 我々は、幾何学的制約を終末的に典型的なセグメンテーションベースモデルに組み込み、対象のポーズ推定タスクと中間密な分類タスクをブリッジする。 実験により,マーカーベースの手法で同様の結果が得られ,マーカーレス手法よりも優れ,またキャリブレーション構造のポーズ変動にも頑健であることがわかった。
  論文  参考訳（メタデータ） (2020-03-23T10:51:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。