論文の概要: Multi-Modal Temporal Attention Models for Crop Mapping from Satellite Time Series

• arxiv url: http://arxiv.org/abs/2112.07558v1
• Date: Tue, 14 Dec 2021 17:05:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-15 16:57:24.684231
• Title: Multi-Modal Temporal Attention Models for Crop Mapping from Satellite Time Series
• Title（参考訳）: 衛星時系列からの作物マッピングのためのマルチモーダル時間アテンションモデル
• Authors: Vivien Sainte Fare Garnot and Loic Landrieu and Nesrine Chehata
• Abstract要約: 複数の作物マッピングタスクにまたがる時間的注意に基づく手法が最近成功し,これらのモデルがどのように複数のモードで操作できるのかを考察する。 我々は,新しいアプローチと訓練手順の簡単な調整を含む,複数の融合方式を実装し,評価する。 ほとんどのフュージョンスキームには利点と欠点があり、特定の設定に関連があることが示される。 次に,パーセル分類,画素ベースセグメンテーション,パン光学パーセルセグメンテーションなど,複数のタスクにまたがるマルチモーダルの利点を評価する。
• 参考スコア（独自算出の注目度）: 7.379078963413671
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optical and radar satellite time series are synergetic: optical images contain rich spectral information, while C-band radar captures useful geometrical information and is immune to cloud cover. Motivated by the recent success of temporal attention-based methods across multiple crop mapping tasks, we propose to investigate how these models can be adapted to operate on several modalities. We implement and evaluate multiple fusion schemes, including a novel approach and simple adjustments to the training procedure, significantly improving performance and efficiency with little added complexity. We show that most fusion schemes have advantages and drawbacks, making them relevant for specific settings. We then evaluate the benefit of multimodality across several tasks: parcel classification, pixel-based segmentation, and panoptic parcel segmentation. We show that by leveraging both optical and radar time series, multimodal temporal attention-based models can outmatch single-modality models in terms of performance and resilience to cloud cover. To conduct these experiments, we augment the PASTIS dataset with spatially aligned radar image time series. The resulting dataset, PASTIS-R, constitutes the first large-scale, multimodal, and open-access satellite time series dataset with semantic and instance annotations.
• Abstract（参考訳）: 光学画像は豊富なスペクトル情報を含んでいるが、Cバンドレーダーは有用な幾何学的情報を捉え、雲の覆いに免疫がある。 複数の作物マッピングタスクにまたがる時間的注意に基づく手法が最近成功し,これらのモデルがどのように複数のモードで操作できるのかを考察する。 新たなアプローチや訓練手順の簡単な調整など,複数の融合方式の実装と評価を行い,複雑さをほとんど加えずに性能と効率を大幅に向上させる。 ほとんどの融合スキームには利点と欠点があり、特定の設定に関係している。 次に,パーセル分類,画素ベースセグメンテーション,パン光学パーセルセグメンテーションなど,複数のタスクにまたがるマルチモーダルの利点を評価する。 光およびレーダ時系列の両方を活用することで、マルチモーダル時間的注意に基づくモデルは、クラウド被覆に対する性能とレジリエンスの観点から、単一モダリティモデルを上回ることができることを示す。 これらの実験を行うために,patisデータセットを空間的にアライメントしたレーダ画像時系列で拡張する。 得られたデータセットであるPASTIS-Rは、セマンティックアノテーションとインスタンスアノテーションを備えた最初の大規模、マルチモーダル、オープンアクセス衛星時系列データセットである。

関連論文リスト

• TASeg: Temporal Aggregation Network for LiDAR Semantic Segmentation [80.13343299606146]
  そこで本稿では, 時系列LiDARアグリゲーション・蒸留(TLAD)アルゴリズムを提案する。 時間画像のフル活用を目的として,カメラFOVを大幅に拡張できるTIAFモジュールを設計した。 また,静的移動スイッチ拡張(SMSA)アルゴリズムを開発し,時間的情報を利用してオブジェクトの動作状態を自由に切り替える。
  論文  参考訳（メタデータ） (2024-07-13T03:00:16Z)
• TSCMamba: Mamba Meets Multi-View Learning for Time Series Classification [13.110156202816112]
  時系列分類のための補完的コンテキストを提供するために、周波数領域と時間領域の機能を統合した新しいマルチビューアプローチを提案する。 本手法は,連続ウェーブレット変換スペクトル特徴を時間的畳み込みあるいは多層パーセプトロン特徴と融合する。 10の標準ベンチマークデータセットによる実験は、我々のアプローチが最先端のTSCモデルよりも平均6.45%の精度向上を達成することを示した。
  論文  参考訳（メタデータ） (2024-06-06T18:05:10Z)
• Temporal Embeddings: Scalable Self-Supervised Temporal Representation Learning from Spatiotemporal Data for Multimodal Computer Vision [1.4127889233510498]
  移動活動時系列に基づいて景観を階層化する新しい手法を提案する。 ピクセルワイズ埋め込みは、タスクベースのマルチモーダルモデリングに使用できるイメージライクなチャネルに変換される。
  論文  参考訳（メタデータ） (2023-10-16T02:53:29Z)
• Diffusion Models for Interferometric Satellite Aperture Radar [73.01013149014865]
  確率拡散モデル (Probabilistic Diffusion Models, PDMs) は、最近、非常に有望な生成モデルのクラスとして登場した。 ここでは、PDMを活用して、レーダーベースの衛星画像データセットを複数生成する。 PDMは複雑で現実的な構造を持つ画像を生成することに成功したが、サンプリング時間は依然として問題である。
  論文  参考訳（メタデータ） (2023-08-31T16:26:17Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
  本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。 各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。 頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-14T02:58:27Z)
• ViTs for SITS: Vision Transformers for Satellite Image Time Series [52.012084080257544]
  ビジョン変換器(ViT)に基づく一般衛星画像時系列(SITS)処理のための完全アテンショナルモデルを提案する。 TSViTはSITSレコードを空間と時間で重複しないパッチに分割し、トークン化し、分解されたテンポロ空間エンコーダで処理する。
  論文  参考訳（メタデータ） (2023-01-12T11:33:07Z)
• RapidAI4EO: Mono- and Multi-temporal Deep Learning models for Updating the CORINE Land Cover Product [0.36265845593635804]
  単時間(単時間ステップ)の衛星画像と比較し,複数時間(月次)の性能評価を行った。 LSTMモデルを用いて、衛星からのマルチ時間信号がLCC分類を改善するか否かを評価する。
  論文  参考訳（メタデータ） (2022-10-26T11:08:13Z)
• SatMAE: Pre-training Transformers for Temporal and Multi-Spectral Satellite Imagery [74.82821342249039]
  Masked Autoencoder(MAE)に基づく時間・マルチスペクトル衛星画像の事前学習フレームワークであるSatMAEについて述べる。 時間的情報を活用するために、時間にわたって画像パッチを個別にマスキングする時間的埋め込みを含む。
  論文  参考訳（メタデータ） (2022-07-17T01:35:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。