論文の概要: Exact: Exploring Space-Time Perceptive Clues for Weakly Supervised Satellite Image Time Series Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2412.03968v1
- Date: Thu, 05 Dec 2024 08:37:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-06 14:40:48.744169
- Title: Exact: Exploring Space-Time Perceptive Clues for Weakly Supervised Satellite Image Time Series Semantic Segmentation
- Title(参考訳): 衛星画像の時系列セマンティック・セマンティック・セグメンテーションのための時空間知覚曲線の探索
- Authors: Hao Zhu, Yan Zhu, Jiayu Xiao, Tianxiang Xiao, Yike Ma, Yucheng Zhang, Feng Dai,
- Abstract要約: 本論文は,作物マッピングタスクを総括的アノテーション負担から解放する,弱教師付きパラダイム(画像レベルのカテゴリのみ使用可能な)を取り入れたものである。
本稿では,時空知覚的手がかりを探索する新しい手法を提案する。
本手法は,様々なSITSベンチマークにおいて顕著な性能を示す。
- 参考スコア(独自算出の注目度): 11.193770734116981
- License:
- Abstract: Automated crop mapping through Satellite Image Time Series (SITS) has emerged as a crucial avenue for agricultural monitoring and management. However, due to the low resolution and unclear parcel boundaries, annotating pixel-level masks is exceptionally complex and time-consuming in SITS. This paper embraces the weakly supervised paradigm (i.e., only image-level categories available) to liberate the crop mapping task from the exhaustive annotation burden. The unique characteristics of SITS give rise to several challenges in weakly supervised learning: (1) noise perturbation from spatially neighboring regions, and (2) erroneous semantic bias from anomalous temporal periods. To address the above difficulties, we propose a novel method, termed exploring space-time perceptive clues (Exact). First, we introduce a set of spatial clues to explicitly capture the representative patterns of different crops from the most class-relative regions. Besides, we leverage the temporal-to-class interaction of the model to emphasize the contributions of pivotal clips, thereby enhancing the model perception for crop regions. Build upon the space-time perceptive clues, we derive the clue-based CAMs to effectively supervise the SITS segmentation network. Our method demonstrates impressive performance on various SITS benchmarks. Remarkably, the segmentation network trained on Exact-generated masks achieves 95% of its fully supervised performance, showing the bright promise of weakly supervised paradigm in crop mapping scenario. Our code will be publicly available.
- Abstract(参考訳): サテライトイメージタイムシリーズ(SITS)による自動作物マッピングは、農業の監視と管理にとって重要な道のりとして現れている。
しかし、解像度が低く、パーセルの境界が不明確であるため、SITSではピクセルレベルのマスクのアノテートは非常に複雑で時間を要する。
本論文は,作物マッピングタスクを総括的アノテーション負担から解放する,弱教師付きパラダイム(画像レベルのカテゴリのみ使用可能な)を取り入れたものである。
SITSの独特な特徴は、(1)空間的に隣接する地域からのノイズ摂動、(2)異常な時間的期間からの誤意味バイアスなど、弱教師付き学習におけるいくつかの課題を引き起こす。
以上の課題に対処するため,時空知覚的手がかり(Exact)を探索する新しい手法を提案する。
まず、異なる作物の代表的パターンを、最も類縁的な領域から明示的に捉えるための空間的手がかりのセットを紹介する。
さらに、このモデルの時間-階級間相互作用を活用して、ピボットクリップの寄与を強調することにより、作物領域におけるモデル知覚を高める。
SITSセグメントネットワークを効果的に監視するために、時空知覚的手がかりに基づいて、手がかりに基づくCAMを導出する。
本手法は,様々なSITSベンチマークにおいて顕著な性能を示す。
注目すべきは、Exact生成マスクでトレーニングされたセグメンテーションネットワークは、完全に教師付きされた性能の95%を達成し、作物マッピングシナリオにおける弱教師付きパラダイムの明るい可能性を示していることである。
私たちのコードは公開されます。
関連論文リスト
- Paving the way toward foundation models for irregular and unaligned Satellite Image Time Series [0.0]
衛星画像の空間的, スペクトル的, 時間的次元を考慮したALISEを提案する。
SITSで現在利用可能なSSLモデルとは異なり、ALISEはSITSを共通の学習された時間的プロジェクション空間に投影するための柔軟なクエリメカニズムを組み込んでいる。
PASTIS, 土地被覆区分 (MultiSenGE) , 新たな作物変化検出データセットの3つの下流課題を通じて, 生産された表現の質を評価する。
論文 参考訳(メタデータ) (2024-07-11T12:42:10Z) - SatSynth: Augmenting Image-Mask Pairs through Diffusion Models for Aerial Semantic Segmentation [69.42764583465508]
我々は,地球観測における注釈付きデータの不足に対処するために,生成的画像拡散の可能性を探る。
我々の知る限りでは、衛星セグメンテーションのための画像と対応するマスクの両方を最初に生成する。
論文 参考訳(メタデータ) (2024-03-25T10:30:22Z) - Revisiting the Encoding of Satellite Image Time Series [2.5874041837241304]
画像時系列(SITS)時間学習は、高時間分解能と不規則な取得時間のために複雑である。
我々は、クエリベースのトランスフォーマーデコーダを採用する最近のトレンドに触発されて、直接セット予測問題としてSITS処理の新たな視点を開発する。
衛星PASTISベンチマークデータセットを用いて,SOTA(State-of-the-art)の新たな結果を得た。
論文 参考訳(メタデータ) (2023-05-03T12:44:20Z) - Spatial-Aware Token for Weakly Supervised Object Localization [137.0570026552845]
タスク固有の空間認識トークンを,弱教師付き方式で条件定位に提案する。
実験の結果、SATはCUB-200とImageNetの両方で、98.45%と73.13%のGT-known Locで最先端のパフォーマンスを達成した。
論文 参考訳(メタデータ) (2023-03-18T15:38:17Z) - SatMAE: Pre-training Transformers for Temporal and Multi-Spectral
Satellite Imagery [74.82821342249039]
Masked Autoencoder(MAE)に基づく時間・マルチスペクトル衛星画像の事前学習フレームワークであるSatMAEについて述べる。
時間的情報を活用するために、時間にわたって画像パッチを個別にマスキングする時間的埋め込みを含む。
論文 参考訳(メタデータ) (2022-07-17T01:35:29Z) - Tampered VAE for Improved Satellite Image Time Series Classification [1.933681537640272]
ピラミッド時間系列変換器(PTST)は時間次元のみで動作する。
本稿では,クラスタリング機構を潜在空間に導入する分類フレンドリなVAEフレームワークを提案する。
提案するフレームワークが,SITSによる作物分類のベースラインとして機能し,モジュール性と簡易性を期待する。
論文 参考訳(メタデータ) (2022-03-30T08:48:06Z) - Robust and Precise Facial Landmark Detection by Self-Calibrated Pose
Attention Network [73.56802915291917]
より堅牢で正確な顔のランドマーク検出を実現するための半教師付きフレームワークを提案する。
より効果的な顔形状制約をモデル化するために,境界対応ランドマーク強度(BALI)フィールドを提案する。
自己キャリブレーション・ポース・アテンション(SCPA)モデルは、中間的監督を強制する自己学習型目標関数を提供するように設計されている。
論文 参考訳(メタデータ) (2021-12-23T02:51:08Z) - Panoptic Segmentation of Satellite Image Time Series with Convolutional
Temporal Attention Networks [7.00422423634143]
衛星画像時系列(SITS)のパノプティカルセグメンテーションのための最初のエンドツーエンドの単一ステージ手法を提案する。
このモジュールは、時間的自己アテンションに依存した新しい画像シーケンス符号化ネットワークと組み合わせて、リッチで適応的なマルチスケールの時間的特徴を抽出することができる。
PASTISは、パン光学アノテーションを用いた最初のオープンアクセスSITSデータセットである。
論文 参考訳(メタデータ) (2021-07-16T14:49:01Z) - Self-supervised Equivariant Attention Mechanism for Weakly Supervised
Semantic Segmentation [93.83369981759996]
本稿では,自己監督同変注意機構(SEAM)を提案する。
本手法は,完全教師付きセマンティックセグメンテーションにおいて,同値が暗黙の制約であることを示す。
本稿では,ネットワーク学習のための自己スーパービジョンを提供するために,様々な変換画像から予測されたCAMの整合性正則化を提案する。
論文 参考訳(メタデータ) (2020-04-09T14:57:57Z) - A Spatial-Temporal Attentive Network with Spatial Continuity for
Trajectory Prediction [74.00750936752418]
空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。
まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。
第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
論文 参考訳(メタデータ) (2020-03-13T04:35:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。