論文の概要: Revisiting the Encoding of Satellite Image Time Series

• arxiv url: http://arxiv.org/abs/2305.02086v2
• Date: Fri, 8 Sep 2023 11:58:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 18:03:24.941814
• Title: Revisiting the Encoding of Satellite Image Time Series
• Title（参考訳）: 衛星画像時系列の符号化の再検討
• Authors: Xin Cai, Yaxin Bi, Peter Nicholl, and Roy Sterritt
• Abstract要約: 画像時系列(SITS)時間学習は、高時間分解能と不規則な取得時間のために複雑である。 我々は、クエリベースのトランスフォーマーデコーダを採用する最近のトレンドに触発されて、直接セット予測問題としてSITS処理の新たな視点を開発する。 衛星PASTISベンチマークデータセットを用いて,SOTA(State-of-the-art)の新たな結果を得た。
• 参考スコア（独自算出の注目度）: 2.5874041837241304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Satellite Image Time Series (SITS) representation learning is complex due to high spatiotemporal resolutions, irregular acquisition times, and intricate spatiotemporal interactions. These challenges result in specialized neural network architectures tailored for SITS analysis. The field has witnessed promising results achieved by pioneering researchers, but transferring the latest advances or established paradigms from Computer Vision (CV) to SITS is still highly challenging due to the existing suboptimal representation learning framework. In this paper, we develop a novel perspective of SITS processing as a direct set prediction problem, inspired by the recent trend in adopting query-based transformer decoders to streamline the object detection or image segmentation pipeline. We further propose to decompose the representation learning process of SITS into three explicit steps: collect-update-distribute, which is computationally efficient and suits for irregularly-sampled and asynchronous temporal satellite observations. Facilitated by the unique reformulation, our proposed temporal learning backbone of SITS, initially pre-trained on the resource efficient pixel-set format and then fine-tuned on the downstream dense prediction tasks, has attained new state-of-the-art (SOTA) results on the PASTIS benchmark dataset. Specifically, the clear separation between temporal and spatial components in the semantic/panoptic segmentation pipeline of SITS makes us leverage the latest advances in CV, such as the universal image segmentation architecture, resulting in a noticeable 2.5 points increase in mIoU and 8.8 points increase in PQ, respectively, compared to the best scores reported so far.
• Abstract（参考訳）: 衛星画像時系列(SITS)表現学習は、高時空間分解能、不規則な取得時間、複雑な時空間相互作用により複雑である。 これらの課題は、SITS分析に適した、特殊なニューラルネットワークアーキテクチャをもたらす。 この分野では先駆的な研究者による有望な成果が見られたが、コンピュータビジョン(CV)からSITSへの最新の進歩や確立されたパラダイムの移行は、既存の準最適表現学習フレームワークのため、依然として非常に難しい。 本稿では、オブジェクト検出や画像分割パイプラインの合理化にクエリベースのトランスフォーマーデコーダを採用する最近のトレンドに触発されて、直接セット予測問題としてのSITS処理の新たな視点を開発する。 さらに,SITSの表現学習プロセスを3つの明示的なステップに分解することを提案する。 今回提案したSITSの時間的学習バックボーンは,資源効率のよいピクセルセットフォーマットで事前学習され,下流の高密度予測タスクで微調整され,PASTISベンチマークデータセット上で新たなSOTA(State-of-the-art)結果が得られた。 具体的には,sitsのセマンティック/パンオプティカルセグメンテーションパイプラインにおける時間成分と空間成分の明瞭な分離により,ユニバーサルイメージセグメンテーションアーキテクチャなどのcvの最新の進歩を活かし,これまでに報告された最高のスコアと比較して,miouが2.5ポイント,pqが8.8ポイントそれぞれ増加した。

関連論文リスト

• Paving the way toward foundation models for irregular and unaligned Satellite Image Time Series [0.0]
  衛星画像の空間的, スペクトル的, 時間的次元を考慮したALISEを提案する。 SITSで現在利用可能なSSLモデルとは異なり、ALISEはSITSを共通の学習された時間的プロジェクション空間に投影するための柔軟なクエリメカニズムを組み込んでいる。 PASTIS, 土地被覆区分 (MultiSenGE) , 新たな作物変化検出データセットの3つの下流課題を通じて, 生産された表現の質を評価する。
  論文  参考訳（メタデータ） (2024-07-11T12:42:10Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• Distillation Enhanced Time Series Forecasting Network with Momentum Contrastive Learning [7.4106801792345705]
  長周期時系列予測のための革新的蒸留強化フレームワークであるDE-TSMCLを提案する。 具体的には、タイムスタンプをマスクするかどうかを適応的に学習する学習可能なデータ拡張機構を設計する。 そこで本研究では,時系列のサンプル間および時間内相関を探索するために,モーメントを更新したコントラスト学習タスクを提案する。 複数のタスクからモデル損失を発生させることで、下流予測タスクの効果的な表現を学習することができる。
  論文  参考訳（メタデータ） (2024-01-31T12:52:10Z)
• ViTs for SITS: Vision Transformers for Satellite Image Time Series [52.012084080257544]
  ビジョン変換器(ViT)に基づく一般衛星画像時系列(SITS)処理のための完全アテンショナルモデルを提案する。 TSViTはSITSレコードを空間と時間で重複しないパッチに分割し、トークン化し、分解されたテンポロ空間エンコーダで処理する。
  論文  参考訳（メタデータ） (2023-01-12T11:33:07Z)
• SatMAE: Pre-training Transformers for Temporal and Multi-Spectral Satellite Imagery [74.82821342249039]
  Masked Autoencoder(MAE)に基づく時間・マルチスペクトル衛星画像の事前学習フレームワークであるSatMAEについて述べる。 時間的情報を活用するために、時間にわたって画像パッチを個別にマスキングする時間的埋め込みを含む。
  論文  参考訳（メタデータ） (2022-07-17T01:35:29Z)
• STIP: A SpatioTemporal Information-Preserving and Perception-Augmented Model for High-Resolution Video Prediction [78.129039340528]
  本稿では、上記の2つの問題を解決するために、時空間情報保存・知覚拡張モデル(STIP)を提案する。 提案モデルは,特徴抽出と状態遷移中の映像の時間的情報を保存することを目的としている。 実験結果から,提案したSTIPは,様々な最先端手法と比較して,より良好な映像品質で映像を予測できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-09T09:49:04Z)
• Investigating Temporal Convolutional Neural Networks for Satellite Image Time Series Classification: A survey [0.0]
  時間的CNNは、SITS分類タスクに採用され、結果を奨励している。 本稿では,本手法をSITS分類の多くの現代的手法と比較し,近年の文献における既存の知見の検証を試みる。 2つのベンチマークSITSデータセットで実験を行い、Temporal CNNが比較ベンチマークアルゴリズムよりも優れた性能を示すことを示した。
  論文  参考訳（メタデータ） (2022-04-13T14:08:14Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Unsupervised Monocular Depth Learning with Integrated Intrinsics and Spatio-Temporal Constraints [61.46323213702369]
  本研究は,大規模深度マップとエゴモーションを予測可能な教師なし学習フレームワークを提案する。 本結果は,KITTI運転データセットの複数シーケンスにおける現在の最先端技術と比較して,高い性能を示す。
  論文  参考訳（メタデータ） (2020-11-02T22:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。