論文の概要: Rethinking the Encoding of Satellite Image Time Series

• arxiv url: http://arxiv.org/abs/2305.02086v1
• Date: Wed, 3 May 2023 12:44:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-04 14:55:14.286700
• Title: Rethinking the Encoding of Satellite Image Time Series
• Title（参考訳）: 衛星画像時系列の符号化の再考
• Authors: Xin Cai, Yaxin Bi, Peter Nicholl, and Roy Sterritt
• Abstract要約: 我々は、直接セット予測問題としてSITS処理のユニークな視点を開発する。 本稿では,SITSの表現パイプライン学習プロセスを3段階に分割する。 PASTISデータセットの新たな最先端結果が、U-TAEのようなニューラルアーキテクチャに関する新たな最先端結果を得た。
• 参考スコア（独自算出の注目度）: 1.5749416770494706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation learning of Satellite Image Time Series (SITS) presents its unique challenges, such as prohibitive computation burden caused by high spatiotemporal resolutions, irregular acquisition times, and complex spatiotemporal interactions, leading to highly-specialized neural network architectures for SITS analysis. Despite the promising results achieved by some pioneering work, we argue that satisfactory representation learning paradigms have not yet been established for SITS analysis, causing an isolated island where transferring successful paradigms or the latest advances from Computer Vision (CV) to SITS is arduous. In this paper, we develop a unique perspective of SITS processing as a direct set prediction problem, inspired by the recent trend in adopting query-based transformer decoders to streamline the object detection or image segmentation pipeline, and further propose to decompose the representation learning process of SITS into three explicit steps: collect--update--distribute, which is computationally efficient and suits for irregularly-sampled and asynchronous temporal observations. Facilitated by the unique reformulation and effective feature extraction framework proposed, our models pre-trained on pixel-set format input and then fine-tuned on downstream dense prediction tasks by simply appending a commonly-used segmentation network have attained new state-of-the-art (SoTA) results on PASTIS dataset compared to bespoke neural architectures such as U-TAE. Furthermore, the clear separation, conceptually and practically, between temporal and spatial components in the panoptic segmentation pipeline of SITS allows us to leverage the recent advances in CV, such as Mask2Former, a universal segmentation architecture, resulting in a noticeable 8.8 points increase in PQ compared to the best score reported so far.
• Abstract（参考訳）: 衛星画像時系列(SITS)の表現学習は、高時空間分解による計算負荷の禁止、不規則な取得時間、複雑な時空間相互作用などの固有の課題を示し、SITS分析のための高度に特殊化されたニューラルネットワークアーキテクチャをもたらす。 先駆的な研究によって達成された有望な成果にもかかわらず、十分な表現学習パラダイムが未だ確立されていないため、成功したパラダイムやコンピュータビジョン(cv)からシットへの最新の進歩をもたらす孤立した島は困難である。 本稿では,オブジェクト検出や画像セグメンテーションパイプラインの合理化にクエリベースのトランスフォーマデコーダを採用する最近のトレンドに触発されて,直接セット予測問題としてのsits処理の独特な視点を開発し,さらに,sitsの表現学習プロセスを3つの明確なステップに分解する手法を提案する。 提案した一意の再構成と効果的な特徴抽出フレームワークにより,我々のモデルは,画素セット形式入力に基づいて事前訓練され,一般的に使用されているセグメンテーションネットワークを付加するだけで,下流の高密度予測タスクに微調整される。 さらに,sesのパンオプティカルセグメンテーションパイプラインにおける時間的・空間的成分間の明瞭な分離により,近年のcvの進歩である汎用セグメンテーションアーキテクチャであるmask2formerを活用し,これまでに報告された最高のスコアと比較して,pqが8.8ポイント増加した。

関連論文リスト

• Paving the way toward foundation models for irregular and unaligned Satellite Image Time Series [0.0]
  衛星画像の空間的, スペクトル的, 時間的次元を考慮したALISEを提案する。 SITSで現在利用可能なSSLモデルとは異なり、ALISEはSITSを共通の学習された時間的プロジェクション空間に投影するための柔軟なクエリメカニズムを組み込んでいる。 PASTIS, 土地被覆区分 (MultiSenGE) , 新たな作物変化検出データセットの3つの下流課題を通じて, 生産された表現の質を評価する。
  論文  参考訳（メタデータ） (2024-07-11T12:42:10Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• Distillation Enhanced Time Series Forecasting Network with Momentum Contrastive Learning [7.4106801792345705]
  長周期時系列予測のための革新的蒸留強化フレームワークであるDE-TSMCLを提案する。 具体的には、タイムスタンプをマスクするかどうかを適応的に学習する学習可能なデータ拡張機構を設計する。 そこで本研究では,時系列のサンプル間および時間内相関を探索するために,モーメントを更新したコントラスト学習タスクを提案する。 複数のタスクからモデル損失を発生させることで、下流予測タスクの効果的な表現を学習することができる。
  論文  参考訳（メタデータ） (2024-01-31T12:52:10Z)
• ViTs for SITS: Vision Transformers for Satellite Image Time Series [52.012084080257544]
  ビジョン変換器(ViT)に基づく一般衛星画像時系列(SITS)処理のための完全アテンショナルモデルを提案する。 TSViTはSITSレコードを空間と時間で重複しないパッチに分割し、トークン化し、分解されたテンポロ空間エンコーダで処理する。
  論文  参考訳（メタデータ） (2023-01-12T11:33:07Z)
• SatMAE: Pre-training Transformers for Temporal and Multi-Spectral Satellite Imagery [74.82821342249039]
  Masked Autoencoder(MAE)に基づく時間・マルチスペクトル衛星画像の事前学習フレームワークであるSatMAEについて述べる。 時間的情報を活用するために、時間にわたって画像パッチを個別にマスキングする時間的埋め込みを含む。
  論文  参考訳（メタデータ） (2022-07-17T01:35:29Z)
• STIP: A SpatioTemporal Information-Preserving and Perception-Augmented Model for High-Resolution Video Prediction [78.129039340528]
  本稿では、上記の2つの問題を解決するために、時空間情報保存・知覚拡張モデル(STIP)を提案する。 提案モデルは,特徴抽出と状態遷移中の映像の時間的情報を保存することを目的としている。 実験結果から,提案したSTIPは,様々な最先端手法と比較して,より良好な映像品質で映像を予測できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-09T09:49:04Z)
• Investigating Temporal Convolutional Neural Networks for Satellite Image Time Series Classification: A survey [0.0]
  時間的CNNは、SITS分類タスクに採用され、結果を奨励している。 本稿では,本手法をSITS分類の多くの現代的手法と比較し,近年の文献における既存の知見の検証を試みる。 2つのベンチマークSITSデータセットで実験を行い、Temporal CNNが比較ベンチマークアルゴリズムよりも優れた性能を示すことを示した。
  論文  参考訳（メタデータ） (2022-04-13T14:08:14Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Unsupervised Monocular Depth Learning with Integrated Intrinsics and Spatio-Temporal Constraints [61.46323213702369]
  本研究は,大規模深度マップとエゴモーションを予測可能な教師なし学習フレームワークを提案する。 本結果は,KITTI運転データセットの複数シーケンスにおける現在の最先端技術と比較して,高い性能を示す。
  論文  参考訳（メタデータ） (2020-11-02T22:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。