論文の概要: Paving the way toward foundation models for irregular and unaligned Satellite Image Time Series
- arxiv url: http://arxiv.org/abs/2407.08448v1
- Date: Thu, 11 Jul 2024 12:42:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-12 17:39:27.518805
- Title: Paving the way toward foundation models for irregular and unaligned Satellite Image Time Series
- Title(参考訳): 不規則・不整合衛星画像時系列の基礎モデルへの道を開く
- Authors: Iris Dumeur, Silvia Valero, Jordi Inglada,
- Abstract要約: ALIgned Sits (ALISE) を提案する。
SITSで現在利用可能なSSLモデルとは異なり、ALISEはSITSを共通の学習された時間的プロジェクション空間に投影するための柔軟なクエリメカニズムを組み込んでいる。
PASTIS, 土地被覆区分 (MultiSenGE) , 新たな作物変化検出データセットの3つの下流課題を通じて, 生産された表現の質を評価する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although recently several foundation models for satellite remote sensing imagery have been proposed, they fail to address major challenges of real/operational applications. Indeed, embeddings that don't take into account the spectral, spatial and temporal dimensions of the data as well as the irregular or unaligned temporal sampling are of little use for most real world uses.As a consequence, we propose an ALIgned Sits Encoder (ALISE), a novel approach that leverages the spatial, spectral, and temporal dimensions of irregular and unaligned SITS while producing aligned latent representations. Unlike SSL models currently available for SITS, ALISE incorporates a flexible query mechanism to project the SITS into a common and learned temporal projection space. Additionally, thanks to a multi-view framework, we explore integration of instance discrimination along a masked autoencoding task to SITS. The quality of the produced representation is assessed through three downstream tasks: crop segmentation (PASTIS), land cover segmentation (MultiSenGE), and a novel crop change detection dataset. Furthermore, the change detection task is performed without supervision. The results suggest that the use of aligned representations is more effective than previous SSL methods for linear probing segmentation tasks.
- Abstract(参考訳): 近年,衛星リモートセンシング画像の基礎モデルがいくつか提案されているが,実・運用上の大きな課題に対処するには至っていない。
実際、データのスペクトル、空間的、時間的次元や不規則な時間的サンプリングを考慮しない埋め込みは、ほとんどの現実世界ではほとんど役に立たないが、結果として、不規則で非整合なSITSの空間的、スペクトル的、時間的次元を活用する新しいアプローチであるALISE(ALIgned Sits Encoder)を提案する。
SITSで現在利用可能なSSLモデルとは異なり、ALISEはSITSを共通の学習された時間的プロジェクション空間に投影するための柔軟なクエリメカニズムを組み込んでいる。
さらに、マルチビューフレームワークにより、マスク付き自動エンコーディングタスクとSITSのインスタンス識別の統合について検討する。
生成した表現の質は、3つの下流タスク(PASTIS)、土地被覆セグメンテーション(MultiSenGE)、および新しい作物変化検出データセットによって評価される。
さらに、変更検出タスクを監督せずに行う。
その結果,線形探索セグメンテーションタスクにおいて,アライメント表現の使用は従来のSSLメソッドよりも効果的であることが示唆された。
関連論文リスト
- Exact: Exploring Space-Time Perceptive Clues for Weakly Supervised Satellite Image Time Series Semantic Segmentation [11.193770734116981]
本論文は,作物マッピングタスクを総括的アノテーション負担から解放する,弱教師付きパラダイム(画像レベルのカテゴリのみ使用可能な)を取り入れたものである。
本稿では,時空知覚的手がかりを探索する新しい手法を提案する。
本手法は,様々なSITSベンチマークにおいて顕著な性能を示す。
論文 参考訳(メタデータ) (2024-12-05T08:37:56Z) - PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
私たちはaを提案します。
フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。
我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
論文 参考訳(メタデータ) (2024-06-04T13:51:08Z) - GaitASMS: Gait Recognition by Adaptive Structured Spatial Representation
and Multi-Scale Temporal Aggregation [2.0444600042188448]
歩行認識は、最も有望なビデオベースの生体認証技術の一つである。
本稿では,GaitASMSと呼ばれる新しい歩行認識フレームワークを提案する。
適応的な空間表現を効果的に抽出し、多スケールの時間情報を自然に集約することができる。
論文 参考訳(メタデータ) (2023-07-29T13:03:17Z) - Revisiting the Encoding of Satellite Image Time Series [2.5874041837241304]
画像時系列(SITS)時間学習は、高時間分解能と不規則な取得時間のために複雑である。
我々は、クエリベースのトランスフォーマーデコーダを採用する最近のトレンドに触発されて、直接セット予測問題としてSITS処理の新たな視点を開発する。
衛星PASTISベンチマークデータセットを用いて,SOTA(State-of-the-art)の新たな結果を得た。
論文 参考訳(メタデータ) (2023-05-03T12:44:20Z) - Spatial-Aware Token for Weakly Supervised Object Localization [137.0570026552845]
タスク固有の空間認識トークンを,弱教師付き方式で条件定位に提案する。
実験の結果、SATはCUB-200とImageNetの両方で、98.45%と73.13%のGT-known Locで最先端のパフォーマンスを達成した。
論文 参考訳(メタデータ) (2023-03-18T15:38:17Z) - ViTs for SITS: Vision Transformers for Satellite Image Time Series [52.012084080257544]
ビジョン変換器(ViT)に基づく一般衛星画像時系列(SITS)処理のための完全アテンショナルモデルを提案する。
TSViTはSITSレコードを空間と時間で重複しないパッチに分割し、トークン化し、分解されたテンポロ空間エンコーダで処理する。
論文 参考訳(メタデータ) (2023-01-12T11:33:07Z) - Latent Space Unsupervised Semantic Segmentation [0.0]
従来の変更点検出アルゴリズムには欠点があり、現実の応用性が制限されている。
本研究は,Latent Space Unsupervised (LS-USS) という新しい非教師付き多次元時系列を提案する。
LS-USSは、オフラインとリアルタイムの両方で、同等またはより良いパフォーマンスをシステマティックに達成する。
論文 参考訳(メタデータ) (2022-07-22T13:11:42Z) - SatMAE: Pre-training Transformers for Temporal and Multi-Spectral
Satellite Imagery [74.82821342249039]
Masked Autoencoder(MAE)に基づく時間・マルチスペクトル衛星画像の事前学習フレームワークであるSatMAEについて述べる。
時間的情報を活用するために、時間にわたって画像パッチを個別にマスキングする時間的埋め込みを含む。
論文 参考訳(メタデータ) (2022-07-17T01:35:29Z) - Tampered VAE for Improved Satellite Image Time Series Classification [1.933681537640272]
ピラミッド時間系列変換器(PTST)は時間次元のみで動作する。
本稿では,クラスタリング機構を潜在空間に導入する分類フレンドリなVAEフレームワークを提案する。
提案するフレームワークが,SITSによる作物分類のベースラインとして機能し,モジュール性と簡易性を期待する。
論文 参考訳(メタデータ) (2022-03-30T08:48:06Z) - Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。
HSI再構成のための深層学習にHSI空間を埋め込んだCST
特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
論文 参考訳(メタデータ) (2022-03-09T16:17:47Z) - Self-Guided Adaptation: Progressive Representation Alignment for Domain
Adaptive Object Detection [86.69077525494106]
非教師なしドメイン適応(UDA)は、オブジェクト検出モデルのドメイン間ロバスト性を改善するために前例のない成功を収めた。
既存のUDA手法は、モデル学習中の瞬間的なデータ分布を無視しており、大きなドメインシフトによって特徴表現が劣化する可能性がある。
本稿では、特徴表現の整合とドメイン間のオブジェクト検出モデルの転送を目標とする自己ガイド適応モデルを提案する。
論文 参考訳(メタデータ) (2020-03-19T13:30:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。