論文の概要: Towards On-Board Panoptic Segmentation of Multispectral Satellite Images
- arxiv url: http://arxiv.org/abs/2204.01952v1
- Date: Tue, 5 Apr 2022 03:10:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-06 13:34:42.120390
- Title: Towards On-Board Panoptic Segmentation of Multispectral Satellite Images
- Title（参考訳）: マルチスペクトル衛星画像のオンボードパノプティクス分割に向けて
- Authors: Tharindu Fernando, Clinton Fookes, Harshala Gammulle, Simon Denman,
Sridha Sridharan
- Abstract要約: マルチスペクトル衛星画像の単眼分割のための軽量パイプラインを提案する。
パノプティカル・セグメンテーションは、農地からの収量推定から複雑な軍事用途のための知性まで、主要な経済・環境の洞察を提供する。
本評価は,既存の最先端モデルと比較して精度が大幅に向上したことを示す。
- 参考スコア（独自算出の注目度）: 41.34294145237618
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With tremendous advancements in low-power embedded computing devices and
remote sensing instruments, the traditional satellite image processing pipeline
which includes an expensive data transfer step prior to processing data on the
ground is being replaced by on-board processing of captured data. This paradigm
shift enables critical and time-sensitive analytic intelligence to be acquired
in a timely manner on-board the satellite itself. However, at present, the
on-board processing of multi-spectral satellite images is limited to
classification and segmentation tasks. Extending this processing to its next
logical level, in this paper we propose a lightweight pipeline for on-board
panoptic segmentation of multi-spectral satellite images. Panoptic segmentation
offers major economic and environmental insights, ranging from yield estimation
from agricultural lands to intelligence for complex military applications.
Nevertheless, the on-board intelligence extraction raises several challenges
due to the loss of temporal observations and the need to generate predictions
from a single image sample. To address this challenge, we propose a multimodal
teacher network based on a cross-modality attention-based fusion strategy to
improve the segmentation accuracy by exploiting data from multiple modes. We
also propose an online knowledge distillation framework to transfer the
knowledge learned by this multi-modal teacher network to a uni-modal student
which receives only a single frame input, and is more appropriate for an
on-board environment. We benchmark our approach against existing
state-of-the-art panoptic segmentation models using the PASTIS multi-spectral
panoptic segmentation dataset considering an on-board processing setting. Our
evaluations demonstrate a substantial increase in accuracy metrics compared to
the existing state-of-the-art models.
- Abstract（参考訳）: 低消費電力の組み込みコンピューティングデバイスやリモートセンシング機器の大幅な進歩により、地上のデータ処理に先立つ高価なデータ転送ステップを含む従来の衛星画像処理パイプラインは、キャプチャーデータのオンボード処理に置き換えられている。
このパラダイムシフトにより、クリティカルで時間に敏感な分析インテリジェンスを衛星自体にタイムリーに取得することができる。
しかし、現在、マルチスペクトル衛星画像のオンボード処理は、分類とセグメンテーションのタスクに限定されている。
本稿では、この処理を次の論理レベルにまで拡張し、マルチスペクトル衛星画像のオンボードパノプティクス分割のための軽量パイプラインを提案する。
パンオプティカルセグメンテーションは、農業用地からの収量の推定から複雑な軍事用途の知性まで、経済と環境に関する大きな洞察を提供する。
それでも、オンボードインテリジェンス抽出は、時間観測の損失と単一の画像サンプルから予測を生成する必要性のために、いくつかの課題を提起している。
この課題に対処するため,複数モードからのデータを活用してセグメンテーション精度を向上させるために,マルチモーダル・教師ネットワークを提案する。
また,このマルチモーダル教師ネットワークで学習した知識を,単一のフレーム入力のみを受け取り,オンボード環境に適した単モーダル学生に移すためのオンライン知識蒸留フレームワークを提案する。
オンボード処理設定を考慮したpatis multi-spectral panoptic segmentation datasetを用いた既存のパンオプティカルセグメンテーションモデルに対するアプローチのベンチマークを行った。
評価の結果,既存の最先端モデルと比較して精度が大幅に向上した。
関連論文リスト
- Enhancing Maritime Situational Awareness through End-to-End Onboard Raw Data Analysis [4.441792803766689]
本研究は、小型衛星の厳密な帯域幅、エネルギー、遅延制約に対処する枠組みを提案する。
衛星画像からの船舶の直接検出・分類における深層学習手法の適用について検討した。
本手法は,車載処理チェーンの簡素化により,キャリブレーションや整形などの計算集約的なステップを必要とせず,直接解析を容易にする。
論文 参考訳（メタデータ） (2024-11-05T18:38:42Z) - Evaluating the Efficacy of Cut-and-Paste Data Augmentation in Semantic Segmentation for Satellite Imagery [4.499833362998487]
本研究では,衛星画像のセマンティックセグメンテーションにおけるカット・アンド・ペースト拡張手法の有効性について検討した。
私たちは、通常ラベル付きインスタンスを必要とするこの拡張を、セマンティックセグメンテーションのケースに適用します。
評価のためにDynamicEarthNetデータセットとU-Netモデルを用いて、この拡張により、テストセットのmIoUスコアが37.9から44.1に大幅に向上することを発見した。
論文 参考訳（メタデータ） (2024-04-08T17:18:30Z) - SatSynth: Augmenting Image-Mask Pairs through Diffusion Models for Aerial Semantic Segmentation [69.42764583465508]
我々は,地球観測における注釈付きデータの不足に対処するために,生成的画像拡散の可能性を探る。
我々の知る限りでは、衛星セグメンテーションのための画像と対応するマスクの両方を最初に生成する。
論文 参考訳（メタデータ） (2024-03-25T10:30:22Z) - Rethinking Transformers Pre-training for Multi-Spectral Satellite
Imagery [78.43828998065071]
教師なし学習の最近の進歩は、下流タスクにおける有望な結果を達成するための大きな視覚モデルの可能性を示している。
このような事前学習技術は、大量の未学習データが利用可能であることから、リモートセンシング領域でも最近研究されている。
本稿では,マルチモーダルで効果的に活用されるマルチスケール情報の事前学習と活用について述べる。
論文 参考訳（メタデータ） (2024-03-08T16:18:04Z) - Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。
従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。
本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
論文 参考訳（メタデータ） (2023-12-19T08:14:14Z) - Revisiting the Encoding of Satellite Image Time Series [2.5874041837241304]
画像時系列(SITS)時間学習は、高時間分解能と不規則な取得時間のために複雑である。
我々は、クエリベースのトランスフォーマーデコーダを採用する最近のトレンドに触発されて、直接セット予測問題としてSITS処理の新たな視点を開発する。
衛星PASTISベンチマークデータセットを用いて,SOTA(State-of-the-art)の新たな結果を得た。
論文 参考訳（メタデータ） (2023-05-03T12:44:20Z) - Unsupervised Discovery of Semantic Concepts in Satellite Imagery with
Style-based Wavelet-driven Generative Models [27.62417543307831]
本稿では,衛星画像の広帯域合成が可能な,最初の事前学習型およびウェーブレット型GANモデルを提案する。
ネットワークの中間的アクティベーションを解析することにより、解釈可能なセマンティックな方向を多数発見できることが示される。
論文 参考訳（メタデータ） (2022-08-03T14:19:24Z) - SatMAE: Pre-training Transformers for Temporal and Multi-Spectral
Satellite Imagery [74.82821342249039]
Masked Autoencoder(MAE)に基づく時間・マルチスペクトル衛星画像の事前学習フレームワークであるSatMAEについて述べる。
時間的情報を活用するために、時間にわたって画像パッチを個別にマスキングする時間的埋め込みを含む。
論文 参考訳（メタデータ） (2022-07-17T01:35:29Z) - X-ModalNet: A Semi-Supervised Deep Cross-Modal Network for
Classification of Remote Sensing Data [69.37597254841052]
我々はX-ModalNetと呼ばれる新しいクロスモーダルディープラーニングフレームワークを提案する。
X-ModalNetは、ネットワークの上部にある高レベルな特徴によって構築されたアップダスタブルグラフ上にラベルを伝搬するため、うまく一般化する。
我々は2つのマルチモーダルリモートセンシングデータセット(HSI-MSIとHSI-SAR)上でX-ModalNetを評価し、いくつかの最先端手法と比較して大幅に改善した。
論文 参考訳（メタデータ） (2020-06-24T15:29:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。