論文の概要: Multi-Modal and Multi-Resolution Data Fusion for High-Resolution Cloud Removal: A Novel Baseline and Benchmark
- arxiv url: http://arxiv.org/abs/2301.03432v2
- Date: Fri, 11 Oct 2024 05:43:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-14 13:28:34.617115
- Title: Multi-Modal and Multi-Resolution Data Fusion for High-Resolution Cloud Removal: A Novel Baseline and Benchmark
- Title(参考訳): 高分解能雲除去のためのマルチモーダル・マルチリゾリューションデータフュージョン:新しいベースラインとベンチマーク
- Authors: Fang Xu, Yilei Shi, Patrick Ebel, Wen Yang, Xiao Xiang Zhu,
- Abstract要約: マルチモーダルおよびマルチリゾリューションデータ融合を用いた高分解能クラウド除去のためのベンチマークデータセットであるM3R-CRを紹介する。
マルチモーダル・マルチレゾリューション情報の統合による高解像度光リモートセンシング画像における雲除去の問題点を考察する。
我々は、低解像度SAR画像誘導高解像度光画像雲除去を行うためのAlign-CRという新しいベースラインを設計する。
- 参考スコア(独自算出の注目度): 21.255966041023083
- License:
- Abstract: Cloud removal is a significant and challenging problem in remote sensing, and in recent years, there have been notable advancements in this area. However, two major issues remain hindering the development of cloud removal: the unavailability of high-resolution imagery for existing datasets and the absence of evaluation regarding the semantic meaningfulness of the generated structures. In this paper, we introduce M3R-CR, a benchmark dataset for high-resolution Cloud Removal with Multi-Modal and Multi-Resolution data fusion. With this dataset, we consider the problem of cloud removal in high-resolution optical remote sensing imagery by integrating multi-modal and multi-resolution information. In this context, we have to take into account the alignment errors caused by the multi-resolution nature, along with the more pronounced misalignment issues in high-resolution images due to inherent imaging mechanism differences and other factors. Existing multi-modal data fusion based methods, which assume the image pairs are aligned accurately at pixel-level, are thus not appropriate for this problem. To this end, we design a new baseline named Align-CR to perform the low-resolution SAR image guided high-resolution optical image cloud removal. It gradually warps and fuses the features of the multi-modal and multi-resolution data during the reconstruction process, effectively mitigating concerns associated with misalignment. In the experiments, we evaluate the performance of cloud removal by analyzing the quality of visually pleasing textures using image reconstruction metrics and further analyze the generation of semantically meaningful structures using a well-established semantic segmentation task. The proposed Align-CR method is superior to other baseline methods in both areas.
- Abstract(参考訳): クラウドの除去はリモートセンシングにおいて重要で困難な問題であり、近年はこの分野で顕著な進歩を遂げている。
しかし、既存のデータセットに対する高解像度画像の可用性の欠如と、生成された構造の意味的意味性に関する評価の欠如という2つの大きな問題が、クラウド除去の進展を妨げるままである。
本稿では,マルチモーダル・マルチリゾリューションデータ融合を用いた高分解能クラウド除去のためのベンチマークデータセットであるM3R-CRを紹介する。
本データセットでは,マルチモーダル・マルチレゾリューション情報を統合することにより,高解像度光リモートセンシング画像における雲除去の問題点を考察する。
この文脈では、多重解像度の性質に起因するアライメントエラーと、固有の画像メカニズムの違いやその他の要因により、高解像度画像におけるより顕著な不整合の問題を考慮する必要がある。
既存のマルチモーダルデータ融合法では、画像対がピクセルレベルで正確に整列していると仮定しているが、この問題には適していない。
そこで我々は,低分解能SAR画像に高分解能光雲除去を誘導するAlign-CRという新しいベースラインを設計した。
再建過程における多モード・多解像度データの特徴を徐々にゆがめ、融合させ、誤認識に関連する懸念を効果的に緩和する。
実験では,画像再構成の指標を用いて視覚的なテクスチャの質を分析して雲の除去性能を評価するとともに,よく確立されたセマンティックセグメンテーションタスクを用いて意味的意味構造の生成を解析した。
提案したAlign-CR法は両領域の他のベースライン法よりも優れている。
関連論文リスト
- Multi-view Aggregation Network for Dichotomous Image Segmentation [76.75904424539543]
Dichotomous Image (DIS) は近年,高解像度自然画像からの高精度物体分割に向けて出現している。
既存の手法は、グローバルなローカライゼーションと局所的な洗練を徐々に完了させるために、退屈な複数のエンコーダ・デコーダストリームとステージに依存している。
これに触発されて、我々は多視点オブジェクト認識問題としてdisをモデル化し、擬似多視点アグリゲーションネットワーク(MVANet)を提供する。
一般的なdis-5Kデータセットの実験では、我々のMVANetは精度と速度の両方で最先端の手法を大きく上回っている。
論文 参考訳(メタデータ) (2024-04-11T03:00:00Z) - Diffusion Enhancement for Cloud Removal in Ultra-Resolution Remote
Sensing Imagery [48.14610248492785]
雲層は、光学リモートセンシング(RS)画像の品質と効果を著しく損なう。
既存のディープラーニング(DL)ベースのクラウド削除(CR)技術は、元の視覚的正当性と画像の詳細なセマンティック内容の正確な再構築に困難を伴う。
この課題に対処するために、データと方法論の面での強化を提案する。
論文 参考訳(メタデータ) (2024-01-25T13:14:17Z) - Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。
我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
論文 参考訳(メタデータ) (2022-04-19T17:59:45Z) - A new public Alsat-2B dataset for single-image super-resolution [1.284647943889634]
本稿では,低空間解像度画像(10m, 2.5m)と高空間解像度画像(10m, 2.5m)の新たなリモートセンシングデータセット(Alsat2B)を提案する。
パンシャープ化により高分解能画像を得る。
その結果,提案手法は有望であり,データセットの課題を強調していることがわかった。
論文 参考訳(メタデータ) (2021-03-21T10:47:38Z) - Deep Burst Super-Resolution [165.90445859851448]
バースト超解像タスクのための新しいアーキテクチャを提案する。
我々のネットワークは複数のノイズRAW画像を入力として取り出し、出力として分解された超解像RGB画像を生成する。
実世界のデータのトレーニングと評価を可能にするため,BurstSRデータセットも導入する。
論文 参考訳(メタデータ) (2021-01-26T18:57:21Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳(メタデータ) (2020-03-15T11:04:30Z) - Gated Fusion Network for Degraded Image Super Resolution [78.67168802945069]
本稿では,基本特徴と回復特徴を別々に抽出する二分岐畳み込みニューラルネットワークを提案する。
特徴抽出ステップを2つのタスク非依存ストリームに分解することで、デュアルブランチモデルがトレーニングプロセスを容易にすることができる。
論文 参考訳(メタデータ) (2020-03-02T13:28:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。