論文の概要: Multi-Modal and Multi-Resolution Data Fusion for High-Resolution Cloud Removal: A Novel Baseline and Benchmark

• arxiv url: http://arxiv.org/abs/2301.03432v2
• Date: Fri, 11 Oct 2024 05:43:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-14 13:28:34.617115
• Title: Multi-Modal and Multi-Resolution Data Fusion for High-Resolution Cloud Removal: A Novel Baseline and Benchmark
• Title（参考訳）: 高分解能雲除去のためのマルチモーダル・マルチリゾリューションデータフュージョン:新しいベースラインとベンチマーク
• Authors: Fang Xu, Yilei Shi, Patrick Ebel, Wen Yang, Xiao Xiang Zhu,
• Abstract要約: マルチモーダルおよびマルチリゾリューションデータ融合を用いた高分解能クラウド除去のためのベンチマークデータセットであるM3R-CRを紹介する。 マルチモーダル・マルチレゾリューション情報の統合による高解像度光リモートセンシング画像における雲除去の問題点を考察する。 我々は、低解像度SAR画像誘導高解像度光画像雲除去を行うためのAlign-CRという新しいベースラインを設計する。
• 参考スコア（独自算出の注目度）: 21.255966041023083
• License:
• Abstract: Cloud removal is a significant and challenging problem in remote sensing, and in recent years, there have been notable advancements in this area. However, two major issues remain hindering the development of cloud removal: the unavailability of high-resolution imagery for existing datasets and the absence of evaluation regarding the semantic meaningfulness of the generated structures. In this paper, we introduce M3R-CR, a benchmark dataset for high-resolution Cloud Removal with Multi-Modal and Multi-Resolution data fusion. With this dataset, we consider the problem of cloud removal in high-resolution optical remote sensing imagery by integrating multi-modal and multi-resolution information. In this context, we have to take into account the alignment errors caused by the multi-resolution nature, along with the more pronounced misalignment issues in high-resolution images due to inherent imaging mechanism differences and other factors. Existing multi-modal data fusion based methods, which assume the image pairs are aligned accurately at pixel-level, are thus not appropriate for this problem. To this end, we design a new baseline named Align-CR to perform the low-resolution SAR image guided high-resolution optical image cloud removal. It gradually warps and fuses the features of the multi-modal and multi-resolution data during the reconstruction process, effectively mitigating concerns associated with misalignment. In the experiments, we evaluate the performance of cloud removal by analyzing the quality of visually pleasing textures using image reconstruction metrics and further analyze the generation of semantically meaningful structures using a well-established semantic segmentation task. The proposed Align-CR method is superior to other baseline methods in both areas.
• Abstract（参考訳）: クラウドの除去はリモートセンシングにおいて重要で困難な問題であり、近年はこの分野で顕著な進歩を遂げている。 しかし、既存のデータセットに対する高解像度画像の可用性の欠如と、生成された構造の意味的意味性に関する評価の欠如という2つの大きな問題が、クラウド除去の進展を妨げるままである。 本稿では,マルチモーダル・マルチリゾリューションデータ融合を用いた高分解能クラウド除去のためのベンチマークデータセットであるM3R-CRを紹介する。 本データセットでは,マルチモーダル・マルチレゾリューション情報を統合することにより,高解像度光リモートセンシング画像における雲除去の問題点を考察する。 この文脈では、多重解像度の性質に起因するアライメントエラーと、固有の画像メカニズムの違いやその他の要因により、高解像度画像におけるより顕著な不整合の問題を考慮する必要がある。 既存のマルチモーダルデータ融合法では、画像対がピクセルレベルで正確に整列していると仮定しているが、この問題には適していない。 そこで我々は,低分解能SAR画像に高分解能光雲除去を誘導するAlign-CRという新しいベースラインを設計した。 再建過程における多モード・多解像度データの特徴を徐々にゆがめ、融合させ、誤認識に関連する懸念を効果的に緩和する。 実験では,画像再構成の指標を用いて視覚的なテクスチャの質を分析して雲の除去性能を評価するとともに,よく確立されたセマンティックセグメンテーションタスクを用いて意味的意味構造の生成を解析した。 提案したAlign-CR法は両領域の他のベースライン法よりも優れている。

関連論文リスト

• Diffusion Enhancement for Cloud Removal in Ultra-Resolution Remote Sensing Imagery [48.14610248492785]
  雲層は、光学リモートセンシング(RS)画像の品質と効果を著しく損なう。 既存のディープラーニング(DL)ベースのクラウド削除(CR)技術は、元の視覚的正当性と画像の詳細なセマンティック内容の正確な再構築に困難を伴う。 この課題に対処するために、データと方法論の面での強化を提案する。
  論文  参考訳（メタデータ） (2024-01-25T13:14:17Z)
• Searching a Compact Architecture for Robust Multi-Exposure Image Fusion [55.37210629454589]
  2つの大きなスタブリングブロックは、画素の不一致や非効率な推論など、開発を妨げる。 本研究では,高機能なマルチ露光画像融合のための自己アライメントとディテールリプレクションモジュールを取り入れたアーキテクチャ検索に基づくパラダイムを提案する。 提案手法は様々な競争方式より優れており、一般的なシナリオではPSNRが3.19%向上し、不整合シナリオでは23.5%向上した。
  論文  参考訳（メタデータ） (2023-05-20T17:01:52Z)
• Learning Enriched Features for Fast Image Restoration and Enhancement [166.17296369600774]
  本稿では,ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とする。 我々は、高解像度の空間的詳細を同時に保存しながら、複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。 提案手法は,デフォーカス・デブロアリング,画像デノイング,超解像,画像強調など,さまざまな画像処理タスクに対して,最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-04-19T17:59:45Z)
• High-resolution Depth Maps Imaging via Attention-based Hierarchical Multi-modal Fusion [84.24973877109181]
  誘導DSRのための新しい注意に基づく階層型マルチモーダル融合ネットワークを提案する。 本手法は,再現精度,動作速度,メモリ効率の点で最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-04T03:28:33Z)
• Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
  畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。 ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。 提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
  論文  参考訳（メタデータ） (2020-03-15T11:04:30Z)
• Gated Fusion Network for Degraded Image Super Resolution [78.67168802945069]
  本稿では,基本特徴と回復特徴を別々に抽出する二分岐畳み込みニューラルネットワークを提案する。 特徴抽出ステップを2つのタスク非依存ストリームに分解することで、デュアルブランチモデルがトレーニングプロセスを容易にすることができる。
  論文  参考訳（メタデータ） (2020-03-02T13:28:32Z)
• Multimodal Deep Unfolding for Guided Image Super-Resolution [23.48305854574444]
  ディープラーニング手法は、低解像度の入力から高解像度の出力へのエンドツーエンドのマッピングを学習するために、トレーニングデータに依存する。 本稿では,スパース事前を組み込んだマルチモーダル深層学習設計を提案し,他の画像モダリティからの情報をネットワークアーキテクチャに効果的に統合する。 提案手法は,サイド情報を用いた畳み込みスパース符号化の反復的アルゴリズムに類似した,新しい展開演算子に依存している。
  論文  参考訳（メタデータ） (2020-01-21T14:41:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。