論文の概要: Learning to Pan-sharpening with Memories of Spatial Details

• arxiv url: http://arxiv.org/abs/2306.16181v3
• Date: Tue, 8 Aug 2023 15:50:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-09 16:34:26.667131
• Title: Learning to Pan-sharpening with Memories of Spatial Details
• Title（参考訳）: 空間的詳細記憶を用いたパンシャープ化への学習
• Authors: Maoxun Yuan, Tianyi Zhao, Bo Li, Xingxing Wei
• Abstract要約: 現在のパンシャーピング法は、通常、ペア化されたパンクロマトグラフィー(PAN)とMSイメージを入力として必要とする。 本研究では,PAN画像の輪郭を構成するために,いくつかのベースエッジを格納するPAN非依存表現を開発する。 メモリベースのネットワークは、トレーニングフェーズ中に空間の詳細を抽出し記憶するように適合する。
• 参考スコア（独自算出の注目度）: 18.620393231064575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pan-sharpening, as one of the most commonly used techniques in remote sensing systems, aims to inject spatial details from panchromatic images into multispectral images (MS) to obtain high-resolution multispectral images. Since deep learning has received widespread attention because of its powerful fitting ability and efficient feature extraction, a variety of pan-sharpening methods have been proposed to achieve remarkable performance. However, current pan-sharpening methods usually require the paired panchromatic (PAN) and MS images as input, which limits their usage in some scenarios. To address this issue, in this paper we observe that the spatial details from PAN images are mainly high-frequency cues, i.e., the edges reflect the contour of input PAN images. This motivates us to develop a PAN-agnostic representation to store some base edges, so as to compose the contour for the corresponding PAN image via them. As a result, we can perform the pan-sharpening task with only the MS image when inference. To this end, a memory-based network is adapted to extract and memorize the spatial details during the training phase and is used to replace the process of obtaining spatial information from PAN images when inference, which is called Memory-based Spatial Details Network (MSDN). Finally, we integrate the proposed MSDN module into the existing deep learning-based pan-sharpening methods to achieve an end-to-end pan-sharpening network. With extensive experiments on the Gaofen1 and WorldView-4 satellites, we verify that our method constructs good spatial details without PAN images and achieves the best performance. The code is available at https://github.com/Zhao-Tian-yi/Learning-to-Pan-sharpening-with-Memories-of-Spatial-Details.git.
• Abstract（参考訳）: リモートセンシングシステムにおいて最もよく用いられる技術の一つであるパンシャーペニングは、パンクロマティック画像からマルチスペクトル画像(MS)に空間的詳細を注入し、高解像度のマルチスペクトル画像を得る。 ディープラーニングはその強固な適合能力と効率的な特徴抽出によって広く注目を集めているため、優れた性能を達成するために様々なパンシャープ化手法が提案されている。 しかしながら、現在のパンシャーピング法では、通常、ペア化されたパンクロマトグラフィ(PAN)とMSイメージを入力として必要としており、いくつかのシナリオでは使用を制限している。 この問題に対処するために,本論文では,PAN画像の空間的詳細が主に高周波の手がかりである,すなわち入力PAN画像の輪郭を反映していることを観察する。 これにより,いくつかのベースエッジを格納するPAN非依存表現を開発し,それを介して対応するPAN画像の輪郭を構成することができる。 その結果、推定時にms画像のみを用いてパンシャープ化タスクを行うことができる。 この目的のために、メモリベースのネットワークは、トレーニングフェーズ中に空間の詳細を抽出して記憶するように適応し、メモリベースの空間詳細ネットワーク(MSDN)と呼ばれる推論時にPAN画像から空間情報を取得するプロセスを置き換えるために使用される。 最後に、提案したMSDNモジュールを既存のディープラーニングベースのパンシャーピング手法に統合し、エンドツーエンドのパンシャーピングネットワークを実現する。 我々はGaofen1衛星とWorldView-4衛星の広範な実験により、PAN画像なしで良好な空間的詳細を構築し、最高の性能を達成することを検証する。 コードはhttps://github.com/Zhao-Tian-yi/Learning-to-Pan-sharpening-with-Memories-of-Spatial-Details.gitで公開されている。

関連論文リスト

• CrossDiff: Exploring Self-Supervised Representation of Pansharpening via Cross-Predictive Diffusion Model [42.39485365164292]
  パンクロマチック (PAN) 画像とそれに対応するマルチスペクトル (MS) 画像の融合は、パンシャーパニング (pansharpening) とも呼ばれる。 高解像度のMS画像がないため、利用可能なディープラーニングベースの手法は通常、縮小解像度でのトレーニングと、縮小解像度と完全解像度の両方でのテストのパラダイムに従う。 そこで本研究では,クロスディフ(CrossDiff)と呼ばれる相互予測拡散モデルの設計により,パンシャルペンの自己制御表現について検討する。
  論文  参考訳（メタデータ） (2024-01-10T13:32:47Z)
• Sketch-Guided Text-to-Image Diffusion Models [57.12095262189362]
  本稿では,事前訓練されたテキスト-画像拡散モデルを示す普遍的なアプローチを提案する。 本手法では,タスク専用のモデルや専用エンコーダをトレーニングする必要はない。 我々は、スケッチ・ツー・イメージの翻訳タスクに特に焦点をあて、画像を生成する堅牢で表現力のある方法を明らかにする。
  論文  参考訳（メタデータ） (2022-11-24T18:45:32Z)
• PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening [50.943080184828524]
  空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。 モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
  論文  参考訳（メタデータ） (2022-07-29T03:09:21Z)
• SimIPU: Simple 2D Image and 3D Point Cloud Unsupervised Pre-Training for Spatial-Aware Visual Representations [85.38562724999898]
  我々はSimIPUと呼ばれる2Dイメージと3Dポイントクラウドの教師なし事前学習戦略を提案する。 具体的には、モーダル内空間認識モジュールとモーダル間特徴相互作用モジュールからなるマルチモーダルコントラスト学習フレームワークを開発する。 我々の知る限りでは、屋外マルチモーダルデータセットに対する対照的な学習事前学習戦略を探求する最初の研究である。
  論文  参考訳（メタデータ） (2021-12-09T03:27:00Z)
• LDP-Net: An Unsupervised Pansharpening Network Based on Learnable Degradation Processes [18.139096037746672]
  LDP-Netと呼ばれる学習可能な劣化過程に基づく新しい教師なしネットワークを提案する。 ブルーリングブロックとグレーニングブロックは、それぞれ対応する劣化過程を学習するように設計されている。 Worldview2 および Worldview3 画像を用いた実験により,提案した LDP-Net は,HRMS サンプルを使わずに PAN と LRMS 画像を効果的に融合できることを示した。
  論文  参考訳（メタデータ） (2021-11-24T13:21:22Z)
• Unsupervised Cycle-consistent Generative Adversarial Networks for Pan-sharpening [41.68141846006704]
  本稿では,この問題を緩和するために,基礎的な真理を伴わずに,フルスケールの画像から学習する,教師なしの生成的敵対的枠組みを提案する。 PANおよびMS画像から2ストリーム生成器を用いてモダリティ特異的特徴を抽出し,特徴領域での融合を行い,パンシャープ画像の再構成を行う。 提案手法は,フルスケール画像のパンシャーピング性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-09-20T09:43:24Z)
• Hyperspectral Pansharpening Based on Improved Deep Image Prior and Residual Reconstruction [64.10636296274168]
  高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能高分解能化 近年,深層畳み込みネットワーク(ConvNets)を用いたHSパンシャープ法が注目に値する結果を得た。 深層層の増加を抑えることで高レベルの特徴を学習することに焦点を当てた,新しいオーバーコンプリートネットワークHyperKiteを提案する。
  論文  参考訳（メタデータ） (2021-07-06T14:11:03Z)
• Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps [85.67745220834718]
  不規則な穴の画像インペインティングを改善するためのエッジガイド学習可能な双方向注意マップ(Edge-LBAM)を紹介します。 当社のEdge-LBAMメソッドには、予測エッジによる構造認識マスク更新を含むデュアルプロシージャが含まれています。 広範な実験により,エッジlbamはコヒーレントな画像構造を生成し,色差やぼやけを防止できることがわかった。
  論文  参考訳（メタデータ） (2021-04-25T07:25:16Z)
• Deep Convolutional Sparse Coding Network for Pansharpening with Guidance of Side Information [20.075225827771774]
  本稿では,部分ガイド付き畳み込みスパース符号化(SCSC)モデルを提案する。 提案モデルは、SCSCpansharpening neural Network(SCSC-PNN)と呼ばれるディープニューラルネットワークとして一般化される。 3つの衛星の13の古典的な方法および最先端の方法と比較されて、数値実験はSCSC-PNNが他より優秀であることを示します。
  論文  参考訳（メタデータ） (2021-03-10T09:06:33Z)
• Panoramic Panoptic Segmentation: Towards Complete Surrounding Understanding via Unsupervised Contrastive Learning [97.37544023666833]
  我々は,パノラマパオプティックセグメンテーションを最も総合的なシーン理解として導入する。 完全な周囲の理解は、エージェントに最大限の情報を提供する。 標準ピンホール画像のモデルトレーニングを可能にし、学習した機能を異なるドメインに転送するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-01T09:37:27Z)
• FGF-GAN: A Lightweight Generative Adversarial Network for Pansharpening via Fast Guided Filter [20.075225827771774]
  本稿では,高速誘導フィルタ(FGF)を用いたパンシャーピングによる生成対向ネットワークを提案する。 ジェネレータでは、従来のチャネル結合はFGFに置き換えられ、空間情報をよりよく保持する。 我々のネットワークは、既存の手法を超越し、少ないパラメータで高品質なHRMS画像を生成する。
  論文  参考訳（メタデータ） (2020-12-31T20:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。