論文の概要: Unsupervised Cycle-consistent Generative Adversarial Networks for Pan-sharpening

• arxiv url: http://arxiv.org/abs/2109.09395v2
• Date: Tue, 21 Sep 2021 16:06:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-22 10:51:22.562439
• Title: Unsupervised Cycle-consistent Generative Adversarial Networks for Pan-sharpening
• Title（参考訳）: パンシャープ化のための教師なしサイクル整合生成逆ネットワーク
• Authors: Huanyu Zhou, Qingjie Liu, and Yunhong Wang
• Abstract要約: 本稿では,この問題を緩和するために,基礎的な真理を伴わずに,フルスケールの画像から学習する,教師なしの生成的敵対的枠組みを提案する。 PANおよびMS画像から2ストリーム生成器を用いてモダリティ特異的特徴を抽出し,特徴領域での融合を行い,パンシャープ画像の再構成を行う。 提案手法は,フルスケール画像のパンシャーピング性能を大幅に向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 41.68141846006704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning based pan-sharpening has received significant research interest in recent years. Most of existing methods fall into the supervised learning framework in which they down-sample the multi-spectral (MS) and panchromatic (PAN) images and regard the original MS images as ground truths to form training samples. Although impressive performance could be achieved, they have difficulties generalizing to the original full-scale images due to the scale gap, which makes them lack of practicability. In this paper, we propose an unsupervised generative adversarial framework that learns from the full-scale images without the ground truths to alleviate this problem. We extract the modality-specific features from the PAN and MS images with a two-stream generator, perform fusion in the feature domain, and then reconstruct the pan-sharpened images. Furthermore, we introduce a novel hybrid loss based on the cycle-consistency and adversarial scheme to improve the performance. Comparison experiments with the state-of-the-art methods are conducted on GaoFen-2 and WorldView-3 satellites. Results demonstrate that the proposed method can greatly improve the pan-sharpening performance on the full-scale images, which clearly show its practical value. Codes and datasets will be made publicly available.
• Abstract（参考訳）: 近年, 深層学習に基づくパン・シャーペニングが研究の関心を集めている。 既存の手法のほとんどは、マルチスペクトル(MS)とパンクロマティック(PAN)の画像をダウンサンプリングする教師あり学習フレームワークに該当し、元のMSイメージを基底真理とみなしてトレーニングサンプルを形成する。 印象的な性能は達成できたが、スケールギャップのため、元のフルスケールイメージへの一般化が困難であり、実用性に欠ける。 本稿では,真理を欠いた実物大画像から学習し,この問題を解消する,教師なし生成型敵フレームワークを提案する。 PANおよびMS画像から2ストリーム生成器を用いてモダリティ特異的特徴を抽出し,特徴領域での融合を行い,パンシャープ画像の再構成を行う。 さらに,サイクル整合性および対向性に基づく新たなハイブリッド損失を導入し,性能向上を図る。 最新技術との比較実験はgaofen-2とworldview-3の衛星で行われている。 その結果,本手法は実画像のパンシャーピング性能を大幅に向上させることができることがわかった。 コードとデータセットは公開される予定だ。

関連論文リスト

• MFCLIP: Multi-modal Fine-grained CLIP for Generalizable Diffusion Face Forgery Detection [64.29452783056253]
  フォトリアリスティック・フェイスジェネレーション手法の急速な発展は、社会やアカデミックにおいて大きな関心を集めている。 既存のアプローチは主に画像モダリティを用いて顔の偽造パターンをキャプチャするが、きめ細かいノイズやテキストのような他のモダリティは完全には探索されていない。 そこで本研究では,画像ノイズの多点にわたる包括的かつきめ細かなフォージェリートレースをマイニングする,MFCLIP(MF-modal Fine-fine-fine-fine-fine-fine CLIP)モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-15T13:08:59Z)
• CrossDiff: Exploring Self-Supervised Representation of Pansharpening via Cross-Predictive Diffusion Model [42.39485365164292]
  パンクロマチック (PAN) 画像とそれに対応するマルチスペクトル (MS) 画像の融合は、パンシャーパニング (pansharpening) とも呼ばれる。 高解像度のMS画像がないため、利用可能なディープラーニングベースの手法は通常、縮小解像度でのトレーニングと、縮小解像度と完全解像度の両方でのテストのパラダイムに従う。 そこで本研究では,クロスディフ(CrossDiff)と呼ばれる相互予測拡散モデルの設計により,パンシャルペンの自己制御表現について検討する。
  論文  参考訳（メタデータ） (2024-01-10T13:32:47Z)
• Unsupervised Deep Learning-based Pansharpening with Jointly-Enhanced Spectral and Spatial Fidelity [4.425982186154401]
  本稿では,この手法の可能性をフル活用した,ディープラーニングに基づくパンシャーピングモデルを提案する。 提案モデルでは,パンシャーペンデータのスペクトルと空間的品質を協調的に向上する新たな損失関数を特徴とする。 挑戦的なシナリオで実施された多種多様なテスト画像の実験により,提案手法が技術状況と良好に比較できることが実証された。
  論文  参考訳（メタデータ） (2023-07-26T17:25:28Z)
• PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening [50.943080184828524]
  空間情報とスペクトル情報の漸進的補償によりMS画像のシャープ化を行うパンシャーピングの新しい2段階モデルを提案する。 モデル全体が三重GANで構成されており、特定のアーキテクチャに基づいて、三重GANを同時に訓練できるように、共同補償損失関数が設計されている。
  論文  参考訳（メタデータ） (2022-07-29T03:09:21Z)
• LDP-Net: An Unsupervised Pansharpening Network Based on Learnable Degradation Processes [18.139096037746672]
  LDP-Netと呼ばれる学習可能な劣化過程に基づく新しい教師なしネットワークを提案する。 ブルーリングブロックとグレーニングブロックは、それぞれ対応する劣化過程を学習するように設計されている。 Worldview2 および Worldview3 画像を用いた実験により,提案した LDP-Net は,HRMS サンプルを使わずに PAN と LRMS 画像を効果的に融合できることを示した。
  論文  参考訳（メタデータ） (2021-11-24T13:21:22Z)
• More Photos are All You Need: Semi-Supervised Learning for Fine-Grained Sketch Based Image Retrieval [112.1756171062067]
  クロスモーダル検索のための新しい半監視フレームワークについて紹介する。 私たちの設計の中心には、連続したフォトツースケッチ生成モデルがあります。 また,不適切な生成を誘導する判別器誘導機構も導入する。
  論文  参考訳（メタデータ） (2021-03-25T17:27:08Z)
• PGMAN: An Unsupervised Generative Multi-adversarial Network for Pan-sharpening [46.84573725116611]
  プリプロセッシングのないフル解像度画像から直接学習する教師なしのフレームワークを提案する。 本研究では,2ストリーム生成器を用いてPAN画像とMS画像からモダリティ固有の特徴を抽出し,融合時に入力のスペクトル情報と空間情報を保存する2重識別器を開発した。
  論文  参考訳（メタデータ） (2020-12-16T16:21:03Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。