論文の概要: RSDiff: Remote Sensing Image Generation from Text Using Diffusion Model
- arxiv url: http://arxiv.org/abs/2309.02455v1
- Date: Sun, 3 Sep 2023 09:34:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 18:04:37.843625
- Title: RSDiff: Remote Sensing Image Generation from Text Using Diffusion Model
- Title(参考訳): RSDiff:拡散モデルを用いたテキストからのリモートセンシング画像生成
- Authors: Ahmad Sebaq, Mohamed ElHelw
- Abstract要約: 本稿では,テキストのプロンプトに基づいて高解像度衛星画像を生成するための,革新的で軽量な手法を提案する。
提案手法は, 現実的な地理的特徴, 気象条件, 土地構造を持つ衛星画像の生成において, 既存のSoTAモデルよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 1.0334138809056097
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Satellite imagery generation and super-resolution are pivotal tasks in remote
sensing, demanding high-quality, detailed images for accurate analysis and
decision-making. In this paper, we propose an innovative and lightweight
approach that employs two-stage diffusion models to gradually generate
high-resolution Satellite images purely based on text prompts. Our innovative
pipeline comprises two interconnected diffusion models: a Low-Resolution
Generation Diffusion Model (LR-GDM) that generates low-resolution images from
text and a Super-Resolution Diffusion Model (SRDM) conditionally produced. The
LR-GDM effectively synthesizes low-resolution by (computing the correlations of
the text embedding and the image embedding in a shared latent space), capturing
the essential content and layout of the desired scenes. Subsequently, the SRDM
takes the generated low-resolution image and its corresponding text prompts and
efficiently produces the high-resolution counterparts, infusing fine-grained
spatial details and enhancing visual fidelity. Experiments are conducted on the
commonly used dataset, Remote Sensing Image Captioning Dataset (RSICD). Our
results demonstrate that our approach outperforms existing state-of-the-art
(SoTA) models in generating satellite images with realistic geographical
features, weather conditions, and land structures while achieving remarkable
super-resolution results for increased spatial precision.
- Abstract(参考訳): 衛星画像の生成と超高解像度化はリモートセンシングにおいて重要な課題であり、正確な分析と意思決定のために高品質で詳細な画像を必要とする。
本稿では,2段階拡散モデルを用いて,テキストのプロンプトに基づいて高解像度の衛星画像を生成する手法を提案する。
我々の革新的なパイプラインは、テキストから低解像度画像を生成する低解像度生成拡散モデル(LR-GDM)と高解像度拡散モデル(SRDM)の2つの相互接続拡散モデルからなる。
LR-GDMは、低解像度(テキスト埋め込みと画像埋め込みの相関を共有潜在空間に計算)を効果的に合成し、所望のシーンの本質的内容とレイアウトをキャプチャする。
その後、SRDMは、生成された低解像度画像とその対応するテキストをプロンプトし、その高解像度画像を効率よく生成し、きめ細かい空間的詳細を注入し、視覚的忠実度を高める。
一般的に使用されるデータセットであるRemote Sensing Image Captioning Dataset (RSICD)で実験が行われる。
提案手法は,現実的な地理的特徴,気象条件,土地構造を持つ衛星画像を生成する上で,既存のSoTAモデルよりも優れており,空間精度の向上には優れた超解像結果が得られた。
関連論文リスト
- Enhancing Hyperspectral Images via Diffusion Model and Group-Autoencoder
Super-resolution Network [29.6360974619655]
Group-Autoencoder (GAE)フレームワークは、高次元ハイパースペクトルデータを低次元潜在空間に符号化する。
DMGASRの高効率HSI SRモデル(DMGASR)
自然と遠隔の両方のハイパースペクトルデータセットに対する実験結果から,提案手法は視覚的・計量的にも他の最先端手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2024-02-27T07:57:28Z) - Recognition-Guided Diffusion Model for Scene Text Image Super-Resolution [15.391125077873745]
Scene Text Image Super-Resolution (STISR)は、低解像度(LR)画像におけるテキストの解像度と可視性を高めることを目的としている。
従来は差別的畳み込みニューラルネットワーク(CNN)を多種多様なテキストガイダンスで用いていた。
本稿では,シーンテキスト画像の認識誘導拡散モデルであるRGDiffSRを紹介する。
論文 参考訳(メタデータ) (2023-11-22T11:10:45Z) - DSR-Diff: Depth Map Super-Resolution with Diffusion Model [38.68563026759223]
本稿では,遅延空間内の拡散モデルを用いて,深度マップの超解像誘導を行う新しいCDSRパラダイムを提案する。
提案手法は,最先端手法と比較して,広範囲な実験において優れた性能を示した。
論文 参考訳(メタデータ) (2023-11-16T14:18:10Z) - ACDMSR: Accelerated Conditional Diffusion Models for Single Image
Super-Resolution [84.73658185158222]
本稿では,ACDMSRと呼ばれる拡散モデルに基づく超解像法を提案する。
提案手法は, 決定論的反復分解過程を通じて超解像を行うために, 標準拡散モデルに適応する。
提案手法は,低解像度画像に対してより視覚的に現実的な表現を生成し,現実的なシナリオにおけるその有効性を強調した。
論文 参考訳(メタデータ) (2023-07-03T06:49:04Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2023-05-22T12:18:20Z) - Implicit Diffusion Models for Continuous Super-Resolution [65.45848137914592]
本稿では,高忠実度連続画像超解像のためのインプリシティ拡散モデル(IDM)を提案する。
IDMは暗黙のニューラル表現とデノナイジング拡散モデルを統合されたエンドツーエンドフレームワークに統合する。
スケーリング係数は分解能を調節し、最終出力におけるLR情報と生成された特徴の比率を変調する。
論文 参考訳(メタデータ) (2023-03-29T07:02:20Z) - Exploiting Digital Surface Models for Inferring Super-Resolution for
Remotely Sensed Images [2.3204178451683264]
本稿では,SRRモデルにリアルなリモートセンシング画像の出力を強制する新しい手法を提案する。
画像の通常のデジタル表面モデル(nDSM)から推定されるピクセルレベルの情報を知覚的損失として特徴空間の類似性に頼る代わりに、モデルが考慮する。
視覚検査に基づいて、推定された超解像画像は、特に優れた品質を示す。
論文 参考訳(メタデータ) (2022-05-09T06:02:50Z) - Best-Buddy GANs for Highly Detailed Image Super-Resolution [71.13466303340192]
我々は,低分解能(LR)入力に基づいて高分解能(HR)画像を生成する単一画像超解像(SISR)問題を考える。
このラインに沿ったほとんどのメソッドは、SISRタスクに十分な柔軟性がない、事前定義されたシングルLRシングルHRマッピングに依存しています。
リッチディテールSISRのためのベストバディGAN(Beby-GAN)を提案する。
イミュータブルな1対1の制約を緩和することで、推定されたパッチを動的に最高の監視を求めることができる。
論文 参考訳(メタデータ) (2021-03-29T02:58:27Z) - Deep Cyclic Generative Adversarial Residual Convolutional Networks for
Real Image Super-Resolution [20.537597542144916]
我々は、LRとHRデータ分布間の領域整合性を維持するために、深い循環ネットワーク構造を考える。
本稿では,LRからHRドメインへの変換のためのGAN(Generative Adversarial Network)フレームワークを用いた学習により,超解像残留周期生成逆ネットワーク(SRResCycGAN)を提案する。
論文 参考訳(メタデータ) (2020-09-07T11:11:18Z) - Real Image Super Resolution Via Heterogeneous Model Ensemble using
GP-NAS [63.48801313087118]
本稿では,高密度スキップ接続を有するディープ残差ネットワークを用いた画像超解像法を提案する。
提案手法は、AIM 2020 Real Image Super-Resolution Challengeの3トラックで1位を獲得した。
論文 参考訳(メタデータ) (2020-09-02T22:33:23Z) - Unlimited Resolution Image Generation with R2D2-GANs [69.90258455164513]
本稿では,任意の解像度の高品質な画像を生成するための新しいシミュレーション手法を提案する。
この方法では、フル長のミッション中に収集したソナースキャンと同等の大きさのソナースキャンを合成することができる。
生成されたデータは、連続的で、現実的に見え、また、取得の実際の速度の少なくとも2倍の速さで生成される。
論文 参考訳(メタデータ) (2020-03-02T17:49:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。