論文の概要: RSDiff: Remote Sensing Image Generation from Text Using Diffusion Model
- arxiv url: http://arxiv.org/abs/2309.02455v1
- Date: Sun, 3 Sep 2023 09:34:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 18:04:37.843625
- Title: RSDiff: Remote Sensing Image Generation from Text Using Diffusion Model
- Title（参考訳）: RSDiff:拡散モデルを用いたテキストからのリモートセンシング画像生成
- Authors: Ahmad Sebaq, Mohamed ElHelw
- Abstract要約: 本稿では,テキストのプロンプトに基づいて高解像度衛星画像を生成するための,革新的で軽量な手法を提案する。
提案手法は, 現実的な地理的特徴, 気象条件, 土地構造を持つ衛星画像の生成において, 既存のSoTAモデルよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 1.0334138809056097
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Satellite imagery generation and super-resolution are pivotal tasks in remote
sensing, demanding high-quality, detailed images for accurate analysis and
decision-making. In this paper, we propose an innovative and lightweight
approach that employs two-stage diffusion models to gradually generate
high-resolution Satellite images purely based on text prompts. Our innovative
pipeline comprises two interconnected diffusion models: a Low-Resolution
Generation Diffusion Model (LR-GDM) that generates low-resolution images from
text and a Super-Resolution Diffusion Model (SRDM) conditionally produced. The
LR-GDM effectively synthesizes low-resolution by (computing the correlations of
the text embedding and the image embedding in a shared latent space), capturing
the essential content and layout of the desired scenes. Subsequently, the SRDM
takes the generated low-resolution image and its corresponding text prompts and
efficiently produces the high-resolution counterparts, infusing fine-grained
spatial details and enhancing visual fidelity. Experiments are conducted on the
commonly used dataset, Remote Sensing Image Captioning Dataset (RSICD). Our
results demonstrate that our approach outperforms existing state-of-the-art
(SoTA) models in generating satellite images with realistic geographical
features, weather conditions, and land structures while achieving remarkable
super-resolution results for increased spatial precision.
- Abstract（参考訳）: 衛星画像の生成と超高解像度化はリモートセンシングにおいて重要な課題であり、正確な分析と意思決定のために高品質で詳細な画像を必要とする。
本稿では,2段階拡散モデルを用いて,テキストのプロンプトに基づいて高解像度の衛星画像を生成する手法を提案する。
我々の革新的なパイプラインは、テキストから低解像度画像を生成する低解像度生成拡散モデル(LR-GDM)と高解像度拡散モデル(SRDM)の2つの相互接続拡散モデルからなる。
LR-GDMは、低解像度(テキスト埋め込みと画像埋め込みの相関を共有潜在空間に計算)を効果的に合成し、所望のシーンの本質的内容とレイアウトをキャプチャする。
その後、SRDMは、生成された低解像度画像とその対応するテキストをプロンプトし、その高解像度画像を効率よく生成し、きめ細かい空間的詳細を注入し、視覚的忠実度を高める。
一般的に使用されるデータセットであるRemote Sensing Image Captioning Dataset (RSICD)で実験が行われる。
提案手法は,現実的な地理的特徴,気象条件,土地構造を持つ衛星画像を生成する上で,既存のSoTAモデルよりも優れており,空間精度の向上には優れた超解像結果が得られた。
関連論文リスト
- HoliSDiP: Image Super-Resolution via Holistic Semantics and Diffusion Prior [62.04939047885834]
本稿では,意味的セグメンテーションを活用するフレームワークであるHoliSDiPについて述べる。
本手法では, セグメンテーションマスクと空間CLIPマップを用いて, セグメンテーションガイダンスを導入しながら, セグメンテーションラベルを簡潔なテキストプロンプトとして利用する。
論文 参考訳（メタデータ） (2024-11-27T15:22:44Z) - High-Precision Dichotomous Image Segmentation via Probing Diffusion Capacity [69.32473738284374]
本稿では,拡散モデルにおける事前学習されたU-Netのポテンシャルを利用する拡散駆動セグメンテーションモデルDiffDISを提案する。
SDモデルに先立って、頑健な一般化機能とリッチで多目的な画像表現を活用することにより、高忠実で詳細な生成を保ちながら、推論時間を著しく短縮する。
DIS5Kデータセットの実験は、DiffDISの優位性を示し、合理化された推論プロセスを通じて最先端の結果を達成する。
論文 参考訳（メタデータ） (2024-10-14T02:49:23Z) - Conditional Brownian Bridge Diffusion Model for VHR SAR to Optical Image Translation [5.578820789388206]
本稿では,Brownian Bridge Diffusion Model(BBDM)に基づく条件付き画像から画像への変換手法を提案する。
我々は、MSAWデータセット、ペアSAR、0.5m Very-High-Resolution (VHR) の光学画像収集に関する総合的な実験を行った。
論文 参考訳（メタデータ） (2024-08-15T05:43:46Z) - Semantic Guided Large Scale Factor Remote Sensing Image Super-resolution with Generative Diffusion Prior [13.148815217684277]
大規模因子超解像(SR)アルゴリズムは、軌道から取得した低解像度(LR)衛星データの最大化に不可欠である。
既存の手法では、鮮明なテクスチャと正しい接地オブジェクトでSR画像を復元する際の課題に直面している。
本稿では,大規模リモートセンシング画像の超解像を実現するための新しいフレームワークであるセマンティックガイド拡散モデル(SGDM)を提案する。
論文 参考訳（メタデータ） (2024-05-11T16:06:16Z) - RS-Mamba for Large Remote Sensing Image Dense Prediction [58.12667617617306]
本稿では,大規模なVHRリモートセンシング画像における高密度予測タスクに対するリモートセンシング・マンバ(RSM)を提案する。
RSMは、線形複雑度でリモートセンシング画像のグローバルなコンテキストを捉えるように設計されている。
我々のモデルは、大規模なリモートセンシング画像の変換器ベースモデルよりも効率と精度がよい。
論文 参考訳（メタデータ） (2024-04-03T12:06:01Z) - Bridging the Domain Gap: A Simple Domain Matching Method for
Reference-based Image Super-Resolution in Remote Sensing [8.36527949191506]
近年、参照ベース画像超解像(RefSR)は、画像超解像(SR)タスクにおいて優れた性能を示している。
既存のRefSRモデルとシームレスに統合可能なドメインマッチング(DM)モジュールを導入する。
我々の分析では、これらの領域のギャップは異なる衛星でしばしば生じており、我々のモデルはこれらの課題に効果的に対処している。
論文 参考訳（メタデータ） (2024-01-29T08:10:00Z) - Recognition-Guided Diffusion Model for Scene Text Image Super-Resolution [15.391125077873745]
Scene Text Image Super-Resolution (STISR)は、低解像度(LR)画像におけるテキストの解像度と可視性を高めることを目的としている。
従来は差別的畳み込みニューラルネットワーク(CNN)を多種多様なテキストガイダンスで用いていた。
本稿では,シーンテキスト画像の認識誘導拡散モデルであるRGDiffSRを紹介する。
論文 参考訳（メタデータ） (2023-11-22T11:10:45Z) - Exploiting Digital Surface Models for Inferring Super-Resolution for
Remotely Sensed Images [2.3204178451683264]
本稿では,SRRモデルにリアルなリモートセンシング画像の出力を強制する新しい手法を提案する。
画像の通常のデジタル表面モデル(nDSM)から推定されるピクセルレベルの情報を知覚的損失として特徴空間の類似性に頼る代わりに、モデルが考慮する。
視覚検査に基づいて、推定された超解像画像は、特に優れた品質を示す。
論文 参考訳（メタデータ） (2022-05-09T06:02:50Z) - Real Image Super Resolution Via Heterogeneous Model Ensemble using
GP-NAS [63.48801313087118]
本稿では,高密度スキップ接続を有するディープ残差ネットワークを用いた画像超解像法を提案する。
提案手法は、AIM 2020 Real Image Super-Resolution Challengeの3トラックで1位を獲得した。
論文 参考訳（メタデータ） (2020-09-02T22:33:23Z) - PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of
Generative Models [77.32079593577821]
PULSE (Photo Upsampling via Latent Space Exploration) は、それまで文献になかった解像度で高解像度でリアルな画像を生成する。
本手法は, 従来よりも高分解能, スケールファクターの知覚品質において, 最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2020-03-08T16:44:31Z) - DDet: Dual-path Dynamic Enhancement Network for Real-World Image
Super-Resolution [69.2432352477966]
実画像超解像(Real-SR)は、実世界の高分解能画像(HR)と低分解能画像(LR)の関係に焦点を当てている。
本稿では,Real-SRのためのデュアルパス動的拡張ネットワーク(DDet)を提案する。
特徴表現のための大規模な畳み込みブロックを積み重ねる従来の手法とは異なり、非一貫性のある画像対を研究するためのコンテンツ認識フレームワークを導入する。
論文 参考訳（メタデータ） (2020-02-25T18:24:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。