論文の概要: SatDM: Synthesizing Realistic Satellite Image with Semantic Layout
Conditioning using Diffusion Models
- arxiv url: http://arxiv.org/abs/2309.16812v1
- Date: Thu, 28 Sep 2023 19:39:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 16:24:58.204883
- Title: SatDM: Synthesizing Realistic Satellite Image with Semantic Layout
Conditioning using Diffusion Models
- Title(参考訳): SatDM:拡散モデルを用いた意味的レイアウト条件付き実写衛星画像の合成
- Authors: Orkhan Baghirli, Hamid Askarov, Imran Ibrahimli, Ismat Bakhishov, Nabi
Nabiyev
- Abstract要約: Denoising Diffusion Probabilistic Models (DDPM) は意味的レイアウトから現実的なイメージを合成する上で大きな可能性を証明している。
本稿では,セマンティックマップを用いて高品質で多様な衛星画像を生成する条件付きDDPMモデルを提案する。
提案モデルの有効性は,本研究の文脈内で導入した詳細なラベル付きデータセットを用いて検証する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep learning models in the Earth Observation domain heavily rely on the
availability of large-scale accurately labeled satellite imagery. However,
obtaining and labeling satellite imagery is a resource-intensive endeavor.
While generative models offer a promising solution to address data scarcity,
their potential remains underexplored. Recently, Denoising Diffusion
Probabilistic Models (DDPMs) have demonstrated significant promise in
synthesizing realistic images from semantic layouts. In this paper, a
conditional DDPM model capable of taking a semantic map and generating
high-quality, diverse, and correspondingly accurate satellite images is
implemented. Additionally, a comprehensive illustration of the optimization
dynamics is provided. The proposed methodology integrates cutting-edge
techniques such as variance learning, classifier-free guidance, and improved
noise scheduling. The denoising network architecture is further complemented by
the incorporation of adaptive normalization and self-attention mechanisms,
enhancing the model's capabilities. The effectiveness of our proposed model is
validated using a meticulously labeled dataset introduced within the context of
this study. Validation encompasses both algorithmic methods such as Frechet
Inception Distance (FID) and Intersection over Union (IoU), as well as a human
opinion study. Our findings indicate that the generated samples exhibit minimal
deviation from real ones, opening doors for practical applications such as data
augmentation. We look forward to further explorations of DDPMs in a wider
variety of settings and data modalities. An open-source reference
implementation of the algorithm and a link to the benchmarked dataset are
provided at https://github.com/obaghirli/syn10-diffusion.
- Abstract(参考訳): 地球観測領域のディープラーニングモデルは、大規模正確にラベル付けされた衛星画像の可用性に大きく依存している。
しかし、衛星画像の取得とラベル付けは資源集約的な取り組みである。
生成モデルはデータの不足に対処するための有望なソリューションを提供するが、そのポテンシャルはいまだ探索されていない。
近年,DDPM(Denoising Diffusion Probabilistic Models)は,意味的レイアウトから現実的なイメージを合成する上で,大きな可能性を示唆している。
本稿では,意味マップを取得でき,高品質で多彩な衛星画像を生成する条件付きddpmモデルを実装した。
さらに、最適化ダイナミクスの包括的なイラストを提供する。
提案手法は分散学習,分類器フリーガイダンス,ノイズスケジューリングの改善といった最先端技術を統合する。
雑音化ネットワークアーキテクチャは、適応正規化と自己アテンション機構の導入によってさらに補完され、モデルの能力を高める。
本研究の文脈で導入した注意深いラベル付きデータセットを用いて,提案モデルの有効性を検証する。
検証には、Frechet Inception Distance(FID)やIntersection over Union(IoU)といったアルゴリズム手法と、人間の意見研究の両方が含まれる。
以上の結果から,生成した試料は実物からの偏差が最小であり,データ拡張などの実用的応用への扉が開けていることが示唆された。
DDPMのより広範な設定とデータモダリティに関するさらなる調査を楽しみにしています。
このアルゴリズムのオープンソースリファレンス実装とベンチマークデータセットへのリンクはhttps://github.com/obaghirli/syn10-diffusionで提供されている。
関連論文リスト
- Unseen Image Synthesis with Diffusion Models [44.37803942479853]
単ドメインデータセット上で、事前学習および凍結したDenoising Diffusion Probabilistic Models (DDPM) を用いて、未確認領域画像を追加訓練せずに合成する。
我々のキーとなる観察は、単ドメイン画像のみに事前訓練されたDDPMは、反転潜時符号化から任意の画像を再構成するのに十分な表現能力を備えています。
我々は,様々なデータセット上で,事前学習拡散モデル (DDPM, iDDPM) を用いた広範囲な解析と実験を行った。
論文 参考訳(メタデータ) (2023-10-13T16:07:31Z) - Diffusion Models for Interferometric Satellite Aperture Radar [73.01013149014865]
確率拡散モデル (Probabilistic Diffusion Models, PDMs) は、最近、非常に有望な生成モデルのクラスとして登場した。
ここでは、PDMを活用して、レーダーベースの衛星画像データセットを複数生成する。
PDMは複雑で現実的な構造を持つ画像を生成することに成功したが、サンプリング時間は依然として問題である。
論文 参考訳(メタデータ) (2023-08-31T16:26:17Z) - Steerable Conditional Diffusion for Out-of-Distribution Adaptation in
Imaging Inverse Problems [78.76955228709241]
我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。
このフレームワークは、利用可能な測定データに特化してデノイングネットワークを適用する。
我々は多様な画像モダリティをまたいだOOD性能の大幅な向上を実現した。
論文 参考訳(メタデータ) (2023-08-28T08:47:06Z) - CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion
Models [72.93652777646233]
カモフラーゲ型物体検出(COD)は、カモフラーゲ型物体とその周囲の類似性が高いため、コンピュータビジョンにおいて難しい課題である。
本研究では,CODを拡散モデルを利用した条件付きマスク生成タスクとして扱う新しいパラダイムを提案する。
カモ拡散(CamoDiffusion)と呼ばれる本手法では,拡散モデルのデノナイズプロセスを用いてマスクの雑音を反復的に低減する。
論文 参考訳(メタデータ) (2023-05-29T07:49:44Z) - Boosting Human-Object Interaction Detection with Text-to-Image Diffusion
Model [22.31860516617302]
本稿では,事前学習したテキスト画像拡散モデルに基づく新しいHOI検出方式であるDiffHOIを紹介する。
HOIデータセットのギャップを埋めるために、クラスバランス、大規模、高多様性の合成データセットであるSynHOIを提案する。
実験により、DiffHOIは通常の検出(41.50 mAP)とゼロショット検出において、最先端の技術を著しく上回っていることが示された。
論文 参考訳(メタデータ) (2023-05-20T17:59:23Z) - Denoising diffusion models for out-of-distribution detection [2.113925122479677]
我々は,確率拡散モデル(DDPM)を自己エンコーダの復号化として活用する。
DDPMを用いてノイズレベルの範囲の入力を再構成し,結果の多次元再構成誤差を用いてアウト・オブ・ディストリビューション入力を分類する。
論文 参考訳(メタデータ) (2022-11-14T20:35:11Z) - Semantic Image Synthesis via Diffusion Models [159.4285444680301]
Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。
セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
論文 参考訳(メタデータ) (2022-06-30T18:31:51Z) - Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent
Signals: Application to Hyperspectral Imaging [71.57324258813675]
相互依存信号のデータセットは、列が強い依存を示す行列として定義される。
ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。
ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
論文 参考訳(メタデータ) (2022-03-29T21:00:39Z) - Deep Variational Models for Collaborative Filtering-based Recommender
Systems [63.995130144110156]
ディープラーニングは、リコメンダシステムの結果を改善するために、正確な協調フィルタリングモデルを提供する。
提案するモデルは, 深層建築の潜伏空間において, 変分概念を注入性に適用する。
提案手法は, 入射雑音効果を超える変動エンリッチメントのシナリオにおいて, 提案手法の優位性を示す。
論文 参考訳(メタデータ) (2021-07-27T08:59:39Z) - Sparse Signal Models for Data Augmentation in Deep Learning ATR [0.8999056386710496]
ドメイン知識を取り入れ,データ集約学習アルゴリズムの一般化能力を向上させるためのデータ拡張手法を提案する。
本研究では,空間領域における散乱中心のスパース性とアジムタル領域における散乱係数の滑らかな変動構造を活かし,過パラメータモデルフィッティングの問題を解く。
論文 参考訳(メタデータ) (2020-12-16T21:46:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。