論文の概要: Unsupervised Discovery of Semantic Concepts in Satellite Imagery with
Style-based Wavelet-driven Generative Models
- arxiv url: http://arxiv.org/abs/2208.02089v1
- Date: Wed, 3 Aug 2022 14:19:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-04 13:27:57.490479
- Title: Unsupervised Discovery of Semantic Concepts in Satellite Imagery with
Style-based Wavelet-driven Generative Models
- Title（参考訳）: ウェーブレット駆動生成モデルを用いた衛星画像における意味概念の教師なし発見
- Authors: Nikos Kostagiolas, Mihalis A. Nicolaou, Yannis Panagakis
- Abstract要約: 本稿では,衛星画像の広帯域合成が可能な,最初の事前学習型およびウェーブレット型GANモデルを提案する。
ネットワークの中間的アクティベーションを解析することにより、解釈可能なセマンティックな方向を多数発見できることが示される。
- 参考スコア（独自算出の注目度）: 27.62417543307831
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, considerable advancements have been made in the area of
Generative Adversarial Networks (GANs), particularly with the advent of
style-based architectures that address many key shortcomings - both in terms of
modeling capabilities and network interpretability. Despite these improvements,
the adoption of such approaches in the domain of satellite imagery is not
straightforward. Typical vision datasets used in generative tasks are
well-aligned and annotated, and exhibit limited variability. In contrast,
satellite imagery exhibits great spatial and spectral variability, wide
presence of fine, high-frequency details, while the tedious nature of
annotating satellite imagery leads to annotation scarcity - further motivating
developments in unsupervised learning. In this light, we present the first
pre-trained style- and wavelet-based GAN model that can readily synthesize a
wide gamut of realistic satellite images in a variety of settings and
conditions - while also preserving high-frequency information. Furthermore, we
show that by analyzing the intermediate activations of our network, one can
discover a multitude of interpretable semantic directions that facilitate the
guided synthesis of satellite images in terms of high-level concepts (e.g.,
urbanization) without using any form of supervision. Via a set of qualitative
and quantitative experiments we demonstrate the efficacy of our framework, in
terms of suitability for downstream tasks (e.g., data augmentation), quality of
synthetic imagery, as well as generalization capabilities to unseen datasets.
- Abstract（参考訳）: 近年、GAN(Generative Adversarial Networks)の分野では、モデリング能力とネットワーク解釈可能性の両方の観点から、特に多くの主要な欠点に対処するスタイルベースのアーキテクチャの出現によって、かなりの進歩が見られた。
これらの改良にもかかわらず、衛星画像の分野におけるそのようなアプローチの採用は単純ではない。
生成タスクで使用される典型的なビジョンデータセットは、アライン化され、注釈付けされ、限定的な可変性を示す。
対照的に、衛星画像は空間的、スペクトル的に大きな変動を示し、精細で高頻度な細部が存在する一方、衛星画像に注釈をつけるという面倒な性質は注釈不足につながる。
本報では,様々な設定や条件下で,多様な現実的な衛星画像を容易に合成し,高周波情報も保存できる,事前学習型およびウェーブレット型GANモデルを提案する。
さらに,ネットワークの中間的なアクティベーションを分析することで,衛星画像の高レベルな概念(都市化など)による合成を容易にする,解釈可能な多数の意味的方向を,何の監督も使わずに発見できることを示す。
定性的かつ定量的な実験のセットを用いて、下流タスク(例えば、データ拡張)の適性、合成画像の品質、および目に見えないデータセットへの一般化能力の観点から、我々のフレームワークの有効性を実証する。
関連論文リスト
- Edge-Cloud Collaborative Satellite Image Analysis for Efficient Man-Made Structure Recognition [2.110762118285028]
本稿では,エッジとクラウドコンピューティングを組み合わせた新しい衛星画像処理アーキテクチャを提案する。
エッジに軽量モデルを採用することで、当初は衛星画像から人造構造を特定できる。
これらの識別された画像はクラウドに送信され、より複雑なモデルによって分類が洗練される。
論文 参考訳（メタデータ） (2024-10-08T03:31:32Z) - Geospecific View Generation -- Geometry-Context Aware High-resolution Ground View Inference from Satellite Views [5.146618378243241]
多視点衛星画像から弱い幾何学やテクスチャを最大限に尊重するジオ特殊ビューを生成するための新しいパイプラインを提案する。
本手法は,衛星画像からの包括的情報を用いて,位置の地上画像を直接予測する。
我々のパイプラインは、衛星画像のみに基づいて、実物に近い地上ビューを初めて生成したものであることを実証する。
論文 参考訳（メタデータ） (2024-07-10T21:51:50Z) - SatSynth: Augmenting Image-Mask Pairs through Diffusion Models for Aerial Semantic Segmentation [69.42764583465508]
我々は,地球観測における注釈付きデータの不足に対処するために,生成的画像拡散の可能性を探る。
我々の知る限りでは、衛星セグメンテーションのための画像と対応するマスクの両方を最初に生成する。
論文 参考訳（メタデータ） (2024-03-25T10:30:22Z) - SatDM: Synthesizing Realistic Satellite Image with Semantic Layout
Conditioning using Diffusion Models [0.0]
Denoising Diffusion Probabilistic Models (DDPM) は意味的レイアウトから現実的なイメージを合成する上で大きな可能性を証明している。
本稿では,セマンティックマップを用いて高品質で多様な衛星画像を生成する条件付きDDPMモデルを提案する。
提案モデルの有効性は,本研究の文脈内で導入した詳細なラベル付きデータセットを用いて検証する。
論文 参考訳（メタデータ） (2023-09-28T19:39:13Z) - Locality-preserving Directions for Interpreting the Latent Space of
Satellite Image GANs [20.010911311234718]
本稿では,ウェーブレットをベースとしたGAN(Generative Adversarial Networks)の潜伏空間を解釈する局所性認識手法を提案する。
局所性を保存することに集中して,提案手法は事前学習したGANの重み空間を分解し,解釈可能な方向を復元することができる。
論文 参考訳（メタデータ） (2023-09-26T12:29:36Z) - SSMG: Spatial-Semantic Map Guided Diffusion Model for Free-form
Layout-to-Image Generation [68.42476385214785]
本稿では,レイアウトから派生した特徴写像を用いた空間意味マップガイド(SSMG)拡散モデルを提案する。
SSMGは,従来の研究に比べて空間的,意味的な制御性に優れた生成品質を実現する。
また,RSA(Relation-Sensitive Attention)機構とLSA(Location-Sensitive Attention)機構を提案する。
論文 参考訳（メタデータ） (2023-08-20T04:09:12Z) - Unsupervised Domain Transfer with Conditional Invertible Neural Networks [83.90291882730925]
条件付き可逆ニューラルネットワーク(cINN)に基づくドメイン転送手法を提案する。
提案手法は本質的に,その可逆的アーキテクチャによるサイクル一貫性を保証し,ネットワークトレーニングを最大限効率的に行うことができる。
提案手法は,2つの下流分類タスクにおいて,現実的なスペクトルデータの生成を可能にし,その性能を向上する。
論文 参考訳（メタデータ） (2023-03-17T18:00:27Z) - SatMAE: Pre-training Transformers for Temporal and Multi-Spectral
Satellite Imagery [74.82821342249039]
Masked Autoencoder(MAE)に基づく時間・マルチスペクトル衛星画像の事前学習フレームワークであるSatMAEについて述べる。
時間的情報を活用するために、時間にわたって画像パッチを個別にマスキングする時間的埋め込みを含む。
論文 参考訳（メタデータ） (2022-07-17T01:35:29Z) - A Trainable Spectral-Spatial Sparse Coding Model for Hyperspectral Image
Restoration [36.525810477650026]
ハイパースペクトルイメージングは様々な用途に新しい視点を提供する。
地上に正確な「クリーン」ハイパースペクトル信号がないため、修復作業は困難である。
本稿では、疎結合な符号化原理に基づくハイブリッドアプローチを提唱する。
論文 参考訳（メタデータ） (2021-11-18T14:16:04Z) - Enhancing Photorealism Enhancement [83.88433283714461]
本稿では,畳み込みネットワークを用いた合成画像のリアリズム向上手法を提案する。
一般的に使用されるデータセットのシーンレイアウトの分布を分析し、重要な方法で異なることを見つけます。
近年のイメージ・ツー・イメージ翻訳法と比較して,安定性とリアリズムの大幅な向上が報告されている。
論文 参考訳（メタデータ） (2021-05-10T19:00:49Z) - Single Image Deraining via Scale-space Invariant Attention Neural
Network [58.5284246878277]
我々は,カメラに対するレインステーキの外観の視覚的変化に対処するスケールの概念に取り組む。
本稿では,画素領域よりもコンパクトでロバストな畳み込み特徴領域のマルチスケール相関を表現することを提案する。
このようにして、機能マップの最も活発な存在を、有能な特徴として要約する。
論文 参考訳（メタデータ） (2020-06-09T04:59:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。