論文の概要: Reconciling Semantic Controllability and Diversity for Remote Sensing Image Synthesis with Hybrid Semantic Embedding

• arxiv url: http://arxiv.org/abs/2411.14781v1
• Date: Fri, 22 Nov 2024 07:51:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:03:02.790808
• Title: Reconciling Semantic Controllability and Diversity for Remote Sensing Image Synthesis with Hybrid Semantic Embedding
• Title（参考訳）: ハイブリッドセマンティック埋め込みを用いたリモートセンシング画像合成のための意味制御性と多様性の再構成
• Authors: Junde Liu, Danpei Zhao, Bo Yuan, Wentao Li, Tian Li,
• Abstract要約: 本稿では,HySEGGAN(Hybrid Semantic Embedding Guided Geneversarative Adversarial Network)を提案する。 特徴記述をベースとして,局所的セマンティックレイアウトの微粒化を調整するハイブリッドセマンティック・エンベディング法を提案する。 セマンティック・リファインメント・ネットワーク(SRN)が導入された。
• 参考スコア（独自算出の注目度）: 12.330893658398042
• License:
• Abstract: Significant advancements have been made in semantic image synthesis in remote sensing. However, existing methods still face formidable challenges in balancing semantic controllability and diversity. In this paper, we present a Hybrid Semantic Embedding Guided Generative Adversarial Network (HySEGGAN) for controllable and efficient remote sensing image synthesis. Specifically, HySEGGAN leverages hierarchical information from a single source. Motivated by feature description, we propose a hybrid semantic Embedding method, that coordinates fine-grained local semantic layouts to characterize the geometric structure of remote sensing objects without extra information. Besides, a Semantic Refinement Network (SRN) is introduced, incorporating a novel loss function to ensure fine-grained semantic feedback. The proposed approach mitigates semantic confusion and prevents geometric pattern collapse. Experimental results indicate that the method strikes an excellent balance between semantic controllability and diversity. Furthermore, HySEGGAN significantly improves the quality of synthesized images and achieves state-of-the-art performance as a data augmentation technique across multiple datasets for downstream tasks.
• Abstract（参考訳）: リモートセンシングにおけるセマンティック画像合成において重要な進歩がなされている。 しかし、既存の手法は、意味制御性と多様性のバランスをとる上で、依然として深刻な課題に直面している。 本稿では,HySEGGAN(Hybrid Semantic Embedding Guided Generative Adversarial Network)を提案する。 具体的には、HySEGGANは単一のソースから階層的な情報を活用する。 特徴記述に基づくハイブリッドなセマンティック・エンベディング手法を提案する。この手法は,リモートセンシング対象の幾何学的構造を余分な情報なしで特徴付けるために,きめ細かな局所的セマンティック・レイアウトをコーディネートする。 さらに、セマンティック・リファインメント・ネットワーク(SRN)を導入し、セマンティック・セマンティック・フィードバックの微粒化を保証するために新たなロス関数を導入した。 提案手法は意味的混乱を軽減し,幾何学的パターンの崩壊を防ぐ。 実験結果から,本手法は意味制御性と多様性のバランスが良好であることが示唆された。 さらに、HySEGGANは合成画像の品質を著しく向上させ、下流タスクのための複数のデータセットにまたがるデータ拡張技術として最先端のパフォーマンスを達成する。

関連論文リスト

• Adversarial Semantic Augmentation for Training Generative Adversarial Networks under Limited Data [27.27230943686822]
  本稿では,画像レベルではなくセマンティックレベルでトレーニングデータを拡大するために,敵対的セマンティック拡張(ASA)手法を提案する。 本手法は, 各種データ構造下での合成品質を継続的に改善する。
  論文  参考訳（メタデータ） (2025-02-02T13:50:38Z)
• SeFENet: Robust Deep Homography Estimation via Semantic-Driven Feature Enhancement [15.039768568444002]
  厳しい環境で撮影された画像は、しばしばぼやけた細部、コントラストの低減、色歪みを示す。 本稿では,SeFENetと呼ばれる,ロバストなホモグラフィ推定のための意味駆動型機能拡張ネットワークを提案する。 SeFENetはSOTA法を著しく上回り,大規模データセット上での点一致誤差を少なくとも41%低減することを示した。
  論文  参考訳（メタデータ） (2024-12-09T10:04:14Z)
• Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency [59.15544887307901]
  画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。 既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。 我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-07T14:32:36Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• Improving Diversity in Zero-Shot GAN Adaptation with Semantic Variations [61.132408427908175]
  0ショットのGAN適応は、よく訓練されたジェネレータを再利用して、目に見えないターゲットドメインの画像を合成することを目的としている。 実際の画像の代わりに1つの代表的テキスト機能しか持たないため、合成された画像は徐々に多様性を損なう。 そこで本研究では,CLIP空間における対象テキストの意味的変化を見つけるための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-21T08:12:28Z)
• Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic Image Synthesis [139.2216271759332]
  本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。 セマンティックラベルは詳細な構造情報を提供しておらず、局所的な詳細や構造を合成することは困難である。 畳み込み、ダウンサンプリング、正規化といった広く採用されているCNN操作は、通常、空間分解能の損失を引き起こす。 本稿では,同じセマンティッククラスに属する画素埋め込みを強制して,より類似した画像コンテンツを生成することを目的とした,新しいコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-22T14:17:19Z)
• Unsupervised Synthetic Image Refinement via Contrastive Learning and Consistent Semantic-Structural Constraints [32.07631215590755]
  コントラスト学習(CL)は、相関したパッチをまとめて、非相関的なパッチを分離するのに成功している。 本研究では,合成画像と精細画像間の意味的・構造的整合性を利用して,意味的歪みを低減するためにCLを採用する。
  論文  参考訳（メタデータ） (2023-04-25T05:55:28Z)
• Scale-Semantic Joint Decoupling Network for Image-text Retrieval in Remote Sensing [23.598273691455503]
  リモートセンシング画像テキスト検索のためのSJDN(Scale-Semantic Joint Decoupling Network)を提案する。 提案するSSJDNは,4つのベンチマークリモートセンシングデータセットを用いて行った数値実験において,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-12T08:02:35Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Diverse Semantic Image Synthesis via Probability Distribution Modeling [103.88931623488088]
  新規な多様な意味的画像合成フレームワークを提案する。 本手法は最先端手法と比較して優れた多様性と同等の品質を実現することができる。
  論文  参考訳（メタデータ） (2021-03-11T18:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。