論文の概要: Reconciling Semantic Controllability and Diversity for Remote Sensing Image Synthesis with Hybrid Semantic Embedding

• arxiv url: http://arxiv.org/abs/2411.14781v1
• Date: Fri, 22 Nov 2024 07:51:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:03:02.790808
• Title: Reconciling Semantic Controllability and Diversity for Remote Sensing Image Synthesis with Hybrid Semantic Embedding
• Title（参考訳）: ハイブリッドセマンティック埋め込みを用いたリモートセンシング画像合成のための意味制御性と多様性の再構成
• Authors: Junde Liu, Danpei Zhao, Bo Yuan, Wentao Li, Tian Li,
• Abstract要約: 本稿では,HySEGGAN(Hybrid Semantic Embedding Guided Geneversarative Adversarial Network)を提案する。 特徴記述をベースとして,局所的セマンティックレイアウトの微粒化を調整するハイブリッドセマンティック・エンベディング法を提案する。 セマンティック・リファインメント・ネットワーク(SRN)が導入された。
• 参考スコア（独自算出の注目度）: 12.330893658398042
• License:
• Abstract: Significant advancements have been made in semantic image synthesis in remote sensing. However, existing methods still face formidable challenges in balancing semantic controllability and diversity. In this paper, we present a Hybrid Semantic Embedding Guided Generative Adversarial Network (HySEGGAN) for controllable and efficient remote sensing image synthesis. Specifically, HySEGGAN leverages hierarchical information from a single source. Motivated by feature description, we propose a hybrid semantic Embedding method, that coordinates fine-grained local semantic layouts to characterize the geometric structure of remote sensing objects without extra information. Besides, a Semantic Refinement Network (SRN) is introduced, incorporating a novel loss function to ensure fine-grained semantic feedback. The proposed approach mitigates semantic confusion and prevents geometric pattern collapse. Experimental results indicate that the method strikes an excellent balance between semantic controllability and diversity. Furthermore, HySEGGAN significantly improves the quality of synthesized images and achieves state-of-the-art performance as a data augmentation technique across multiple datasets for downstream tasks.
• Abstract（参考訳）: リモートセンシングにおけるセマンティック画像合成において重要な進歩がなされている。 しかし、既存の手法は、意味制御性と多様性のバランスをとる上で、依然として深刻な課題に直面している。 本稿では,HySEGGAN(Hybrid Semantic Embedding Guided Generative Adversarial Network)を提案する。 具体的には、HySEGGANは単一のソースから階層的な情報を活用する。 特徴記述に基づくハイブリッドなセマンティック・エンベディング手法を提案する。この手法は,リモートセンシング対象の幾何学的構造を余分な情報なしで特徴付けるために,きめ細かな局所的セマンティック・レイアウトをコーディネートする。 さらに、セマンティック・リファインメント・ネットワーク(SRN)を導入し、セマンティック・セマンティック・フィードバックの微粒化を保証するために新たなロス関数を導入した。 提案手法は意味的混乱を軽減し,幾何学的パターンの崩壊を防ぐ。 実験結果から,本手法は意味制御性と多様性のバランスが良好であることが示唆された。 さらに、HySEGGANは合成画像の品質を著しく向上させ、下流タスクのための複数のデータセットにまたがるデータ拡張技術として最先端のパフォーマンスを達成する。

関連論文リスト

• Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency [59.15544887307901]
  画像意味コミュニケーション(ISC)は,高効率な映像コンテンツ伝送を実現する可能性に注目されている。 既存のISCシステムは、解釈可能性、操作性、互換性の課題に直面している。 我々は、複数の下流推論タスクにGenerative Artificial Intelligence(GenAI)を利用する新しい信頼できるISCフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-07T14:32:36Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• Improving Diversity in Zero-Shot GAN Adaptation with Semantic Variations [61.132408427908175]
  0ショットのGAN適応は、よく訓練されたジェネレータを再利用して、目に見えないターゲットドメインの画像を合成することを目的としている。 実際の画像の代わりに1つの代表的テキスト機能しか持たないため、合成された画像は徐々に多様性を損なう。 そこで本研究では,CLIP空間における対象テキストの意味的変化を見つけるための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-21T08:12:28Z)
• Semantic-aware Network for Aerial-to-Ground Image Synthesis [42.360670351361584]
  構造的アライメントとセマンティックアライメントの強化によって課題を探求する新しい枠組みを提案する。 本稿では,複雑な地理的構造を再構築可能な,セマンティック・アテンテーティブな特徴変換モジュールを提案する。 また,事前学習したセグメンテーションネットワークを利用した意味認識損失関数を提案する。
  論文  参考訳（メタデータ） (2023-08-14T05:37:07Z)
• Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic Image Synthesis [139.2216271759332]
  本稿では,難解なセマンティック画像合成タスクのための新しいECGANを提案する。 セマンティックラベルは詳細な構造情報を提供しておらず、局所的な詳細や構造を合成することは困難である。 畳み込み、ダウンサンプリング、正規化といった広く採用されているCNN操作は、通常、空間分解能の損失を引き起こす。 本稿では,同じセマンティッククラスに属する画素埋め込みを強制して,より類似した画像コンテンツを生成することを目的とした,新しいコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-22T14:17:19Z)
• Unsupervised Synthetic Image Refinement via Contrastive Learning and Consistent Semantic-Structural Constraints [32.07631215590755]
  コントラスト学習(CL)は、相関したパッチをまとめて、非相関的なパッチを分離するのに成功している。 本研究では,合成画像と精細画像間の意味的・構造的整合性を利用して,意味的歪みを低減するためにCLを採用する。
  論文  参考訳（メタデータ） (2023-04-25T05:55:28Z)
• Scale-Semantic Joint Decoupling Network for Image-text Retrieval in Remote Sensing [23.598273691455503]
  リモートセンシング画像テキスト検索のためのSJDN(Scale-Semantic Joint Decoupling Network)を提案する。 提案するSSJDNは,4つのベンチマークリモートセンシングデータセットを用いて行った数値実験において,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-12T08:02:35Z)
• Semantic Image Synthesis via Diffusion Models [159.4285444680301]
  Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。 セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
  論文  参考訳（メタデータ） (2022-06-30T18:31:51Z)
• Reinforcement Learning-powered Semantic Communication via Semantic Similarity [13.569045590522316]
  我々は,ビットレベルの精度を厳格に確保する代わりに,セマンティック情報を保存するための新しいセマンティックコミュニケーション機構を導入する。 一般的に使用されるビットレベルのメトリクスは、重要な意味や構造を捉えるのに脆弱であることを示す。 ユーザ定義のセマンティック測定を同時に最適化できる強化学習(RL)ベースのソリューションを提案しました。
  論文  参考訳（メタデータ） (2021-08-27T05:21:05Z)
• Diverse Semantic Image Synthesis via Probability Distribution Modeling [103.88931623488088]
  新規な多様な意味的画像合成フレームワークを提案する。 本手法は最先端手法と比較して優れた多様性と同等の品質を実現することができる。
  論文  参考訳（メタデータ） (2021-03-11T18:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。