論文の概要: Semantic Palette: Guiding Scene Generation with Class Proportions

• arxiv url: http://arxiv.org/abs/2106.01629v1
• Date: Thu, 3 Jun 2021 07:04:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 16:09:38.144740
• Title: Semantic Palette: Guiding Scene Generation with Class Proportions
• Title（参考訳）: semantic palette: クラス比率によるシーン生成の指導
• Authors: Guillaume Le Moing and Tuan-Hung Vu and Himalaya Jain and Patrick P\'erez and Matthieu Cord
• Abstract要約: 本稿では,シーン生成プロセスの指針として,クラス比率を効果的に許容する,新しいアーキテクチャ設計と学習目標を備えた条件付きフレームワークを提案する。 セマンティックコントロールにより、実際の分布に近いレイアウトを生成でき、シーン生成プロセス全体の拡張に役立つ。 実際のレイアウトとイメージのペアでトレーニングされたセグメンテーションセグメントは、実際のペアでトレーニングされたモデルよりも優れています。
• 参考スコア（独自算出の注目度）: 34.746963256847145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the recent progress of generative adversarial networks (GANs) at synthesizing photo-realistic images, producing complex urban scenes remains a challenging problem. Previous works break down scene generation into two consecutive phases: unconditional semantic layout synthesis and image synthesis conditioned on layouts. In this work, we propose to condition layout generation as well for higher semantic control: given a vector of class proportions, we generate layouts with matching composition. To this end, we introduce a conditional framework with novel architecture designs and learning objectives, which effectively accommodates class proportions to guide the scene generation process. The proposed architecture also allows partial layout editing with interesting applications. Thanks to the semantic control, we can produce layouts close to the real distribution, helping enhance the whole scene generation process. On different metrics and urban scene benchmarks, our models outperform existing baselines. Moreover, we demonstrate the merit of our approach for data augmentation: semantic segmenters trained on real layout-image pairs along with additional ones generated by our approach outperform models only trained on real pairs.
• Abstract（参考訳）: 画像合成におけるgans(generative adversarial networks)の進歩にもかかわらず、複雑な都市シーンの制作は依然として困難な課題である。 以前の作品はシーン生成を無条件意味レイアウト合成とレイアウトを条件とした画像合成という2つの段階に分けている。 本研究では,クラス比のベクトルが与えられた場合,一致した構成のレイアウトを生成することを目的として,条件レイアウト生成と,より高度な意味制御を提案する。 そこで本研究では,クラスの割合を効果的に調整し,シーン生成プロセスの指導を行う,新しいアーキテクチャ設計と学習目標を備えた条件付きフレームワークを提案する。 提案アーキテクチャでは、興味深いアプリケーションによる部分的なレイアウト編集も可能である。 セマンティックコントロールのおかげで、実際のディストリビューションに近いレイアウトを作成でき、シーン生成プロセス全体の強化に役立ちます。 異なるメトリクスと都市シーンベンチマークでは、私たちのモデルは既存のベースラインよりも優れています。 実際のレイアウトとイメージのペアでトレーニングされたセマンティックセグメンタと、実際のペアでトレーニングされたモデルよりも優れたアプローチによって生成された追加のセグメンタです。

関連論文リスト

• SAMPLING: Scene-adaptive Hierarchical Multiplane Images Representation for Novel View Synthesis from a Single Image [60.52991173059486]
  単一画像からの新規ビュー合成のためのシーン適応型階層型多面体画像表現であるSAMPlingを紹介する。 提案手法は,KITTIデータセット上の単一画像を用いて,大規模非有界屋外シーンにおいてかなりの性能向上を示す。
  論文  参考訳（メタデータ） (2023-09-12T15:33:09Z)
• LayoutLLM-T2I: Eliciting Layout Guidance from LLM for Text-to-Image Generation [121.45667242282721]
  レイアウト計画と画像生成を実現するための粗大なパラダイムを提案する。 提案手法は,フォトリアリスティックなレイアウトと画像生成の観点から,最先端のモデルよりも優れている。
  論文  参考訳（メタデータ） (2023-08-09T17:45:04Z)
• Composer: Creative and Controllable Image Synthesis with Composable Conditions [57.78533372393828]
  ビッグデータで学んだ最近の大規模な生成モデルは、驚くべき画像を合成できるが、制御性は限られている。 この研究は、合成品質とモデルの創造性を維持しつつ、空間配置やパレットのような出力画像の柔軟な制御を可能にする新しい世代パラダイムを提供する。
  論文  参考訳（メタデータ） (2023-02-20T05:48:41Z)
• SceneComposer: Any-Level Semantic Image Synthesis [80.55876413285587]
  任意の精度のセマンティックレイアウトから条件付き画像合成のための新しいフレームワークを提案する。 このフレームワークは、形状情報のない最低レベルのテキスト・トゥ・イメージ(T2I)に自然に還元され、最高レベルのセグメンテーション・トゥ・イメージ(S2I)となる。 本稿では,この新たなセットアップの課題に対処する,新しいテクニックをいくつか紹介する。
  論文  参考訳（メタデータ） (2022-11-21T18:59:05Z)
• Interactive Image Synthesis with Panoptic Layout Generation [14.1026819862002]
  本稿では,Panoptic Layout Generative Adversarial Networks (PLGAN)を提案する。 PLGANは、アモルファス境界を持つ"stuff"と、明確に定義された形状を持つ"things"とを区別するパノプティクス理論を採用している。 我々は、COCO-Stuff、Visual Genome、Landscapeデータセット上の最先端のレイアウトベースモデルとPLGANを実験的に比較した。
  論文  参考訳（メタデータ） (2022-03-04T02:45:27Z)
• Generating Novel Scene Compositions from Single Images and Videos [21.92417902229955]
  SIV-GANは,1つのトレーニング画像や1つのビデオクリップから新たなシーン合成を生成できる無条件生成モデルである。 従来の単一画像 GAN と比較すると,より多彩で高品質な画像を生成する一方で,単一の画像設定に制限されない。
  論文  参考訳（メタデータ） (2021-03-24T17:59:07Z)
• End-to-End Optimization of Scene Layout [56.80294778746068]
  シーングラフに条件付きシーンレイアウト合成のためのエンド・ツー・エンド変分生成モデルを提案する。 シーングラフを抽象的だが汎用的な表現として使用し、多様なシーンレイアウトの合成を誘導する。
  論文  参考訳（メタデータ） (2020-07-23T01:35:55Z)
• Example-Guided Image Synthesis across Arbitrary Scenes using Masked Spatial-Channel Attention and Self-Supervision [83.33283892171562]
  実例誘導画像合成は,最近セマンティックラベルマップと模範画像から画像を合成するために試みられている。 本稿では,ラベルマップと意味的に異なる任意のシーンイメージを例に,より困難で汎用的な課題に取り組む。 本稿では,グローバル・ローカルな特徴アライメントと合成のためのエンドツーエンドネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-18T18:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。