論文の概要: Local and Global GANs with Semantic-Aware Upsampling for Image Generation

• arxiv url: http://arxiv.org/abs/2203.00047v1
• Date: Mon, 28 Feb 2022 19:24:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-02 13:51:29.639813
• Title: Local and Global GANs with Semantic-Aware Upsampling for Image Generation
• Title（参考訳）: 画像生成のためのsemantic-aware upsamplingを用いたローカルおよびグローバルgan
• Authors: Hao Tang, Ling Shao, Philip H.S. Torr, Nicu Sebe
• Abstract要約: ローカルコンテキストを用いて画像を生成することを検討する。 セマンティックマップをガイダンスとして用いたクラス固有の生成ネットワークを提案する。 最後に,セマンティック・アウェア・アップサンプリング手法を提案する。
• 参考スコア（独自算出の注目度）: 201.39323496042527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we address the task of semantic-guided image generation. One challenge common to most existing image-level generation methods is the difficulty in generating small objects and detailed local textures. To address this, in this work we consider generating images using local context. As such, we design a local class-specific generative network using semantic maps as guidance, which separately constructs and learns subgenerators for different classes, enabling it to capture finer details. To learn more discriminative class-specific feature representations for the local generation, we also propose a novel classification module. To combine the advantages of both global image-level and local class-specific generation, a joint generation network is designed with an attention fusion module and a dual-discriminator structure embedded. Lastly, we propose a novel semantic-aware upsampling method, which has a larger receptive field and can take far-away pixels that are semantically related for feature upsampling, enabling it to better preserve semantic consistency for instances with the same semantic labels. Extensive experiments on two image generation tasks show the superior performance of the proposed method. State-of-the-art results are established by large margins on both tasks and on nine challenging public benchmarks. The source code and trained models are available at https://github.com/Ha0Tang/LGGAN.
• Abstract（参考訳）: 本稿では,セマンティック誘導画像生成の課題について述べる。 既存のイメージレベル生成手法に共通する課題のひとつは、小さなオブジェクトや詳細なローカルテクスチャの生成が難しいことだ。 これに対処するため、本研究ではローカルコンテキストを用いた画像生成について検討する。 そこで我々は、意味マップをガイダンスとして使用した局所クラス固有の生成ネットワークを設計し、異なるクラスに対するサブジェネレータを別々に構築し、学習することにより、より詳細な情報を取得することができる。 局所生成のためのクラス固有の特徴表現をより識別するために,新しい分類モジュールを提案する。 グローバル画像レベルとローカルクラス固有生成の両方の利点を両立させるため、アテンション融合モジュールとデュアル判別器構造を組み込んだジョイントジェネレーションネットワークを設計する。 最後に,より広い受容領域を持ち,機能アップサンプリングにセマンティックに関連のある遠方画素を取り込み,同じセマンティックラベルを持つインスタンスに対するセマンティック一貫性をよりよく維持することのできる,セマンティック・アウェア・アップサンプリング手法を提案する。 2つの画像生成タスクに関する広範囲な実験により,提案手法の性能が向上した。 最先端の結果は、両方のタスクと9つの挑戦的な公開ベンチマークにおいて大きなマージンで確立されている。 ソースコードとトレーニングされたモデルはhttps://github.com/Ha0Tang/LGGANで公開されている。

関連論文リスト

• Dual Pyramid Generative Adversarial Networks for Semantic Image Synthesis [94.76988562653845]
  セマンティック画像合成の目標は、セマンティックラベルマップからフォトリアリスティック画像を生成することである。 しかし、現在の最先端のアプローチは、さまざまなスケールで画像で現実的なオブジェクトを生成するのに依然として苦労している。 本研究では,空間適応型正規化ブロックの条件付けを各スケールで同時に学習するDual Pyramid Generative Adversarial Network (DP-GAN)を提案する。
  論文  参考訳（メタデータ） (2022-10-08T18:45:44Z)
• Boosting Image Outpainting with Semantic Layout Prediction [18.819765707811904]
  我々は、画像ドメインの代わりにセマンティックセグメンテーションドメイン内の領域を拡張するために、GANを訓練する。 別のGANモデルは、拡張されたセマンティックレイアウトに基づいて実際の画像を合成するように訓練されている。 我々のアプローチは意味的な手がかりをより容易に扱えるので、複雑なシナリオではよりうまく機能します。
  論文  参考訳（メタデータ） (2021-10-18T13:09:31Z)
• Collaging Class-specific GANs for Semantic Image Synthesis [68.87294033259417]
  本稿では,高分解能なセマンティック画像合成のための新しい手法を提案する。 1つのベースイメージジェネレータと複数のクラス固有のジェネレータで構成される。 実験により,本手法は高解像度で高品質な画像を生成することができることが示された。
  論文  参考訳（メタデータ） (2021-10-08T17:46:56Z)
• Improving Few-shot Learning with Weakly-supervised Object Localization [24.3569501375842]
  画像のクラス関連領域から特徴を抽出してクラス表現を生成する新しいフレームワークを提案する。 提案手法は, miniImageNet および tieredImageNet ベンチマークにおいて,ベースライン数ショットモデルよりも優れている。
  論文  参考訳（メタデータ） (2021-05-25T07:39:32Z)
• Semantic Segmentation with Generative Models: Semi-Supervised Learning and Strong Out-of-Domain Generalization [112.68171734288237]
  本論文では,画像とラベルの再生モデルを用いた識別画素レベルのタスクのための新しいフレームワークを提案する。 我々は,共同画像ラベルの分布を捕捉し,未ラベル画像の大規模な集合を用いて効率的に訓練する生成的対向ネットワークを学習する。 ドメイン内性能をいくつかのベースラインと比較し,ドメイン外一般化を極端に示す最初の例である。
  論文  参考訳（メタデータ） (2021-04-12T21:41:25Z)
• Learning to Discover Multi-Class Attentional Regions for Multi-Label Image Recognition [20.2935275611948]
  本稿では,グローバルイメージからローカル領域への多カテゴリオブジェクト認識のための,シンプルだが効率的な2ストリームフレームワークを提案する。 グローバルストリームとローカルストリームのギャップを埋めるために,マルチクラス注目領域モジュールを提案する。 提案手法は,パラメータフリー領域ローカライゼーションモジュールと安価な計算コストで,マルチクラスオブジェクトを効率よく,効果的に認識することができる。
  論文  参考訳（メタデータ） (2020-07-03T15:22:46Z)
• OneGAN: Simultaneous Unsupervised Learning of Conditional Image Generation, Foreground Segmentation, and Fine-Grained Clustering [100.32273175423146]
  本研究では、教師なしの方法で、条件付き画像生成装置、前景抽出とセグメンテーション、オブジェクトの削除と背景補完を同時に学習する方法を提案する。 Geneversarative Adrial Network と Variational Auto-Encoder を組み合わせることで、複数のエンコーダ、ジェネレータ、ディスクリミネータを組み合わせ、全てのタスクを一度に解くことができる。
  論文  参考訳（メタデータ） (2019-12-31T18:15:58Z)
• Local Class-Specific and Global Image-Level Generative Adversarial Networks for Semantic-Guided Scene Generation [135.4660201856059]
  局所的な文脈でシーン生成を学習し、意味マップをガイダンスとして、局所的なクラス固有の生成ネットワークを設計する。 局所生成のための識別クラス固有の特徴表現をより学習するために,新しい分類モジュールを提案する。 2つのシーン画像生成タスクの実験は、提案したモデルのより優れた生成性能を示す。
  論文  参考訳（メタデータ） (2019-12-27T16:14:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。