論文の概要: Semantic-shape Adaptive Feature Modulation for Semantic Image Synthesis

• arxiv url: http://arxiv.org/abs/2203.16898v1
• Date: Thu, 31 Mar 2022 09:06:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-02 02:42:26.628054
• Title: Semantic-shape Adaptive Feature Modulation for Semantic Image Synthesis
• Title（参考訳）: 意味画像合成のための意味形状適応特徴変調
• Authors: Zhengyao Lv, Xiaoming Li, Zhenxing Niu, Bing Cao, Wangmeng Zuo
• Abstract要約: きめ細かい部分レベルのセマンティックレイアウトは、オブジェクトの詳細生成に役立ちます。 各画素の位置特徴を記述するために,SPD (Shape-aware Position Descriptor) を提案する。 セマンティック形状適応特徴変調 (SAFM) ブロックは, 与えられた意味マップと位置特徴を組み合わせるために提案される。
• 参考スコア（独自算出の注目度）: 71.56830815617553
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have witnessed substantial progress in semantic image synthesis, it is still challenging in synthesizing photo-realistic images with rich details. Most previous methods focus on exploiting the given semantic map, which just captures an object-level layout for an image. Obviously, a fine-grained part-level semantic layout will benefit object details generation, and it can be roughly inferred from an object's shape. In order to exploit the part-level layouts, we propose a Shape-aware Position Descriptor (SPD) to describe each pixel's positional feature, where object shape is explicitly encoded into the SPD feature. Furthermore, a Semantic-shape Adaptive Feature Modulation (SAFM) block is proposed to combine the given semantic map and our positional features to produce adaptively modulated features. Extensive experiments demonstrate that the proposed SPD and SAFM significantly improve the generation of objects with rich details. Moreover, our method performs favorably against the SOTA methods in terms of quantitative and qualitative evaluation. The source code and model are available at https://github.com/cszy98/SAFM.
• Abstract（参考訳）: 近年, セマンティック画像合成の進歩が目覚ましいが, より詳細な写真リアル画像の合成はいまだに困難である。 以前の手法では、イメージのオブジェクトレベルのレイアウトをキャプチャする、与えられたセマンティックマップの活用に重点を置いていた。 明らかに、細かい部分レベルのセマンティクスレイアウトは、オブジェクトの詳細生成に効果があり、オブジェクトの形状から概ね推測することができる。 そこで,各画素の位置特徴をspd(shape-aware position descriptor)として表現し,オブジェクト形状をspd特徴に明示的にエンコードする。 さらに, セマンティック形状の適応的特徴変調(SAFM)ブロックを提案し, 与えられたセマンティックマップと位置特徴を組み合わせた適応的特徴量を生成する。 広範囲な実験により、提案したSPDとSAFMは、豊富な詳細でオブジェクトの生成を著しく改善することが示された。 さらに, 定量的, 定性的評価の観点から, SOTA法に対して良好な評価を行う。 ソースコードとモデルはhttps://github.com/cszy98/safmで入手できる。

関連論文リスト

• PLACE: Adaptive Layout-Semantic Fusion for Semantic Image Synthesis [62.29033292210752]
  一貫性のあるセマンティクスとレイアウトを備えた高品質なイメージは依然として課題である。 本稿では,前述した問題を緩和するために,事前学習モデルを利用したadaPtive LAyout-semantiC fusion modulE (PLACE)を提案する。 われわれのアプローチは、視覚的品質、セマンティック一貫性、レイアウトアライメントの観点から好意的に機能する。
  論文  参考訳（メタデータ） (2024-03-04T09:03:16Z)
• Semantic Lens: Instance-Centric Semantic Alignment for Video Super-Resolution [36.48329560039897]
  フレーム間アライメントはビデオ超解像(VSR)の重要な手がかりである 本稿では,セマンティックレンズ(Semantic Lens)という,VSRのための新しいパラダイムを提案する。 ビデオはセマンティックエクストラクタを介してインスタンス、イベント、シーンとしてモデル化される。
  論文  参考訳（メタデータ） (2023-12-13T01:16:50Z)
• SSMG: Spatial-Semantic Map Guided Diffusion Model for Free-form Layout-to-Image Generation [68.42476385214785]
  本稿では,レイアウトから派生した特徴写像を用いた空間意味マップガイド(SSMG)拡散モデルを提案する。 SSMGは,従来の研究に比べて空間的,意味的な制御性に優れた生成品質を実現する。 また,RSA(Relation-Sensitive Attention)機構とLSA(Location-Sensitive Attention)機構を提案する。
  論文  参考訳（メタデータ） (2023-08-20T04:09:12Z)
• Inferring and Leveraging Parts from Object Shape for Improving Semantic Image Synthesis [64.05076727277431]
  本稿では、オブジェクトShapE(iPOSE)からパーツを推論し、セマンティック画像合成の改善に活用する。 我々は、事前に定義されたサポート部分マップのガイダンスを用いて、オブジェクト部分マップを予測するPartNetを学習する。 実験の結果,iPOSEは細部が豊富なオブジェクトを生成するだけでなく,画像合成を柔軟に制御できることがわかった。
  論文  参考訳（メタデータ） (2023-05-31T04:27:47Z)
• Retrieval-based Spatially Adaptive Normalization for Semantic Image Synthesis [68.1281982092765]
  本稿では,Retrieval-based spatially AdaptIve normalization (RESAIL) と呼ばれる新しい正規化モジュールを提案する。 RESAILは、正規化アーキテクチャに対するピクセルレベルのきめ細かいガイダンスを提供する。 いくつかの挑戦的なデータセットの実験により、RESAILは定量的メトリクス、視覚的品質、主観的評価の観点から、最先端技術に対して好意的に機能することが示された。
  論文  参考訳（メタデータ） (2022-04-06T14:21:39Z)
• Controllable Image Synthesis via SegVAE [89.04391680233493]
  セマンティックマップは条件付き画像生成の中間表現として一般的に使用される。 本研究では,所望のカテゴリからなるラベルセットを与えられたセマンティックマップの生成を特に対象とする。 提案するフレームワークSegVAEは,条件付き変分オートエンコーダを用いて,セマンティックマップを反復的に合成する。
  論文  参考訳（メタデータ） (2020-07-16T15:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。