論文の概要: Inferring and Leveraging Parts from Object Shape for Improving Semantic Image Synthesis

• arxiv url: http://arxiv.org/abs/2305.19547v1
• Date: Wed, 31 May 2023 04:27:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 18:39:57.104443
• Title: Inferring and Leveraging Parts from Object Shape for Improving Semantic Image Synthesis
• Title（参考訳）: セマンティック画像合成改善のための物体形状からの部品の推測と活用
• Authors: Yuxiang Wei, Zhilong Ji, Xiaohe Wu, Jinfeng Bai, Lei Zhang, Wangmeng Zuo
• Abstract要約: 本稿では、オブジェクトShapE(iPOSE)からパーツを推論し、セマンティック画像合成の改善に活用する。 我々は、事前に定義されたサポート部分マップのガイダンスを用いて、オブジェクト部分マップを予測するPartNetを学習する。 実験の結果,iPOSEは細部が豊富なオブジェクトを生成するだけでなく,画像合成を柔軟に制御できることがわかった。
• 参考スコア（独自算出の注目度）: 64.05076727277431
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the progress in semantic image synthesis, it remains a challenging problem to generate photo-realistic parts from input semantic map. Integrating part segmentation map can undoubtedly benefit image synthesis, but is bothersome and inconvenient to be provided by users. To improve part synthesis, this paper presents to infer Parts from Object ShapE (iPOSE) and leverage it for improving semantic image synthesis. However, albeit several part segmentation datasets are available, part annotations are still not provided for many object categories in semantic image synthesis. To circumvent it, we resort to few-shot regime to learn a PartNet for predicting the object part map with the guidance of pre-defined support part maps. PartNet can be readily generalized to handle a new object category when a small number (e.g., 3) of support part maps for this category are provided. Furthermore, part semantic modulation is presented to incorporate both inferred part map and semantic map for image synthesis. Experiments show that our iPOSE not only generates objects with rich part details, but also enables to control the image synthesis flexibly. And our iPOSE performs favorably against the state-of-the-art methods in terms of quantitative and qualitative evaluation. Our code will be publicly available at https://github.com/csyxwei/iPOSE.
• Abstract（参考訳）: セマンティック画像合成の進歩にもかかわらず、入力セマンティックマップから写真リアルな部分を生成することは難しい問題である。 部分セグメンテーションマップの統合は、間違いなく画像合成の恩恵を受けるが、ユーザによって提供されるのは面倒で不便である。 部品合成を改善するために,物体形状(ipose)から部品を推定し,それを利用して意味画像合成を改善する。 しかし、いくつかの部分セグメンテーションデータセットが利用可能であるが、部分アノテーションはセマンティックイメージ合成において多くのオブジェクトカテゴリに対して提供されていない。 これを回避するために、事前に定義されたサポート部分マップのガイダンスを用いて、オブジェクト部分マップを予測するPartNetを学習する。 PartNetは、このカテゴリのサポート部分マップの小さな数(例えば3)が提供されるときに、新しいオブジェクトカテゴリを扱うように簡単に一般化できる。 さらに、画像合成のための推定部分マップと意味マップの両方を組み込むために、部分意味変調を提案する。 実験の結果,iPOSEは細部が豊富なオブジェクトを生成するだけでなく,画像合成を柔軟に制御できることがわかった。 我々のiPOSEは、定量的、質的評価の観点から最先端の手法に対して好意的に機能する。 私たちのコードはhttps://github.com/csyxwei/iposeで公開されます。

関連論文リスト

• Semantic-shape Adaptive Feature Modulation for Semantic Image Synthesis [71.56830815617553]
  きめ細かい部分レベルのセマンティックレイアウトは、オブジェクトの詳細生成に役立ちます。 各画素の位置特徴を記述するために,SPD (Shape-aware Position Descriptor) を提案する。 セマンティック形状適応特徴変調 (SAFM) ブロックは, 与えられた意味マップと位置特徴を組み合わせるために提案される。
  論文  参考訳（メタデータ） (2022-03-31T09:06:04Z)
• PartImageNet: A Large, High-Quality Dataset of Parts [16.730418538593703]
  パートセグメンテーションアノテーションを備えた高品質なデータセットであるPartImageNetを提案する。 PartImageNetは、非厳密で明示的なオブジェクトを持つ一般的なクラスのセットに、部分レベルのアノテーションを提供するため、ユニークなものだ。 複数の視覚タスクで使用できるが、制限はない:Part Discovery、Few-shot Learning。
  論文  参考訳（メタデータ） (2021-12-02T02:12:03Z)
• 3D Compositional Zero-shot Learning with DeCompositional Consensus [102.7571947144639]
  我々は、部分的知識は観察されたオブジェクトクラスを超えて構成可能であるべきだと論じる。 本稿では、視覚から見えないオブジェクトクラスへの部分一般化の問題として、3D合成ゼロショット学習を提案する。
  論文  参考訳（メタデータ） (2021-11-29T16:34:53Z)
• Generative View Synthesis: From Single-view Semantics to Novel-view Images [38.7873192939574]
  ジェネレーティブビュー合成(GVS)は、単一のセマンティックマップが与えられたシーンの複数のフォトリアリスティックビューを合成することができる。 まず、入力された2Dセマンティックマップを、特徴空間内のシーンの3D層表現に持ち上げる。 次に、レイヤー化された特徴を対象のビューに投影し、最終的なノベルビュー画像を生成する。
  論文  参考訳（メタデータ） (2020-08-20T17:48:16Z)
• Improving Semantic Segmentation via Decoupled Body and Edge Supervision [89.57847958016981]
  既存のセグメンテーションアプローチは、グローバルコンテキストをモデル化することでオブジェクトの内部の一貫性を改善すること、あるいはマルチスケールの特徴融合によって境界に沿ったオブジェクトの詳細を洗練することを目的としている。 本稿では,セマンティックセグメンテーションのための新しいパラダイムを提案する。 我々の洞察は、セマンティックセグメンテーションの魅力ある性能には、画像の高頻度と低頻度に対応するオブジェクトのテキストボディとテキストエッジを具体的にモデル化する必要があるということである。 さまざまなベースラインやバックボーンネットワークを備えた提案したフレームワークが,オブジェクト内部の一貫性とオブジェクト境界を向上させることを示す。
  論文  参考訳（メタデータ） (2020-07-20T12:11:22Z)
• Controllable Image Synthesis via SegVAE [89.04391680233493]
  セマンティックマップは条件付き画像生成の中間表現として一般的に使用される。 本研究では,所望のカテゴリからなるラベルセットを与えられたセマンティックマップの生成を特に対象とする。 提案するフレームワークSegVAEは,条件付き変分オートエンコーダを用いて,セマンティックマップを反復的に合成する。
  論文  参考訳（メタデータ） (2020-07-16T15:18:53Z)
• Part-aware Prototype Network for Few-shot Semantic Segmentation [50.581647306020095]
  本稿では,プロトタイプ表現に基づく新規な数ショットセマンティックセマンティックセマンティクスフレームワークを提案する。 私たちのキーとなるアイデアは、全体論的なクラス表現を、部分認識型プロトタイプのセットに分解することです。 提案する部分認識型プロトタイプを生成・拡張する新しいグラフニューラルネットワークモデルを開発した。
  論文  参考訳（メタデータ） (2020-07-13T11:03:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。