論文の概要: Controllable Image Synthesis via SegVAE

• arxiv url: http://arxiv.org/abs/2007.08397v2
• Date: Fri, 17 Jul 2020 04:13:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 22:32:32.880647
• Title: Controllable Image Synthesis via SegVAE
• Title（参考訳）: SegVAEによる制御可能な画像合成
• Authors: Yen-Chi Cheng, Hsin-Ying Lee, Min Sun, Ming-Hsuan Yang
• Abstract要約: セマンティックマップは条件付き画像生成の中間表現として一般的に使用される。 本研究では,所望のカテゴリからなるラベルセットを与えられたセマンティックマップの生成を特に対象とする。 提案するフレームワークSegVAEは,条件付き変分オートエンコーダを用いて,セマンティックマップを反復的に合成する。
• 参考スコア（独自算出の注目度）: 89.04391680233493
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Flexible user controls are desirable for content creation and image editing. A semantic map is commonly used intermediate representation for conditional image generation. Compared to the operation on raw RGB pixels, the semantic map enables simpler user modification. In this work, we specifically target at generating semantic maps given a label-set consisting of desired categories. The proposed framework, SegVAE, synthesizes semantic maps in an iterative manner using conditional variational autoencoder. Quantitative and qualitative experiments demonstrate that the proposed model can generate realistic and diverse semantic maps. We also apply an off-the-shelf image-to-image translation model to generate realistic RGB images to better understand the quality of the synthesized semantic maps. Furthermore, we showcase several real-world image-editing applications including object removal, object insertion, and object replacement.
• Abstract（参考訳）: フレキシブルなユーザコントロールは、コンテンツ作成と画像編集に望ましい。 セマンティックマップは条件付き画像生成の中間表現として一般的に使用される。 生のRGBピクセルの操作と比較して、セマンティックマップはより簡単なユーザ修正を可能にする。 本研究では,所望のカテゴリからなるラベルセットを与えられたセマンティックマップの生成を特に対象とする。 提案するフレームワークSegVAEは,条件付き変分オートエンコーダを用いて,セマンティックマップを反復的に合成する。 定量的および定性的な実験により,提案モデルが現実的で多様な意味マップを生成できることが実証された。 また,合成セマンティックマップの品質をよりよく理解するために,市販画像から画像への変換モデルを適用し,リアルなRGB画像を生成する。 さらに,オブジェクト除去,オブジェクト挿入,オブジェクト置換など,現実的な画像編集アプリケーションをいくつか紹介する。

関連論文リスト

• CIMGEN: Controlled Image Manipulation by Finetuning Pretrained Generative Models on Limited Data [14.469539513542584]
  セマンティックマップは、画像に存在するオブジェクトの情報を持っている。 簡単にマップを変更して、マップ内のオブジェクトを選択的に挿入、削除、置換することができる。 本稿では,修正セマンティックマップを取り入れ,修正セマンティックマップに従って原画像を変更する手法を提案する。
  論文  参考訳（メタデータ） (2024-01-23T06:30:47Z)
• Unlocking Pre-trained Image Backbones for Semantic Image Synthesis [29.688029979801577]
  本稿では,現実的な画像を生成するセマンティック画像合成のための新しい種類のGAN識別器を提案する。 DP-SIMSをダブした本モデルでは,ADE-20K,COCO-Stuff,Cityscapesの入力ラベルマップと画像品質と一貫性の両面から,最新の結果が得られる。
  論文  参考訳（メタデータ） (2023-12-20T09:39:19Z)
• Wavelet-based Unsupervised Label-to-Image Translation [9.339522647331334]
  本稿では、自己教師付きセグメンテーション損失と全画像ウェーブレットに基づく識別を併用した、SIS(USIS)のための新しいアン教師付きパラダイムを提案する。 3つの挑戦的なデータセットで方法論を検証し、ペアモデルとアンペアモデルのパフォーマンスギャップを橋渡しする能力を実証する。
  論文  参考訳（メタデータ） (2023-05-16T17:48:44Z)
• Structure-Guided Image Completion with Image-level and Object-level Semantic Discriminators [97.12135238534628]
  複雑な意味論やオブジェクトの生成を改善するために,セマンティック・ディミネータとオブジェクトレベル・ディミネータからなる学習パラダイムを提案する。 特に、セマンティック・ディミネーターは、事前学習された視覚的特徴を利用して、生成された視覚概念の現実性を改善する。 提案手法は, 生成品質を著しく向上させ, 各種タスクの最先端化を実現する。
  論文  参考訳（メタデータ） (2022-12-13T01:36:56Z)
• Semantic-shape Adaptive Feature Modulation for Semantic Image Synthesis [71.56830815617553]
  きめ細かい部分レベルのセマンティックレイアウトは、オブジェクトの詳細生成に役立ちます。 各画素の位置特徴を記述するために,SPD (Shape-aware Position Descriptor) を提案する。 セマンティック形状適応特徴変調 (SAFM) ブロックは, 与えられた意味マップと位置特徴を組み合わせるために提案される。
  論文  参考訳（メタデータ） (2022-03-31T09:06:04Z)
• FlexIT: Towards Flexible Semantic Image Translation [59.09398209706869]
  我々は,任意の入力画像とユーザが定義したテキストを編集するための新しい方法であるFlexITを提案する。 まず、FlexITは入力画像とテキストをCLIPマルチモーダル埋め込み空間内の単一のターゲットポイントに結合する。 我々は、入力画像を目標点に向けて反復的に変換し、新しい正規化用語で一貫性と品質を確保する。
  論文  参考訳（メタデータ） (2022-03-09T13:34:38Z)
• Linear Semantics in Generative Adversarial Networks [26.123252503846942]
  GANのセマンティック表現をよりよく理解し、GANの生成プロセスにおけるセマンティック制御を可能にすることを目指しています。 よく訓練されたGANは、イメージセマンティクスを驚くほどシンプルな方法で内部機能マップにエンコードします。 Semantic-Conditional SamplingとSemantic Image Editingという2つの画像編集手法を提案する。
  論文  参考訳（メタデータ） (2021-04-01T14:18:48Z)
• Text-to-Image Generation Grounded by Fine-Grained User Attention [62.94737811887098]
  Localized Narrativesは、マウストレースと組み合わせた画像の詳細な自然言語記述を備えたデータセットである。 本稿では、このグラウンド化を利用して画像を生成するシーケンシャルモデルであるTReCSを提案する。
  論文  参考訳（メタデータ） (2020-11-07T13:23:31Z)
• Panoptic-based Image Synthesis [32.82903428124024]
  条件付き画像合成は、コンテンツ編集からコンテンツ生成への様々な応用を提供する。 本研究では,パノプティカルマップに条件付き高忠実度・光実写画像を生成するために,パノプティカル・アウェア・イメージ合成ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-21T20:40:53Z)
• SESAME: Semantic Editing of Scenes by Adding, Manipulating or Erasing Objects [127.7627687126465]
  SESAMEは、オブジェクトの追加、操作、消去によるシーンのセマンティック編集のための新しいジェネレータ-差別化器である。 我々の設定では、ユーザは編集対象領域のセマンティックラベルを提供し、ジェネレータは対応するピクセルを合成する。 我々は,多種多様なデータセット上でモデルを評価し,2つのタスクについて最先端のパフォーマンスを報告する。
  論文  参考訳（メタデータ） (2020-04-10T10:19:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。