論文の概要: SESAME: Semantic Editing of Scenes by Adding, Manipulating or Erasing Objects

• arxiv url: http://arxiv.org/abs/2004.04977v2
• Date: Thu, 8 Oct 2020 14:52:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 20:45:21.667271
• Title: SESAME: Semantic Editing of Scenes by Adding, Manipulating or Erasing Objects
• Title（参考訳）: SESAME: オブジェクトの追加、操作、消去によるシーンのセマンティック編集
• Authors: Evangelos Ntavelis, Andr\'es Romero, Iason Kastanis, Luc Van Gool and Radu Timofte
• Abstract要約: SESAMEは、オブジェクトの追加、操作、消去によるシーンのセマンティック編集のための新しいジェネレータ-差別化器である。 我々の設定では、ユーザは編集対象領域のセマンティックラベルを提供し、ジェネレータは対応するピクセルを合成する。 我々は,多種多様なデータセット上でモデルを評価し,2つのタスクについて最先端のパフォーマンスを報告する。
• 参考スコア（独自算出の注目度）: 127.7627687126465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in image generation gave rise to powerful tools for semantic image editing. However, existing approaches can either operate on a single image or require an abundance of additional information. They are not capable of handling the complete set of editing operations, that is addition, manipulation or removal of semantic concepts. To address these limitations, we propose SESAME, a novel generator-discriminator pair for Semantic Editing of Scenes by Adding, Manipulating or Erasing objects. In our setup, the user provides the semantic labels of the areas to be edited and the generator synthesizes the corresponding pixels. In contrast to previous methods that employ a discriminator that trivially concatenates semantics and image as an input, the SESAME discriminator is composed of two input streams that independently process the image and its semantics, using the latter to manipulate the results of the former. We evaluate our model on a diverse set of datasets and report state-of-the-art performance on two tasks: (a) image manipulation and (b) image generation conditioned on semantic labels.
• Abstract（参考訳）: 画像生成の最近の進歩は、セマンティック画像編集のための強力なツールを生み出した。 しかし、既存のアプローチは単一のイメージで操作するか、大量の追加情報を必要とする。 それらは、セマンティックな概念の追加、操作、削除といった、完全な編集操作を処理できない。 これらの制約に対処するため,我々は,オブジェクトの追加,操作,消去によってシーンを意味的に編集する新しいジェネレータ/判別子ペアであるsesameを提案する。 我々の設定では、ユーザは編集対象領域のセマンティックラベルを提供し、ジェネレータは対応するピクセルを合成する。 意味論とイメージを入力として自明に結合する従来の判別器とは異なり、SESAME識別器は2つの入力ストリームで構成され、画像と意味論を独立に処理し、後者を用いて前者の結果を操作している。 多様なデータセットでモデルを評価し、2つのタスクで最先端のパフォーマンスを報告します。 (a)画像操作及び b) セマンティックラベルに条件付き画像生成。

関連論文リスト

• Towards Image Semantics and Syntax Sequence Learning [8.033697392628424]
  画像意味論」と「画像構文」からなる「画像文法」の概念を導入する。 視覚オブジェクト/シーンのクラスに対して画像文法を学習するための弱教師付き2段階アプローチを提案する。 私たちのフレームワークは、パッチセマンティクスを推論し、欠陥のある構文を検出するように訓練されています。
  論文  参考訳（メタデータ） (2024-01-31T00:16:02Z)
• iEdit: Localised Text-guided Image Editing with Weak Supervision [53.082196061014734]
  テキスト誘導画像編集のための新しい学習法を提案する。 ソースイメージに条件付けされた画像とテキスト編集プロンプトを生成する。 画像の忠実度、CLIPアライメントスコア、および生成された画像と実際の画像の両方を定性的に編集する点において、画像に対して好ましい結果を示す。
  論文  参考訳（メタデータ） (2023-05-10T07:39:14Z)
• Entity-Level Text-Guided Image Manipulation [70.81648416508867]
  実世界の実体レベルにおけるテキスト誘導画像操作の新しい課題(eL-TGIM)について検討する。 本稿では,実世界の画像のセマンティック・マニピュレーション(Semantic Manipulation)を形成する,セマンニ(Semani)と呼ばれるエレガントなフレームワークを提案する。 セマンティクスアライメントフェーズでは、セマンティクスアライメントモジュールを使用して、操作対象のエンティティ関連領域を特定する。 画像操作フェーズでは、SeManiは生成モデルを採用し、エンティティ非関連領域に条件付された新しい画像とターゲットテキスト記述を合成する。
  論文  参考訳（メタデータ） (2023-02-22T13:56:23Z)
• Controllable Image Synthesis via SegVAE [89.04391680233493]
  セマンティックマップは条件付き画像生成の中間表現として一般的に使用される。 本研究では,所望のカテゴリからなるラベルセットを与えられたセマンティックマップの生成を特に対象とする。 提案するフレームワークSegVAEは,条件付き変分オートエンコーダを用いて,セマンティックマップを反復的に合成する。
  論文  参考訳（メタデータ） (2020-07-16T15:18:53Z)
• Semantic Photo Manipulation with a Generative Image Prior [86.01714863596347]
  GANは、ユーザスケッチ、テキスト、セマンティックラベルなどの入力に条件付きイメージを合成することができる。 GANが入力画像を正確に再現することは困難である。 本稿では,GANが以前に学んだイメージを個々の画像の統計に適応させることにより,これらの問題に対処する。 提案手法は,入力画像の外観と一致して,入力画像を正確に再構成し,新たなコンテンツを合成することができる。
  論文  参考訳（メタデータ） (2020-05-15T18:22:05Z)
• Semantic Image Manipulation Using Scene Graphs [105.03614132953285]
  本稿では,星座変更や画像編集を直接監督する必要のないシーングラフネットワークを提案する。 これにより、追加のアノテーションを使わずに、既存の実世界のデータセットからシステムをトレーニングすることができる。
  論文  参考訳（メタデータ） (2020-04-07T20:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。