論文の概要: Diverse Semantic Image Editing with Style Codes

• arxiv url: http://arxiv.org/abs/2309.13975v1
• Date: Mon, 25 Sep 2023 09:22:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 16:22:50.086968
• Title: Diverse Semantic Image Editing with Style Codes
• Title（参考訳）: スタイルコードを用いたディバース・セマンティック画像編集
• Authors: Hakan Sivuk, Aysegul Dundar
• Abstract要約: 本稿では,視覚的および部分的可視なオブジェクトを新しい機構でエンコードし,スタイルエンコーディングと最終世代における一貫性を実現するフレームワークを提案する。 提案手法は, より定量的な結果を得るとともに, 多様な結果をもたらす。
• 参考スコア（独自算出の注目度）: 6.7737387715834725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic image editing requires inpainting pixels following a semantic map. It is a challenging task since this inpainting requires both harmony with the context and strict compliance with the semantic maps. The majority of the previous methods proposed for this task try to encode the whole information from erased images. However, when an object is added to a scene such as a car, its style cannot be encoded from the context alone. On the other hand, the models that can output diverse generations struggle to output images that have seamless boundaries between the generated and unerased parts. Additionally, previous methods do not have a mechanism to encode the styles of visible and partially visible objects differently for better performance. In this work, we propose a framework that can encode visible and partially visible objects with a novel mechanism to achieve consistency in the style encoding and final generations. We extensively compare with previous conditional image generation and semantic image editing algorithms. Our extensive experiments show that our method significantly improves over the state-of-the-art. Our method not only achieves better quantitative results but also provides diverse results. Please refer to the project web page for the released code and demo: https://github.com/hakansivuk/DivSem.
• Abstract（参考訳）: セマンティック画像編集には、セマンティックマップに従うピクセルを塗り替える必要がある。 これはコンテキストとの調和とセマンティックマップの厳密なコンプライアンスの両方を必要とするため、難しい作業である。 このタスクのために提案された手法の大半は、消去された画像から全情報をエンコードしようとするものである。 しかし、車などのシーンにオブジェクトを追加する場合、そのスタイルはコンテキストのみからエンコードすることはできない。 一方, 多様な世代を出力できるモデルでは, 生成部と未発生部のシームレスな境界を持つ画像を出力することが困難である。 さらに、従来のメソッドは、より良いパフォーマンスのために、可視および部分可視オブジェクトのスタイルを異なる方法でエンコードするメカニズムを持っていません。 本稿では,スタイルエンコーディングと最終世代における一貫性を実現するための新しいメカニズムを用いて,可視および部分可視オブジェクトをエンコードできるフレームワークを提案する。 従来の条件付き画像生成と意味的画像編集アルゴリズムとの比較を行った。 広範な実験により,本手法は最先端よりも大幅に改善することが示された。 本手法は, 定量的な結果を得るだけでなく, 多様な結果を提供する。 リリース済みのコードとデモについては、プロジェクトのWebページを参照してください。

関連論文リスト

• LayoutLLM-T2I: Eliciting Layout Guidance from LLM for Text-to-Image Generation [121.45667242282721]
  レイアウト計画と画像生成を実現するための粗大なパラダイムを提案する。 提案手法は,フォトリアリスティックなレイアウトと画像生成の観点から,最先端のモデルよりも優れている。
  論文  参考訳（メタデータ） (2023-08-09T17:45:04Z)
• Imagic: Text-Based Real Image Editing with Diffusion Models [19.05825157237432]
  我々は、複雑なテキストガイド付きセマンティック編集を1つの実画像に適用できることを実証する。 提案手法は1つの入力画像と1つのターゲットテキストのみを必要とする。 実際のイメージで動作し、追加の入力を必要としない。
  論文  参考訳（メタデータ） (2022-10-17T17:27:32Z)
• Boosting Image Outpainting with Semantic Layout Prediction [18.819765707811904]
  我々は、画像ドメインの代わりにセマンティックセグメンテーションドメイン内の領域を拡張するために、GANを訓練する。 別のGANモデルは、拡張されたセマンティックレイアウトに基づいて実際の画像を合成するように訓練されている。 我々のアプローチは意味的な手がかりをより容易に扱えるので、複雑なシナリオではよりうまく機能します。
  論文  参考訳（メタデータ） (2021-10-18T13:09:31Z)
• Context-Aware Image Inpainting with Learned Semantic Priors [100.99543516733341]
  欠落した内容を推定するために意味的に意味のある前文タスクを導入する。 本研究では,グローバルなセマンティクスと局所的な特徴を適応的に統合した文脈認識型画像インパインティングモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-14T08:09:43Z)
• In&Out : Diverse Image Outpainting via GAN Inversion [89.84841983778672]
  image outpaintingは、利用可能なコンテンツを超えて、入力画像の意味的に一貫した拡張を求める。 本研究では、生成的対向ネットワークの反転の観点から問題を定式化する。 私達の発電機はイメージの彼らの共同潜入コードそして個々の位置で調節されるマイクロ パッチをレンダリングします。
  論文  参考訳（メタデータ） (2021-04-01T17:59:10Z)
• Semantic-Guided Inpainting Network for Complex Urban Scenes Manipulation [19.657440527538547]
  本研究では,ユーザが指定した画像の一部を取り除き,複雑な都市景観を再現する新しいディープラーニングモデルを提案する。 画像のインペイントに関する最近の研究に触発されて,提案手法はセマンティックセグメンテーションを利用して画像の内容と構造をモデル化する。 信頼性の高い結果を生成するために,セマンティックセグメンテーションと生成タスクを組み合わせた新しいデコーダブロックを設計する。
  論文  参考訳（メタデータ） (2020-10-19T09:17:17Z)
• Controllable Image Synthesis via SegVAE [89.04391680233493]
  セマンティックマップは条件付き画像生成の中間表現として一般的に使用される。 本研究では,所望のカテゴリからなるラベルセットを与えられたセマンティックマップの生成を特に対象とする。 提案するフレームワークSegVAEは,条件付き変分オートエンコーダを用いて,セマンティックマップを反復的に合成する。
  論文  参考訳（メタデータ） (2020-07-16T15:18:53Z)
• Swapping Autoencoder for Deep Image Manipulation [94.33114146172606]
  画像操作に特化して設計されたディープモデルであるSwapping Autoencoderを提案する。 キーとなるアイデアは、2つの独立したコンポーネントで画像をエンコードし、交換された組み合わせをリアルなイメージにマップするように強制することだ。 複数のデータセットの実験により、我々のモデルはより良い結果が得られ、最近の生成モデルと比較してかなり効率が良いことが示されている。
  論文  参考訳（メタデータ） (2020-07-01T17:59:57Z)
• Semantic Image Manipulation Using Scene Graphs [105.03614132953285]
  本稿では,星座変更や画像編集を直接監督する必要のないシーングラフネットワークを提案する。 これにより、追加のアノテーションを使わずに、既存の実世界のデータセットからシステムをトレーニングすることができる。
  論文  参考訳（メタデータ） (2020-04-07T20:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。