論文の概要: Paint2Pix: Interactive Painting based Progressive Image Synthesis and Editing

• arxiv url: http://arxiv.org/abs/2208.08092v1
• Date: Wed, 17 Aug 2022 06:08:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-18 12:09:14.946839
• Title: Paint2Pix: Interactive Painting based Progressive Image Synthesis and Editing
• Title（参考訳）: Paint2Pix:インタラクティブペイントに基づくプログレッシブな画像合成と編集
• Authors: Jaskirat Singh, Liang Zheng, Cameron Smith, Jose Echevarria
• Abstract要約: paint2pixは、初歩的なブラシストローク入力から"ユーザが描きたいもの"を予測することを学ぶ。 paint2pixは、スクラッチからプログレッシブな画像合成に使用できる。 私たちのアプローチは、実際の画像編集にも驚くほど便利なアプローチを形成しています。
• 参考スコア（独自算出の注目度）: 23.143394242978125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Controllable image synthesis with user scribbles is a topic of keen interest in the computer vision community. In this paper, for the first time we study the problem of photorealistic image synthesis from incomplete and primitive human paintings. In particular, we propose a novel approach paint2pix, which learns to predict (and adapt) "what a user wants to draw" from rudimentary brushstroke inputs, by learning a mapping from the manifold of incomplete human paintings to their realistic renderings. When used in conjunction with recent works in autonomous painting agents, we show that paint2pix can be used for progressive image synthesis from scratch. During this process, paint2pix allows a novice user to progressively synthesize the desired image output, while requiring just few coarse user scribbles to accurately steer the trajectory of the synthesis process. Furthermore, we find that our approach also forms a surprisingly convenient approach for real image editing, and allows the user to perform a diverse range of custom fine-grained edits through the addition of only a few well-placed brushstrokes. Supplemental video and demo are available at https://1jsingh.github.io/paint2pix
• Abstract（参考訳）: ユーザ記述による制御可能な画像合成は、コンピュータビジョンコミュニティに強い関心を持つトピックである。 本稿では,不完全かつ原始的な人間の絵画から光現実的画像合成の問題を初めて研究する。 特に,未完成な人間の絵画の多様体からリアルなレンダリングへのマッピングを学習することにより,未完成のブラシストローク入力から「ユーザが描きたいもの」を予測し,適応させるアプローチのペイント2ピクセルを提案する。 近年の自律的絵画エージェントの研究と併用して、ペイント2ピクセルをスクラッチからプログレッシブな画像合成に利用できることを示す。 この過程で、Paint2pixは、初心者のユーザが所望の画像出力を段階的に合成し、粗いユーザのスクリブルを少なくして、合成プロセスの軌道を正確に制御する。 さらに,本手法は,実際の画像編集に驚くほど便利なアプローチであり,複数個所のブラシストロークを付加することで,ユーザが様々なカスタマイズされた細かな編集を行えるようにしている。 追加ビデオとデモはhttps://1jsingh.github.io/paint2pixで利用可能

関連論文リスト

• ReShader: View-Dependent Highlights for Single Image View-Synthesis [5.736642774848791]
  本稿では,ビュー合成過程を画素再構成と再配置の2つの独立したタスクに分割することを提案する。 再構成の過程では,1枚の画像を入力とし,新しいカメラに基づいてシェーディングを調整する。 そして、この再構成画像を既存のビュー合成法の入力として使用し、画素を移動させ、最終的な新規なビュー画像を生成する。
  論文  参考訳（メタデータ） (2023-09-19T15:23:52Z)
• Interactive Neural Painting [66.9376011879115]
  本稿では,対話型ニューラルペイント(NP)の最初のアプローチを提案する。 2段デコーダを用いた条件変圧器変分自動エンコーダ(VAE)アーキテクチャに基づく新しい手法であるI-Paintを提案する。 実験の結果,本手法は良好なストローク提案を提供し,最先端技術と比較した。
  論文  参考訳（メタデータ） (2023-07-31T07:02:00Z)
• Towards Interactive Image Inpainting via Sketch Refinement [13.34066589008464]
  そこで本研究では,SketchRefinerと呼ばれる2段階画像のインペイント手法を提案する。 第1段階では,クロス相関損失関数を用いて,ユーザが提供するスケッチを堅牢に校正し,洗練する。 第2段階では,特徴空間の抽象的スケッチから情報的特徴を抽出し,着色過程を変調する。
  論文  参考訳（メタデータ） (2023-06-01T07:15:54Z)
• Novel View Synthesis of Humans using Differentiable Rendering [50.57718384229912]
  我々は新しいポーズで人々の新しい視点を合成するための新しいアプローチを提案する。 我々の合成はヒトの骨格構造を表す拡散ガウス原始体を用いる。 これらのプリミティブをレンダリングすると、高次元の潜像が得られ、デコーダネットワークによってRGBイメージに変換される。
  論文  参考訳（メタデータ） (2023-03-28T10:48:33Z)
• High-Fidelity Guided Image Synthesis with Latent Diffusion Models [50.39294302741698]
  提案手法は, ユーザ満足度スコアを85.32%以上上回り, 従来の最先端技術よりも優れていた。 人的ユーザ調査の結果、提案手法は、全体のユーザ満足度スコアにおいて、従来の最先端技術よりも85.32%以上優れていたことが示されている。
  論文  参考訳（メタデータ） (2022-11-30T15:43:20Z)
• SketchEdit: Mask-Free Local Image Manipulation with Partial Sketches [95.45728042499836]
  マスクレス局所画像操作という,スケッチに基づく画像操作の新しいパラダイムを提案する。 本モデルでは,対象の修正領域を自動的に予測し,構造型ベクトルにエンコードする。 ジェネレータは、スタイルベクトルとスケッチに基づいて、新しいイメージコンテンツを合成する。
  論文  参考訳（メタデータ） (2021-11-30T02:42:31Z)
• Realistic Image Synthesis with Configurable 3D Scene Layouts [59.872657806747576]
  本稿では,3次元シーンレイアウトに基づくリアルな画像合成手法を提案する。 提案手法では, セマンティッククラスラベルを入力として3Dシーンを抽出し, 3Dシーンの描画ネットワークを訓練する。 訓練された絵画ネットワークにより、入力された3Dシーンのリアルな外観の画像を描画し、操作することができる。
  論文  参考訳（メタデータ） (2021-08-23T09:44:56Z)
• Sketch-Guided Scenery Image Outpainting [83.6612152173028]
  本稿では,スケッチ誘導露光を行うエンコーダデコーダに基づくネットワークを提案する。 全体的アライメントモジュールを適用して、合成された部分をグローバルビューの実際のものと類似させる。 第2に, 合成した部分からスケッチを逆向きに生成し, 接地した部分との整合性を奨励する。
  論文  参考訳（メタデータ） (2020-06-17T11:34:36Z)
• Painting Many Pasts: Synthesizing Time Lapse Videos of Paintings [23.99927916916298]
  我々は,ある絵画がどう作られたかを示すタイムラプス映像を合成する,新しいビデオ合成タスクを導入する。 本稿では,完成した絵画の1つの像が与えられた場合,その工程のステップを連続的に合成する確率モデルを提案する。 我々は,このモデルを多くの時間ステップのサンプリングに利用し,長期ビデオ合成を可能にすることを実証した。
  論文  参考訳（メタデータ） (2020-01-04T03:12:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。