論文の概要: SketchEdit: Mask-Free Local Image Manipulation with Partial Sketches
- arxiv url: http://arxiv.org/abs/2111.15078v1
- Date: Tue, 30 Nov 2021 02:42:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-02 05:49:25.859387
- Title: SketchEdit: Mask-Free Local Image Manipulation with Partial Sketches
- Title（参考訳）: SketchEdit: 部分スケッチによるマスクなしローカルイメージ操作
- Authors: Yu Zeng, Zhe Lin, Vishal M. Patel
- Abstract要約: マスクレス局所画像操作という,スケッチに基づく画像操作の新しいパラダイムを提案する。
本モデルでは,対象の修正領域を自動的に予測し,構造型ベクトルにエンコードする。
ジェネレータは、スタイルベクトルとスケッチに基づいて、新しいイメージコンテンツを合成する。
- 参考スコア（独自算出の注目度）: 95.45728042499836
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sketch-based image manipulation is an interactive image editing task to
modify an image based on input sketches from users. Existing methods typically
formulate this task as a conditional inpainting problem, which requires users
to draw an extra mask indicating the region to modify in addition to sketches.
The masked regions are regarded as holes and filled by an inpainting model
conditioned on the sketch. With this formulation, paired training data can be
easily obtained by randomly creating masks and extracting edges or contours.
Although this setup simplifies data preparation and model design, it
complicates user interaction and discards useful information in masked regions.
To this end, we investigate a new paradigm of sketch-based image manipulation:
mask-free local image manipulation, which only requires sketch inputs from
users and utilizes the entire original image. Given an image and sketch, our
model automatically predicts the target modification region and encodes it into
a structure agnostic style vector. A generator then synthesizes the new image
content based on the style vector and sketch. The manipulated image is finally
produced by blending the generator output into the modification region of the
original image. Our model can be trained in a self-supervised fashion by
learning the reconstruction of an image region from the style vector and
sketch. The proposed method offers simpler and more intuitive user workflows
for sketch-based image manipulation and provides better results than previous
approaches. More results, code and interactive demo will be available at
\url{https://zengxianyu.github.io/sketchedit}.
- Abstract（参考訳）: スケッチベースの画像操作は、ユーザからの入力スケッチに基づいて画像を修正するインタラクティブな画像編集タスクである。
既存の方法は、通常、このタスクを条件付き塗装問題として定式化し、ユーザーはスケッチに加えて、変更すべき地域を示す余分なマスクを描く必要がある。
仮面領域は穴とされ、スケッチに条件付けされた塗り絵モデルで満たされる。
これにより、マスクをランダムに生成し、エッジや輪郭を抽出することで、ペアトレーニングデータを容易に得ることができる。
この設定はデータ作成とモデル設計を単純化するが、ユーザのインタラクションを複雑化し、マスクされた領域で有用な情報を破棄する。
そこで本研究では,ユーザからのスケッチ入力しか必要とせず,オリジナル画像全体を利用するマスクフリーなローカル画像操作という,スケッチベースの新たなパラダイムについて検討する。
画像とスケッチが与えられた場合、対象の修正領域を自動的に予測し、構造に依存しないスタイルベクトルにエンコードする。
ジェネレータは、スタイルベクトルとスケッチに基づいて、新しいイメージコンテンツを合成する。
最終的に、原画像の修正領域に出力されたジェネレータを混合して操作された画像を生成する。
我々のモデルは,画像領域の再構築を,スタイルベクトルとスケッチから学習することで,自己指導型で訓練することができる。
提案手法は、スケッチベースの画像操作のためのよりシンプルで直感的なユーザワークフローを提供し、従来のアプローチよりも優れた結果を提供する。
さらなる結果、コードとインタラクティブなデモは、 \url{https://zengxianyu.github.io/sketchedit}で公開される。
関連論文リスト
- Sketch-guided Image Inpainting with Partial Discrete Diffusion Process [5.005162730122933]
スケッチ誘導インペイントのための新しい部分離散拡散法(PDDP)を提案する。
PDDPは画像のマスキング領域を破損させ、手描きスケッチで条件付けられたこれらのマスキング領域を再構築する。
提案するトランスモジュールは,2つの入力を受信する。マスク領域を含む画像はインペイントされ,クエリスケッチは逆拡散過程をモデル化する。
論文 参考訳（メタデータ） (2024-04-18T07:07:38Z) - Block and Detail: Scaffolding Sketch-to-Image Generation [65.56590359051634]
アーティストの反復的な洗練プロセスと整合する新しいスケッチ・ツー・イメージ・ツールを提案する。
私たちのツールは、ブロックされたストロークをスケッチして、オブジェクトの配置や形を粗く表現し、詳細なストロークを表現して、形やシルエットを洗練します。
反復過程の任意の点において、そのようなスケッチから高忠実度画像を生成するための2パスアルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-02-28T07:09:31Z) - Towards Interactive Image Inpainting via Sketch Refinement [13.34066589008464]
そこで本研究では,SketchRefinerと呼ばれる2段階画像のインペイント手法を提案する。
第1段階では,クロス相関損失関数を用いて,ユーザが提供するスケッチを堅牢に校正し,洗練する。
第2段階では,特徴空間の抽象的スケッチから情報的特徴を抽出し,着色過程を変調する。
論文 参考訳（メタデータ） (2023-06-01T07:15:54Z) - SketchFFusion: Sketch-guided image editing with diffusion model [25.63913085329606]
スケッチ誘導画像編集は、ユーザが提供するスケッチ情報に基づいて、画像の局所的な微調整を実現することを目的としている。
本稿では,画像の主輪郭を保存し,実際のスケッチスタイルに忠実に適合するスケッチ生成手法を提案する。
論文 参考訳（メタデータ） (2023-04-06T15:54:18Z) - MaskSketch: Unpaired Structure-guided Masked Image Generation [56.88038469743742]
MaskSketchは、サンプリング中の余分な条件信号としてガイドスケッチを使用して生成結果の空間的条件付けを可能にする画像生成方法である。
マスク付き生成変換器の中間自己アテンションマップが入力画像の重要な構造情報を符号化していることを示す。
以上の結果から,MaskSketchは誘導構造に対する高画像リアリズムと忠実性を実現する。
論文 参考訳（メタデータ） (2023-02-10T20:27:02Z) - RePaint: Inpainting using Denoising Diffusion Probabilistic Models [161.74792336127345]
Free-form Inpaintingは任意のバイナリマスクで指定された領域のイメージに新しいコンテンツを追加するタスクである。
RePaint: A Denoising Probabilistic Model (DDPM) を用いた塗装手法を提案する。
本手法は,標準的なマスクと極端マスクを用いて,顔と汎用画像の塗装の両面で検証する。
論文 参考訳（メタデータ） (2022-01-24T18:40:15Z) - Semantic Image Manipulation Using Scene Graphs [105.03614132953285]
本稿では,星座変更や画像編集を直接監督する必要のないシーングラフネットワークを提案する。
これにより、追加のアノテーションを使わずに、既存の実世界のデータセットからシステムをトレーニングすることができる。
論文 参考訳（メタデータ） (2020-04-07T20:02:49Z) - Learning Layout and Style Reconfigurable GANs for Controllable Image
Synthesis [12.449076001538552]
本稿では,空間的レイアウトからフォトリアリスティックなイメージを合成できる生成モデルを学習するための,最近の課題であるレイアウト・トゥ・イメージ(レイアウト・トゥ・イメージ)に焦点を当てる。
画像レベルでのスタイル制御は、バニラGANと同じであり、オブジェクトマスクレベルでのスタイル制御は、新しい特徴正規化方式によって実現される。
実験では,COCO-StuffデータセットとVisual Genomeデータセットを用いて,最先端の性能の検証を行った。
論文 参考訳（メタデータ） (2020-03-25T18:16:05Z) - Deep Plastic Surgery: Robust and Controllable Image Editing with
Human-Drawn Sketches [133.01690754567252]
スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。
Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
論文 参考訳（メタデータ） (2020-01-09T08:57:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。