論文の概要: Deep Plastic Surgery: Robust and Controllable Image Editing with
Human-Drawn Sketches
- arxiv url: http://arxiv.org/abs/2001.02890v1
- Date: Thu, 9 Jan 2020 08:57:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 04:57:29.716469
- Title: Deep Plastic Surgery: Robust and Controllable Image Editing with
Human-Drawn Sketches
- Title（参考訳）: 深部プラスチック手術 : 人間のスケッチによるロバストで制御可能な画像編集
- Authors: Shuai Yang, Zhangyang Wang, Jiaying Liu, Zongming Guo
- Abstract要約: スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。
Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
- 参考スコア（独自算出の注目度）: 133.01690754567252
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sketch-based image editing aims to synthesize and modify photos based on the
structural information provided by the human-drawn sketches. Since sketches are
difficult to collect, previous methods mainly use edge maps instead of sketches
to train models (referred to as edge-based models). However, sketches display
great structural discrepancy with edge maps, thus failing edge-based models.
Moreover, sketches often demonstrate huge variety among different users,
demanding even higher generalizability and robustness for the editing model to
work. In this paper, we propose Deep Plastic Surgery, a novel, robust and
controllable image editing framework that allows users to interactively edit
images using hand-drawn sketch inputs. We present a sketch refinement strategy,
as inspired by the coarse-to-fine drawing process of the artists, which we show
can help our model well adapt to casual and varied sketches without the need
for real sketch training data. Our model further provides a refinement level
control parameter that enables users to flexibly define how "reliable" the
input sketch should be considered for the final output, balancing between
sketch faithfulness and output verisimilitude (as the two goals might
contradict if the input sketch is drawn poorly). To achieve the multi-level
refinement, we introduce a style-based module for level conditioning, which
allows adaptive feature representations for different levels in a singe
network. Extensive experimental results demonstrate the superiority of our
approach in improving the visual quality and user controllablity of image
editing over the state-of-the-art methods.
- Abstract（参考訳）: スケッチベースの画像編集は、人間が描いたスケッチの構造情報に基づいて写真を合成し、修正することを目的としている。
スケッチは収集が難しいため、従来の手法は主にスケッチではなくエッジマップを使用してモデルを訓練する(エッジベースモデルと呼ばれる)。
しかし、スケッチはエッジマップと大きな構造的不一致を示し、エッジベースのモデルに失敗する。
さらに、スケッチは異なるユーザ間で多種多様であり、編集モデルが動作するように、さらに高い一般化性と堅牢性を要求している。
本稿では,手書きスケッチ入力を用いて画像のインタラクティブな編集を可能にする,新しい,堅牢で制御可能な画像編集フレームワークであるDeep Plastic Surgeryを提案する。
そこで,本研究では,アーティストの粗細な描画プロセスに触発されたスケッチリファインメント戦略を提案し,実際のスケッチトレーニングデータを必要としないカジュアルなスケッチや多彩なスケッチへの適応を支援する。
このモデルではさらに,最終的な出力に対して,入力スケッチがどの程度「信頼できる」べきかを柔軟に定義できる改良レベル制御パラメータも提供し,スケッチの忠実さと実効性(入力スケッチが貧弱であれば2つの目標が矛盾する可能性があるため)のバランスをとる。
マルチレベル化を実現するために,singeネットワークにおける異なるレベルに対する適応的な特徴表現を可能にする,レベルコンディショニングのためのスタイルベースモジュールを提案する。
画像編集の視覚的品質とユーザコントロールの精度を,最先端の手法よりも向上させる上でのアプローチの優位性を示した。
関連論文リスト
- It's All About Your Sketch: Democratising Sketch Control in Diffusion Models [114.73766136068357]
本稿では,拡散モデルにおけるスケッチの可能性を明らかにするとともに,生成型AIにおける直接スケッチ制御の詐欺的可能性に対処する。
私たちはこのプロセスを民主化し、アマチュアのスケッチが正確なイメージを生成できるようにします。
論文 参考訳（メタデータ） (2024-03-12T01:05:25Z) - CustomSketching: Sketch Concept Extraction for Sketch-based Image
Synthesis and Editing [21.12815542848095]
大規模なテキスト・ツー・イメージ(T2I)モデルのパーソナライズ技術により、ユーザーは参照画像から新しい概念を組み込むことができる。
既存の手法は主にテキスト記述に依存しており、カスタマイズされた画像の制御が制限されている。
スケッチを直感的で汎用的な表現として識別し,このような制御を容易にする。
論文 参考訳（メタデータ） (2024-02-27T15:52:59Z) - SENS: Part-Aware Sketch-based Implicit Neural Shape Modeling [124.3266213819203]
SENSは手描きスケッチから3Dモデルを生成し編集するための新しい手法である。
SENSはスケッチを分析し、部品をViTパッチエンコーディングにエンコードする。
SENSは部分再構成による精細化をサポートし、微調整とアーティファクトの除去を可能にする。
論文 参考訳（メタデータ） (2023-06-09T17:50:53Z) - DiffSketching: Sketch Control Image Synthesis with Diffusion Models [10.172753521953386]
スケッチ・ツー・イメージ合成のためのディープラーニングモデルは、視覚的な詳細なしに歪んだ入力スケッチを克服する必要がある。
我々のモデルは、クロスドメイン制約を通じてスケッチにマッチし、画像合成をより正確に導くために分類器を使用する。
我々のモデルは、生成品質と人的評価の点でGANベースの手法に勝ることができ、大規模なスケッチ画像データセットに依存しない。
論文 参考訳（メタデータ） (2023-05-30T07:59:23Z) - SketchFFusion: Sketch-guided image editing with diffusion model [25.63913085329606]
スケッチ誘導画像編集は、ユーザが提供するスケッチ情報に基づいて、画像の局所的な微調整を実現することを目的としている。
本稿では,画像の主輪郭を保存し,実際のスケッチスタイルに忠実に適合するスケッチ生成手法を提案する。
論文 参考訳（メタデータ） (2023-04-06T15:54:18Z) - Reference-based Image Composition with Sketch via Structure-aware
Diffusion Model [38.1193912666578]
本稿では,参照画像とともに,スケッチを新しいモーダルとして組み込んだマルチインプット条件画像合成モデルを提案する。
スケッチを用いたエッジレベル制御により,画像サブパートの編集や編集が可能である。
筆者らのフレームワークは,スケッチ指導を維持しつつ,参照画像を用いて学習済み拡散モデルを微調整し,欠落した領域を完了させる。
論文 参考訳（メタデータ） (2023-03-31T06:12:58Z) - Unsupervised Scene Sketch to Photo Synthesis [40.044690369936184]
シーンスケッチからリアルな写真を合成する手法を提案する。
我々のフレームワークは、教師なしの方法で手軽に利用できる大規模写真データセットから学習する。
また、本フレームワークは、対応するスケッチのストロークを編集することで、写真合成の制御可能な操作を容易にすることを実証する。
論文 参考訳（メタデータ） (2022-09-06T22:25:06Z) - I Know What You Draw: Learning Grasp Detection Conditioned on a Few
Freehand Sketches [74.63313641583602]
そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。
私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
論文 参考訳（メタデータ） (2022-05-09T04:23:36Z) - DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。
本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
論文 参考訳（メタデータ） (2020-08-31T03:35:21Z) - Sketch-Guided Scenery Image Outpainting [83.6612152173028]
本稿では,スケッチ誘導露光を行うエンコーダデコーダに基づくネットワークを提案する。
全体的アライメントモジュールを適用して、合成された部分をグローバルビューの実際のものと類似させる。
第2に, 合成した部分からスケッチを逆向きに生成し, 接地した部分との整合性を奨励する。
論文 参考訳（メタデータ） (2020-06-17T11:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。