論文の概要: Effect of Instance Normalization on Fine-Grained Control for
Sketch-Based Face Image Generation
- arxiv url: http://arxiv.org/abs/2207.08072v1
- Date: Sun, 17 Jul 2022 04:05:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-19 16:37:12.730942
- Title: Effect of Instance Normalization on Fine-Grained Control for
Sketch-Based Face Image Generation
- Title（参考訳）: スケッチベース顔画像生成における実例正規化が細粒度制御に及ぼす影響
- Authors: Zhihua Cheng, Xuejin Chen
- Abstract要約: 手描きスケッチからフォトリアリスティックな顔画像を生成する場合のインスタンス正規化の効果について検討する。
視覚的解析に基づいて、ベースライン画像翻訳モデルにおけるインスタンス正規化層を変更する。
特別にデザインされた11のカテゴリを持つ手描きスケッチの新たなセットを精査し、広範な実験分析を行う。
- 参考スコア（独自算出の注目度）: 17.31312721810532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sketching is an intuitive and effective way for content creation. While
significant progress has been made for photorealistic image generation by using
generative adversarial networks, it remains challenging to take a fine-grained
control on synthetic content. The instance normalization layer, which is widely
adopted in existing image translation networks, washes away details in the
input sketch and leads to loss of precise control on the desired shape of the
generated face images. In this paper, we comprehensively investigate the effect
of instance normalization on generating photorealistic face images from
hand-drawn sketches. We first introduce a visualization approach to analyze the
feature embedding for sketches with a group of specific changes. Based on the
visual analysis, we modify the instance normalization layers in the baseline
image translation model. We elaborate a new set of hand-drawn sketches with 11
categories of specially designed changes and conduct extensive experimental
analysis. The results and user studies demonstrate that our method markedly
improve the quality of synthesized images and the conformance with user
intention.
- Abstract（参考訳）: スケッチは直感的で効果的なコンテンツ作成方法です。
生成的逆ネットワークを用いたフォトリアリスティックな画像生成は大きな進歩を遂げているが、合成コンテンツのきめ細かい制御はいまだに困難である。
既存の画像翻訳ネットワークで広く採用されているインスタンス正規化層は、入力スケッチの詳細を洗い流し、生成された顔画像の所望の形状を正確に制御することができない。
本稿では,手描きスケッチからの写実的顔画像生成におけるインスタンス正規化の効果を包括的に検討する。
まず,具体的変更群を用いてスケッチの特徴埋め込みを分析するための可視化手法を提案する。
視覚的解析に基づいて、ベースライン画像翻訳モデルにおけるインスタンス正規化層を変更する。
特別にデザインされた11のカテゴリからなる手描きスケッチの新たなセットを精査し、広範な実験分析を行う。
その結果,本手法は合成画像の品質とユーザの意図による適合性が著しく向上することが示された。
関連論文リスト
- CustomSketching: Sketch Concept Extraction for Sketch-based Image
Synthesis and Editing [21.12815542848095]
大規模なテキスト・ツー・イメージ(T2I)モデルのパーソナライズ技術により、ユーザーは参照画像から新しい概念を組み込むことができる。
既存の手法は主にテキスト記述に依存しており、カスタマイズされた画像の制御が制限されている。
スケッチを直感的で汎用的な表現として識別し,このような制御を容易にする。
論文 参考訳（メタデータ） (2024-02-27T15:52:59Z) - Reference-based Image Composition with Sketch via Structure-aware
Diffusion Model [38.1193912666578]
本稿では,参照画像とともに,スケッチを新しいモーダルとして組み込んだマルチインプット条件画像合成モデルを提案する。
スケッチを用いたエッジレベル制御により,画像サブパートの編集や編集が可能である。
筆者らのフレームワークは,スケッチ指導を維持しつつ,参照画像を用いて学習済み拡散モデルを微調整し,欠落した領域を完了させる。
論文 参考訳（メタデータ） (2023-03-31T06:12:58Z) - Adaptively-Realistic Image Generation from Stroke and Sketch with
Diffusion Model [31.652827838300915]
拡散モデルに基づくスケッチやストロークからの画像合成を3次元制御する統合フレームワークを提案する。
我々のフレームワークは、形状、色、リアリズムを制御したカスタマイズ画像の生成に柔軟性を提供しながら、最先端のパフォーマンスを実現している。
提案手法は,実画像の編集,部分スケッチとストロークの生成,マルチドメインマルチモーダル合成などの応用を解き放つ。
論文 参考訳（メタデータ） (2022-08-26T13:59:26Z) - Enjoy Your Editing: Controllable GANs for Image Editing via Latent Space
Navigation [136.53288628437355]
コントロール可能なセマンティックイメージ編集により、ユーザーはクリック数回で画像属性全体を変更できる。
現在のアプローチでは、絡み合った属性編集、グローバルなイメージアイデンティティの変更、フォトリアリズムの低下に悩まされることが多い。
本稿では,主に定性評価に焦点を当てた先行研究とは異なり,制御可能な編集性能を測定するための定量的評価手法を提案する。
論文 参考訳（メタデータ） (2021-02-01T21:38:36Z) - Unsupervised Contrastive Photo-to-Caricature Translation based on
Auto-distortion [49.93278173824292]
Photo-to-caricatureは、スケッチ、鉛筆のストローク、その他の芸術的図面を通じて特徴を誇張するレンダリング画像として、似顔絵を合成することを目的としている。
スタイルレンダリングと幾何学的変形は、フォト・ツー・キャリキュア・トランスフォーメーション・タスクにおいて最も重要な側面である。
教師なしのコントラスト変換アーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-11-10T08:14:36Z) - DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。
本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
論文 参考訳（メタデータ） (2020-08-31T03:35:21Z) - Learning to Caricature via Semantic Shape Transform [95.25116681761142]
本稿では,意味的形状変換に基づくアルゴリズムを提案する。
提案手法は,顔の構造を維持しつつ,視覚的に心地よい形状の誇張を表現できることを示す。
論文 参考訳（メタデータ） (2020-08-12T03:41:49Z) - Generating Person Images with Appearance-aware Pose Stylizer [66.44220388377596]
本稿では,人物のポーズや外見に基づいてリアルな人物画像を生成する,新しいエンドツーエンドフレームワークを提案する。
本フレームワークのコアとなるのは、ターゲットポーズと条件付き人物の外観を段階的に結合して人体画像を生成する、APS(Appearance-aware Pose Stylizer)と呼ばれる新しいジェネレータである。
論文 参考訳（メタデータ） (2020-07-17T15:58:05Z) - Deep Plastic Surgery: Robust and Controllable Image Editing with
Human-Drawn Sketches [133.01690754567252]
スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。
Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
論文 参考訳（メタデータ） (2020-01-09T08:57:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。