論文の概要: Sketch-to-Art: Synthesizing Stylized Art Images From Sketches
- arxiv url: http://arxiv.org/abs/2002.12888v3
- Date: Fri, 2 Oct 2020 17:20:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 15:47:06.509428
- Title: Sketch-to-Art: Synthesizing Stylized Art Images From Sketches
- Title(参考訳): Sketch-to-Art:スケッチからスタイリズドアートイメージを合成する
- Authors: Bingchen Liu, Kunpeng Song, Ahmed Elgammal
- Abstract要約: スケッチから完全に詳細なアートスティル化されたイメージを合成するための新しいアプローチを提案する。
スケッチ、セマンティックタグなし、特定のスタイルの参照イメージが与えられたモデルでは、色やテクスチャで意味のある詳細を合成することができる。
- 参考スコア(独自算出の注目度): 23.75420342238983
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a new approach for synthesizing fully detailed art-stylized images
from sketches. Given a sketch, with no semantic tagging, and a reference image
of a specific style, the model can synthesize meaningful details with colors
and textures. The model consists of three modules designed explicitly for
better artistic style capturing and generation. Based on a GAN framework, a
dual-masked mechanism is introduced to enforce the content constraints (from
the sketch), and a feature-map transformation technique is developed to
strengthen the style consistency (to the reference image). Finally, an inverse
procedure of instance-normalization is proposed to disentangle the style and
content information, therefore yields better synthesis performance. Experiments
demonstrate a significant qualitative and quantitative boost over baselines
based on previous state-of-the-art techniques, adopted for the proposed
process.
- Abstract(参考訳): スケッチから完全精細なアートスタイライゼーション画像を合成する新しい手法を提案する。
スケッチ、セマンティックタグなし、特定のスタイルの参照イメージを与えられたモデルは、色やテクスチャで意味のある詳細を合成することができる。
モデルは、3つのモジュールで構成されており、芸術的なスタイルのキャプチャと生成のために明示的に設計されている。
GANフレームワークに基づいて、コンテンツ制約(スケッチから)を強制するデュアルマスク機構を導入し、スタイル整合性(参照画像まで)を強化するために特徴マップ変換技術を開発した。
最後に、スタイルとコンテンツ情報を分離するためにインスタンス正規化の逆手順が提案され、より優れた合成性能が得られる。
実験では, 従来の最先端技術に基づいて, ベースラインの質的, 定量的な向上を実証し, 提案プロセスに適用した。
関連論文リスト
- ZePo: Zero-Shot Portrait Stylization with Faster Sampling [61.14140480095604]
本稿では,4つのサンプリングステップでコンテンツとスタイルの融合を実現する拡散モデルに基づく,インバージョンフリーなポートレートスタイリングフレームワークを提案する。
本稿では,一貫性機能における冗長な特徴をマージする機能統合戦略を提案し,注意制御の計算負荷を低減させる。
論文 参考訳(メタデータ) (2024-08-10T08:53:41Z) - CustomSketching: Sketch Concept Extraction for Sketch-based Image
Synthesis and Editing [21.12815542848095]
大規模なテキスト・ツー・イメージ(T2I)モデルのパーソナライズ技術により、ユーザーは参照画像から新しい概念を組み込むことができる。
既存の手法は主にテキスト記述に依存しており、カスタマイズされた画像の制御が制限されている。
スケッチを直感的で汎用的な表現として識別し,このような制御を容易にする。
論文 参考訳(メタデータ) (2024-02-27T15:52:59Z) - Pick-and-Draw: Training-free Semantic Guidance for Text-to-Image
Personalization [56.12990759116612]
Pick-and-Drawは、パーソナライズ手法のアイデンティティ一貫性と生成多様性を高めるためのトレーニング不要なセマンティックガイダンスアプローチである。
提案手法は、パーソナライズされた拡散モデルに適用可能であり、単一の参照画像のみを必要とする。
論文 参考訳(メタデータ) (2024-01-30T05:56:12Z) - Customize StyleGAN with One Hand Sketch [0.0]
本稿では,単一のユーザスケッチでスタイルGAN画像を制御するフレームワークを提案する。
我々は、エネルギーベース学習により、事前学習したStyleGANモデルの潜在空間における条件分布を学習する。
我々のモデルは、入力スケッチにセマンティックに整合したマルチモーダル画像を生成することができる。
論文 参考訳(メタデータ) (2023-10-29T09:32:33Z) - Generative AI Model for Artistic Style Transfer Using Convolutional
Neural Networks [0.0]
芸術的なスタイルの転送は、ある画像の内容を別の芸術的なスタイルに融合させ、ユニークな視覚的な構成を作り出すことである。
本稿では,畳み込みニューラルネットワーク(CNN)を用いた新しいスタイル伝達手法の概要を概説する。
論文 参考訳(メタデータ) (2023-10-27T16:21:17Z) - Kandinsky: an Improved Text-to-Image Synthesis with Image Prior and
Latent Diffusion [50.59261592343479]
本稿では、潜伏拡散アーキテクチャの新しい探索であるKandinsky1を紹介する。
提案したモデルは、CLIPのイメージ埋め込みにテキスト埋め込みをマッピングするために別々に訓練されている。
また,テキスト・ツー・イメージ生成,画像融合,テキスト・画像融合,画像のバリエーション生成,テキスト・インペイント/アウトペイントなど,多様な生成モードをサポートするユーザフレンドリーなデモシステムも展開した。
論文 参考訳(メタデータ) (2023-10-05T12:29:41Z) - Reference-based Image Composition with Sketch via Structure-aware
Diffusion Model [38.1193912666578]
本稿では,参照画像とともに,スケッチを新しいモーダルとして組み込んだマルチインプット条件画像合成モデルを提案する。
スケッチを用いたエッジレベル制御により,画像サブパートの編集や編集が可能である。
筆者らのフレームワークは,スケッチ指導を維持しつつ,参照画像を用いて学習済み拡散モデルを微調整し,欠落した領域を完了させる。
論文 参考訳(メタデータ) (2023-03-31T06:12:58Z) - TediGAN: Text-Guided Diverse Face Image Generation and Manipulation [52.83401421019309]
TediGANはマルチモーダル画像生成とテキスト記述による操作のためのフレームワークである。
StyleGANインバージョンモジュールは、よく訓練されたStyleGANの潜在空間に実際の画像をマッピングする。
視覚言語的類似性は、画像とテキストを共通の埋め込み空間にマッピングすることで、テキスト画像マッチングを学ぶ。
インスタンスレベルの最適化は、操作におけるID保存のためのものだ。
論文 参考訳(メタデータ) (2020-12-06T16:20:19Z) - Region-adaptive Texture Enhancement for Detailed Person Image Synthesis [86.69934638569815]
RATE-Netは、シャープなテクスチャで人物画像を合成するための新しいフレームワークである。
提案するフレームワークは,テクスチャ強化モジュールを利用して,画像から外観情報を抽出する。
DeepFashionベンチマークデータセットで実施された実験は、既存のネットワークと比較して、我々のフレームワークの優位性を実証した。
論文 参考訳(メタデータ) (2020-05-26T02:33:21Z) - Deep Plastic Surgery: Robust and Controllable Image Editing with
Human-Drawn Sketches [133.01690754567252]
スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。
Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
論文 参考訳(メタデータ) (2020-01-09T08:57:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。