論文の概要: AniFaceDrawing: Anime Portrait Exploration during Your Sketching
- arxiv url: http://arxiv.org/abs/2306.07476v1
- Date: Tue, 13 Jun 2023 00:43:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 15:30:32.700029
- Title: AniFaceDrawing: Anime Portrait Exploration during Your Sketching
- Title（参考訳）: AniFaceDrawing: スケッチ中のアニメのポートレート
- Authors: Zhengyu Huang, Haoran Xie, Tsukasa Fukusato, Kazunori Miyata
- Abstract要約: 本稿では,ユーザによるアニメ肖像画作成を支援する人工知能の活用方法について述べる。
入力は、ストロークによって徐々に洗練される不完全なフリーハンドスケッチのシーケンスである。
出力は、入力スケッチに対応する高品質なアニメのポートレートのシーケンスである。
- 参考スコア（独自算出の注目度）: 9.933240729830151
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we focus on how artificial intelligence (AI) can be used to
assist users in the creation of anime portraits, that is, converting rough
sketches into anime portraits during their sketching process. The input is a
sequence of incomplete freehand sketches that are gradually refined stroke by
stroke, while the output is a sequence of high-quality anime portraits that
correspond to the input sketches as guidance. Although recent GANs can generate
high quality images, it is a challenging problem to maintain the high quality
of generated images from sketches with a low degree of completion due to
ill-posed problems in conditional image generation. Even with the latest
sketch-to-image (S2I) technology, it is still difficult to create high-quality
images from incomplete rough sketches for anime portraits since anime style
tend to be more abstract than in realistic style. To address this issue, we
adopt a latent space exploration of StyleGAN with a two-stage training
strategy. We consider the input strokes of a freehand sketch to correspond to
edge information-related attributes in the latent structural code of StyleGAN,
and term the matching between strokes and these attributes stroke-level
disentanglement. In the first stage, we trained an image encoder with the
pre-trained StyleGAN model as a teacher encoder. In the second stage, we
simulated the drawing process of the generated images without any additional
data (labels) and trained the sketch encoder for incomplete progressive
sketches to generate high-quality portrait images with feature alignment to the
disentangled representations in the teacher encoder. We verified the proposed
progressive S2I system with both qualitative and quantitative evaluations and
achieved high-quality anime portraits from incomplete progressive sketches. Our
user study proved its effectiveness in art creation assistance for the anime
style.
- Abstract（参考訳）: 本稿では,ユーザによるアニメ肖像画作成を支援する人工知能(AI)の活用,すなわちスケッチ作成過程において,粗いスケッチをアニメ肖像画に変換することに焦点を当てる。
入力は、ストロークによって徐々に洗練される不完全なフリーハンドスケッチのシーケンスであり、出力は、入力スケッチに対応する高品質なアニメ肖像画のシーケンスである。
近年のGANは高品質な画像を生成することができるが、条件付き画像生成における問題により、低い完成度でスケッチから生成された画像の品質を維持することは難しい問題である。
最新のスケッチ・ツー・イメージ(S2I)技術であっても、アニメのスタイルが現実的なスタイルよりも抽象的な傾向があるため、不完全で粗いスケッチから高品質な画像を作成することは依然として困難である。
この問題に対処するため、我々は2段階のトレーニング戦略を持つStyleGANの潜航空間探索を採用した。
我々は,手書きスケッチの入力ストロークを,StyleGANの潜在構造コードにおけるエッジ情報関連属性に対応するものとみなし,ストロークとこれらの属性のアンタングメントの一致を表現した。
まず,教師エンコーダとして,事前学習したStyleGANモデルを用いて画像エンコーダを訓練した。
第2段階では、追加データ(ラベル)無しで生成された画像の描画プロセスをシミュレートし、不完全なプログレッシブスケッチのためにスケッチエンコーダを訓練し、教師エンコーダ内の不等角表現に合わせた高品質なポートレート画像を生成する。
提案するプログレッシブs2iシステムを質的および定量的に評価し,不完全なプログレッシブスケッチから高品質なアニメポートレートを得た。
本研究は,アニメスタイルにおけるアート制作支援における効果を実証した。
関連論文リスト
- Stylized Face Sketch Extraction via Generative Prior with Limited Data [6.727433982111717]
StyleSketchは、顔画像から高解像度のスタイリングスケッチを抽出する方法である。
事前訓練されたStyleGANの深い特徴の豊富なセマンティクスを用いて、16対の顔とそれに対応するスケッチイメージでスケッチジェネレータを訓練することができる。
論文 参考訳（メタデータ） (2024-03-17T16:25:25Z) - Towards Interactive Image Inpainting via Sketch Refinement [13.34066589008464]
そこで本研究では,SketchRefinerと呼ばれる2段階画像のインペイント手法を提案する。
第1段階では,クロス相関損失関数を用いて,ユーザが提供するスケッチを堅牢に校正し,洗練する。
第2段階では,特徴空間の抽象的スケッチから情報的特徴を抽出し,着色過程を変調する。
論文 参考訳（メタデータ） (2023-06-01T07:15:54Z) - AgileGAN3D: Few-Shot 3D Portrait Stylization by Augmented Transfer
Learning [80.67196184480754]
本稿では,3次元芸術的に魅力的な肖像画を詳細な幾何学で作成できる新しいフレームワークであるemphAgileGAN3Dを提案する。
新しいスタイリゼーションは、わずか (約20) の未完成の2D例で得られる。
われわれのパイプラインは、ユーザの写真を多様な3Dアートのポートレートに変える強力な能力を示している。
論文 参考訳（メタデータ） (2023-03-24T23:04:20Z) - Picture that Sketch: Photorealistic Image Generation from Abstract
Sketches [109.69076457732632]
この論文は、あなたや私のような訓練を受けていないアマチュアの抽象的で変形した普通のスケッチから、それをフォトリアリスティックなイメージに変えます。
まず、エッジマップのようなスケッチを指示するのではなく、抽象的なフリーハンドな人間のスケッチで作業することを目指しています。
そうすることで、スケッチから写真までのパイプラインを民主化し、スケッチがどれだけよいかに関わらず、スケッチを"写真化"します。
論文 参考訳（メタデータ） (2023-03-20T14:49:03Z) - Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch
to Portrait Generation [51.64832538714455]
既存の研究は2次元平面の像のみを固定ビューで生成し、その結果を鮮明にしない。
本稿では立体視による簡易スケッチ・トゥ・ポートレート(SSSP)について述べる。
我々の重要な洞察は、三面体ベースの3D認識生成モデルの事前知識を十分に活用できるスケッチ認識制約を設計することである。
論文 参考訳（メタデータ） (2023-02-14T06:28:42Z) - FS-COCO: Towards Understanding of Freehand Sketches of Common Objects in
Context [112.07988211268612]
フリーハンドシーンスケッチの最初のデータセットであるFS-COCOを用いてスケッチ研究を進めた。
本データセットは,100名の非専門家による1点あたりの時空間情報付きフリーハンドシーンベクトルスケッチからなる。
フリーハンドシーンのスケッチやスケッチのキャプションからきめ細かい画像検索の問題が初めて研究された。
論文 参考訳（メタデータ） (2022-03-04T03:00:51Z) - DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。
本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
論文 参考訳（メタデータ） (2020-08-31T03:35:21Z) - Making Robots Draw A Vivid Portrait In Two Minutes [11.148458054454407]
本稿では,顔画像を自動的に鮮明な肖像画に転送し,平均2分以内に紙に描画する描画ロボットを提案する。
我々のシステムの中心は、ディープラーニングに基づく新しい肖像画合成アルゴリズムである。
ポートレート・ドローイング・ロボット・システムはAiSketcherと名付けられた。
論文 参考訳（メタデータ） (2020-05-12T03:02:24Z) - Deep Plastic Surgery: Robust and Controllable Image Editing with
Human-Drawn Sketches [133.01690754567252]
スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。
Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
論文 参考訳（メタデータ） (2020-01-09T08:57:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。