論文の概要: Semantic-aware Generation of Multi-view Portrait Drawings

• arxiv url: http://arxiv.org/abs/2305.02618v1
• Date: Thu, 4 May 2023 07:48:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-05 16:39:59.170315
• Title: Semantic-aware Generation of Multi-view Portrait Drawings
• Title（参考訳）: 多視点ポートレート描画のセマンティックアウェア生成
• Authors: Biao Ma, Fei Gao, Chang Jiang, Nannan Wang, Gang Xu
• Abstract要約: 多視点の肖像画を合成するためのセマンティック・アウェア・ジェネレータ(SAGE)を提案する。 私たちのモチベーションは、顔のセマンティックラベルがビューに一貫性があり、描画技術と相関していることです。 SAGEは、既存の3D認識画像合成法と比較して、非常に優れた性能または高い競争性能を達成している。
• 参考スコア（独自算出の注目度）: 16.854527555637063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural radiance fields (NeRF) based methods have shown amazing performance in synthesizing 3D-consistent photographic images, but fail to generate multi-view portrait drawings. The key is that the basic assumption of these methods -- a surface point is consistent when rendered from different views -- doesn't hold for drawings. In a portrait drawing, the appearance of a facial point may changes when viewed from different angles. Besides, portrait drawings usually present little 3D information and suffer from insufficient training data. To combat this challenge, in this paper, we propose a Semantic-Aware GEnerator (SAGE) for synthesizing multi-view portrait drawings. Our motivation is that facial semantic labels are view-consistent and correlate with drawing techniques. We therefore propose to collaboratively synthesize multi-view semantic maps and the corresponding portrait drawings. To facilitate training, we design a semantic-aware domain translator, which generates portrait drawings based on features of photographic faces. In addition, use data augmentation via synthesis to mitigate collapsed results. We apply SAGE to synthesize multi-view portrait drawings in diverse artistic styles. Experimental results show that SAGE achieves significantly superior or highly competitive performance, compared to existing 3D-aware image synthesis methods. The codes are available at https://github.com/AiArt-HDU/SAGE.
• Abstract（参考訳）: ニューラルレイディアンス場(NeRF)に基づく手法は,3次元写真画像の合成において驚くべき性能を示したが,多視点像の描画には失敗している。 キーとなるのは、これらのメソッドの基本的な仮定 -- 異なるビューからレンダリングされた時、表面ポイントは一貫性がある -- は描画に役立たないということだ。 ポートレート描画では、異なる角度から見ると顔の点の外観が変化することがある。 また、肖像画は通常、ほとんど3d情報を提示せず、訓練データ不足に苦しむ。 本稿では,この課題に対処するために,多視点肖像画の合成のためのセマンティック・アウェア・ジェネレータ(SAGE)を提案する。 私たちのモチベーションは、顔のセマンティックラベルがビュー一貫性があり、描画技術と相関していることです。 そこで我々は,多視点セマンティックマップと対応する肖像画を協調的に合成することを提案する。 訓練を容易にするために,写真顔の特徴に基づいた肖像画を生成する意味認識ドメイントランスレータを設計する。 さらに、合成によるデータ拡張を使用して、崩壊した結果を緩和する。 SAGEを用いて多視点の肖像画を多彩な芸術様式で合成する。 実験結果から,既存の3D認識画像合成法と比較して,SAGEは優れた性能と高い競争性能を示した。 コードはhttps://github.com/AiArt-HDU/SAGEで入手できる。

関連論文リスト

• SketchMetaFace: A Learning-based Sketching Interface for High-fidelity 3D Character Face Modeling [69.28254439393298]
  SketchMetaFaceは、アマチュアユーザーを対象に、高忠実度3D顔を数分でモデリングするスケッチシステムである。 我々は"Implicit and Depth Guided Mesh Modeling"(IDGMM)と呼ばれる新しい学習ベース手法を開発した。 メッシュ、暗黙、深度表現の利点を融合させ、高い効率で高品質な結果を達成する。
  論文  参考訳（メタデータ） (2023-07-03T07:41:07Z)
• Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch to Portrait Generation [51.64832538714455]
  既存の研究は2次元平面の像のみを固定ビューで生成し、その結果を鮮明にしない。 本稿では立体視による簡易スケッチ・トゥ・ポートレート(SSSP)について述べる。 我々の重要な洞察は、三面体ベースの3D認識生成モデルの事前知識を十分に活用できるスケッチ認識制約を設計することである。
  論文  参考訳（メタデータ） (2023-02-14T06:28:42Z)
• DifferSketching: How Differently Do People Sketch 3D Objects? [78.44544977215918]
  3Dオブジェクトの描画方法を理解するために,複数のスケッチデータセットが提案されている。 これらのデータセットは、しばしば小さなスケールで、オブジェクトやカテゴリの小さなセットをカバーする。 本研究では,空間的特徴と時間的特性の両面から,収集したデータをスケッチレベル,ストロークレベル,ピクセルレベルという3つのレベルで解析する。
  論文  参考訳（メタデータ） (2022-09-19T06:52:18Z)
• Explicitly Controllable 3D-Aware Portrait Generation [42.30481422714532]
  ポーズ,アイデンティティ,表現,照明に関する意味的パラメータに基づいて,一貫した肖像画を生成する3次元肖像画生成ネットワークを提案する。 提案手法は,自然光の鮮明な表現によるリアルな肖像画を,自由視点で見る場合,先行技術よりも優れる。
  論文  参考訳（メタデータ） (2022-09-12T17:40:08Z)
• Quality Metric Guided Portrait Line Drawing Generation from Unpaired Training Data [88.78171717494688]
  本研究では,顔画像から肖像画への自動変換手法を提案する。 本手法は,(1)1つのネットワークを用いて複数のスタイルで高品質な肖像画を生成することを学習し,(2)トレーニングデータに見つからない「新しいスタイル」の肖像画を生成する。
  論文  参考訳（メタデータ） (2022-02-08T06:49:57Z)
• DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
  既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。 本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
  論文  参考訳（メタデータ） (2020-08-31T03:35:21Z)
• Quality Guided Sketch-to-Photo Image Synthesis [12.617078020344618]
  ヘアカラーやセックスなどの特徴を持つ複数の合成画像に1つのスケッチを合成する生成逆ネットワークを提案する。 本手法は,合成画像の同一性を損なうことなく,複数の属性割り当てをジェネレータに組み込むことにより,合成画像の視覚的魅力を向上させることを目的としている。
  論文  参考訳（メタデータ） (2020-04-20T16:00:01Z)
• SketchDesc: Learning Local Sketch Descriptors for Multi-view Correspondence [68.63311821718416]
  我々はマルチビュースケッチ対応の問題について検討し、同じオブジェクトの異なるビューを持つ複数のフリーハンドスケッチを入力として扱う。 異なる視点における対応する点の視覚的特徴は、非常に異なる可能性があるため、この問題は困難である。 我々は、深層学習アプローチを採用し、データから新しいローカルスケッチ記述子を学習する。
  論文  参考訳（メタデータ） (2020-01-16T11:31:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。