論文の概要: Quality Metric Guided Portrait Line Drawing Generation from Unpaired Training Data

• arxiv url: http://arxiv.org/abs/2202.03678v1
• Date: Tue, 8 Feb 2022 06:49:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-09 16:23:58.452139
• Title: Quality Metric Guided Portrait Line Drawing Generation from Unpaired Training Data
• Title（参考訳）: 非ペアトレーニングデータによる画質指標誘導肖像画線描画
• Authors: Ran Yi, Yong-Jin Liu, Yu-Kun Lai, Paul L. Rosin
• Abstract要約: 本研究では,顔画像から肖像画への自動変換手法を提案する。 本手法は,(1)1つのネットワークを用いて複数のスタイルで高品質な肖像画を生成することを学習し,(2)トレーニングデータに見つからない「新しいスタイル」の肖像画を生成する。
• 参考スコア（独自算出の注目度）: 88.78171717494688
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Face portrait line drawing is a unique style of art which is highly abstract and expressive. However, due to its high semantic constraints, many existing methods learn to generate portrait drawings using paired training data, which is costly and time-consuming to obtain. In this paper, we propose a novel method to automatically transform face photos to portrait drawings using unpaired training data with two new features; i.e., our method can (1) learn to generate high quality portrait drawings in multiple styles using a single network and (2) generate portrait drawings in a "new style" unseen in the training data. To achieve these benefits, we (1) propose a novel quality metric for portrait drawings which is learned from human perception, and (2) introduce a quality loss to guide the network toward generating better looking portrait drawings. We observe that existing unpaired translation methods such as CycleGAN tend to embed invisible reconstruction information indiscriminately in the whole drawings due to significant information imbalance between the photo and portrait drawing domains, which leads to important facial features missing. To address this problem, we propose a novel asymmetric cycle mapping that enforces the reconstruction information to be visible and only embedded in the selected facial regions. Along with localized discriminators for important facial regions, our method well preserves all important facial features in the generated drawings. Generator dissection further explains that our model learns to incorporate face semantic information during drawing generation. Extensive experiments including a user study show that our model outperforms state-of-the-art methods.
• Abstract（参考訳）: 顔の肖像画は、抽象的で表現力に富んだ独特のスタイルの芸術である。 しかし、その意味的制約が高いため、既存の多くの手法は、ペア化されたトレーニングデータを用いてポートレート描画を生成することを学ぶ。 本稿では,顔画像から肖像画への自動変換手法を提案する。この手法は,(1)複数のスタイルで高品質な肖像画を1つのネットワークで作成すること,(2)トレーニングデータに見当たらない「新しいスタイル」の肖像画を作成できること,である。 これらの利点を達成するために,(1)人間の知覚から学習した肖像画の新たな品質指標を提案し,(2)画質損失を導入し,より見栄えの良い肖像画を描くためのネットワークを導出する。 我々は,CycleGANのような既存の未完成の翻訳手法が,画像領域と肖像画領域の間に重要な情報不均衡のため,図面全体に見えない復元情報を無差別に埋め込む傾向があることを観察した。 そこで本研究では,この問題を解決するために,再構成情報を可視化し,選択した顔面領域にのみ埋め込む新しい非対称サイクルマッピングを提案する。 重要な顔領域に対する局所的判別器とともに, 生成した図面におけるすべての顔特徴を良好に保存する。 さらに,ジェネレータの分解により,図面生成中に顔の意味情報を組み込む方法が学習された。 ユーザスタディを含む広範な実験により,本モデルが最先端手法よりも優れていることが示された。

関連論文リスト

• Stylized Face Sketch Extraction via Generative Prior with Limited Data [6.727433982111717]
  StyleSketchは、顔画像から高解像度のスタイリングスケッチを抽出する方法である。 事前訓練されたStyleGANの深い特徴の豊富なセマンティクスを用いて、16対の顔とそれに対応するスケッチイメージでスケッチジェネレータを訓練することができる。
  論文  参考訳（メタデータ） (2024-03-17T16:25:25Z)
• PatternPortrait: Draw Me Like One of Your Scribbles [2.01243755755303]
  本稿では,絵画から抽象的な肖像画を作成する方法を紹介する。 その独特のスタイルは、単一のフリーハンドパターンのスケッチを参照として利用して、シェーディングのためのユニークなパターンを生成する。 この方法は、画像から顔や身体の特徴を抽出し、それらをベクトル線に変換する。
  論文  参考訳（メタデータ） (2024-01-22T12:33:11Z)
• Enhancing the Authenticity of Rendered Portraits with Identity-Consistent Transfer Learning [30.64677966402945]
  本稿では,「不気味な谷」効果を効果的に緩和できる写真リアルな肖像画生成フレームワークを提案する。 私たちのキーとなる考え方は、トランスファーラーニングを使って、レンダリングされた肖像画の潜在空間から実際の肖像画へのアイデンティティ一貫性のあるマッピングを学ぶことです。
  論文  参考訳（メタデータ） (2023-10-06T12:20:40Z)
• Sketch2Saliency: Learning to Detect Salient Objects from Human Drawings [99.9788496281408]
  本研究では,スケッチを弱いラベルとして使用して,画像中の有能な物体を検出する方法について検討する。 これを実現するために,与えられた視覚写真に対応する逐次スケッチ座標を生成することを目的としたフォト・ツー・スケッチ生成モデルを提案する。 テストは、私たちの仮説を証明し、スケッチベースの唾液度検出モデルが、最先端技術と比較して、競争力のあるパフォーマンスを提供する方法を明確にします。
  論文  参考訳（メタデータ） (2023-03-20T23:46:46Z)
• CtlGAN: Few-shot Artistic Portraits Generation with Contrastive Transfer Learning [77.27821665339492]
  CtlGANは、新しいコントラッシブ・トランスファー学習戦略を備えた、数発のアート・ポートレート生成モデルである。 ソースドメインで事前訓練したStyleGANを,対象の芸術領域に適応させる。 実面をZ+空間に埋め込んだ新しいエンコーダを提案し,適応型デコーダに対処するためのデュアルパストレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-16T13:28:17Z)
• Face sketch to photo translation using generative adversarial networks [1.0312968200748118]
  我々は、訓練済みの顔画像生成モデルを用いて、高品質な自然顔写真を合成する。 入力スケッチから抽出した顔の特徴を、顔生成モデルの潜在空間のベクトルにマッピングするネットワークを訓練する。 提案モデルでは,SSIM指数で0.655,97.59%のランク-1顔認識率が得られた。
  論文  参考訳（メタデータ） (2021-10-23T20:01:20Z)
• DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
  既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。 本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
  論文  参考訳（メタデータ） (2020-08-31T03:35:21Z)
• SketchEmbedNet: Learning Novel Concepts by Imitating Drawings [125.45799722437478]
  モデルを用いて画像のスケッチを作成することによって学習した画像表現の特性について検討する。 この生成型クラスに依存しないモデルでは,新規な例,クラス,さらには新規なデータセットからの画像の情報埋め込みが,数ショットで生成されることが示されている。
  論文  参考訳（メタデータ） (2020-08-27T16:43:28Z)
• Deep Self-Supervised Representation Learning for Free-Hand Sketch [51.101565480583304]
  フリーハンドスケッチにおける自己指導型表現学習の課題に対処する。 自己教師型学習パラダイムの成功の鍵は、スケッチ固有の設計にある。 提案手法は最先端の教師なし表現学習法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-03T16:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。