Fugu-MT 論文翻訳(概要): Enhancing the Authenticity of Rendered Portraits with Identity-Consistent Transfer Learning

論文の概要: Enhancing the Authenticity of Rendered Portraits with Identity-Consistent Transfer Learning

arxiv url: http://arxiv.org/abs/2310.04194v1
Date: Fri, 6 Oct 2023 12:20:40 GMT
ステータス: 処理完了
システム内更新日: 2023-10-09 16:29:19.519393
Title: Enhancing the Authenticity of Rendered Portraits with Identity-Consistent Transfer Learning
Title（参考訳）: アイデンティティ一貫性のあるトランスファー学習によるレンダリングポートレイトの正当性向上
Authors: Luyuan Wang, Yiqian Wu, Yongliang Yang, Chen Liu, Xiaogang Jin
Abstract要約: 本稿では,「不気味な谷」効果を効果的に緩和できる写真リアルな肖像画生成フレームワークを提案する。私たちのキーとなる考え方は、トランスファーラーニングを使って、レンダリングされた肖像画の潜在空間から実際の肖像画へのアイデンティティ一貫性のあるマッピングを学ぶことです。
参考スコア（独自算出の注目度）: 30.64677966402945
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite rapid advances in computer graphics, creating high-quality photo-realistic virtual portraits is prohibitively expensive. Furthermore, the well-know ''uncanny valley'' effect in rendered portraits has a significant impact on the user experience, especially when the depiction closely resembles a human likeness, where any minor artifacts can evoke feelings of eeriness and repulsiveness. In this paper, we present a novel photo-realistic portrait generation framework that can effectively mitigate the ''uncanny valley'' effect and improve the overall authenticity of rendered portraits. Our key idea is to employ transfer learning to learn an identity-consistent mapping from the latent space of rendered portraits to that of real portraits. During the inference stage, the input portrait of an avatar can be directly transferred to a realistic portrait by changing its appearance style while maintaining the facial identity. To this end, we collect a new dataset, Daz-Rendered-Faces-HQ (DRFHQ), that is specifically designed for rendering-style portraits. We leverage this dataset to fine-tune the StyleGAN2 generator, using our carefully crafted framework, which helps to preserve the geometric and color features relevant to facial identity. We evaluate our framework using portraits with diverse gender, age, and race variations. Qualitative and quantitative evaluations and ablation studies show the advantages of our method compared to state-of-the-art approaches.
Abstract（参考訳）: コンピュータグラフィックスの急速な進歩にもかかわらず、高品質の写真リアリスティックな仮想ポートレートを作ることは違法に高価である。さらに、描写された肖像画における「不気味な谷」効果はユーザー体験に大きな影響を与え、特にその描写が人間の類似性によく似ており、小さな工芸品が優しさや反発感を喚起することができる。本稿では,「不気味な谷」効果を効果的に緩和し,ポートレート全体の信頼性を向上させる,フォトリアリスティックなポートレート生成枠組みを提案する。私たちの重要なアイデアは、トランスファーラーニングを使用して、レンダリングされたポートレートの潜在空間から実際のポートレートへのアイデンティティ一貫性のあるマッピングを学ぶことです。推測段階では、顔の同一性を保ちながら外観スタイルを変えて、アバターの入力ポートレートを直接リアルなポートレートに転送することができる。この目的のために、レンダリングスタイルの肖像画用に特別に設計された新しいデータセットであるDaz-Rendered-Faces-HQ(DRFHQ)を収集します。このデータセットを利用してStyleGAN2ジェネレータを微調整し、慎重に構築したフレームワークを使用して、顔認証に関連する幾何学的特徴と色の特徴を保存します。我々は、性別、年齢、人種のバリエーションの異なる肖像画を用いて、枠組みを評価する。定性的・定量的評価とアブレーション研究は,最先端のアプローチと比較して,本手法の利点を示している。

関連論文リスト

Follow-Your-Emoji: Fine-Controllable and Expressive Freestyle Portrait Animation [53.767090490974745]
Follow-Your-Emojiは、ポートレートアニメーションのための拡散ベースのフレームワークである。参照ポートレートとターゲットランドマークシーケンスを識別する。本手法は,フリースタイルの肖像画の表現を制御できることを実証する。
論文参考訳（メタデータ） (2024-06-04T02:05:57Z)
AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation [4.568539181254851]
本稿では,オーディオによる高品質なアニメーションを生成するためのフレームワークであるAniPortraitと,参照ポートレート画像を提案する。実験により,AniPortraitの顔の自然性,ポーズの多様性,視覚的品質の面での優位性が示された。本手法は,顔の動きの編集や顔の再現といった領域に効果的に適用可能な,柔軟性や制御性の観点からも有意な可能性を秘めている。
論文参考訳（メタデータ） (2024-03-26T13:35:02Z)
MagiCapture: High-Resolution Multi-Concept Portrait Customization [34.131515004434846]
MagiCaptureは、高解像度のポートレート画像を生成するために、主題とスタイルの概念を統合するパーソナライズ方法である。本稿では,この弱教師付き学習環境内での頑健な学習を支援する,補助的先行学習と組み合わせた注意再焦点損失について紹介する。私たちのパイプラインには、非常に現実的なアウトプットの生成を保証するための、追加のプロセス後ステップも含まれています。
論文参考訳（メタデータ） (2023-09-13T11:37:04Z)
Few-shots Portrait Generation with Style Enhancement and Identity Preservation [3.6937810031393123]
StyleIdentityGANモデルは、生成された肖像画のアイデンティティと芸術性を同時に確保することができる。スタイル強化モジュールは、生成した仮想顔画像の芸術性を改善するために、デカップリングと転送の芸術的スタイルの特徴に焦点を当てている。アートやアイデンティティ効果の最先端手法よりもStyleIdentityGANの方が優れていることを示す実験を行った。
論文参考訳（メタデータ） (2023-03-01T10:02:12Z)
What's in a Decade? Transforming Faces Through Time [70.78847389726937]
私たちは1880年代から現在までの10年ごとに1000枚以上の肖像画を含むFaces Through Timeデータセットを組み立てています。われわれは、ある10年間に撮影された肖像画が、他の数十年で撮影されたものである場合、どのように見えるのかを想像しながら、時間をかけて肖像画を再合成する枠組みを提示する。
論文参考訳（メタデータ） (2022-10-13T00:48:18Z)
Explicitly Controllable 3D-Aware Portrait Generation [42.30481422714532]
ポーズ,アイデンティティ,表現,照明に関する意味的パラメータに基づいて,一貫した肖像画を生成する3次元肖像画生成ネットワークを提案する。提案手法は,自然光の鮮明な表現によるリアルな肖像画を,自由視点で見る場合,先行技術よりも優れる。
論文参考訳（メタデータ） (2022-09-12T17:40:08Z)
Portrait Interpretation and a Benchmark [49.484161789329804]
提案した肖像画解釈は,人間の知覚を新たな体系的視点から認識する。我々は,身元,性別,年齢,体格,身長,表情,姿勢をラベル付けした25万枚の画像を含む新しいデータセットを構築した。筆者らの実験結果から, 肖像画解釈に関わるタスクを組み合わせることで, メリットが得られることが示された。
論文参考訳（メタデータ） (2022-07-27T06:25:09Z)
CtlGAN: Few-shot Artistic Portraits Generation with Contrastive Transfer Learning [77.27821665339492]
CtlGANは、新しいコントラッシブ・トランスファー学習戦略を備えた、数発のアート・ポートレート生成モデルである。ソースドメインで事前訓練したStyleGANを,対象の芸術領域に適応させる。実面をZ+空間に埋め込んだ新しいエンコーダを提案し,適応型デコーダに対処するためのデュアルパストレーニング戦略を提案する。
論文参考訳（メタデータ） (2022-03-16T13:28:17Z)
Quality Metric Guided Portrait Line Drawing Generation from Unpaired Training Data [88.78171717494688]
本研究では,顔画像から肖像画への自動変換手法を提案する。本手法は,(1)1つのネットワークを用いて複数のスタイルで高品質な肖像画を生成することを学習し,(2)トレーニングデータに見つからない「新しいスタイル」の肖像画を生成する。
論文参考訳（メタデータ） (2022-02-08T06:49:57Z)
NPRportrait 1.0: A Three-Level Benchmark for Non-Photorealistic Rendering of Portraits [67.58044348082944]
本稿では,スタイリングされたポートレート画像の評価のための,新しい3レベルベンチマークデータセットを提案する。厳密な基準が構築に使われ、その一貫性はユーザスタディによって検証された。ポートレート・スタイル化アルゴリズムを評価するための新しい手法が開発されている。
論文参考訳（メタデータ） (2020-09-01T18:04:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。