論文の概要: NARRATE: A Normal Assisted Free-View Portrait Stylizer
- arxiv url: http://arxiv.org/abs/2207.00974v1
- Date: Sun, 3 Jul 2022 07:54:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-05 14:35:13.084463
- Title: NARRATE: A Normal Assisted Free-View Portrait Stylizer
- Title（参考訳）: NARRATE: 通常のフリービュー・ポートレート・スティライザ
- Authors: Youjia Wang, Teng Xu, Yiwen Wu, Minzhang Li, Wenzheng Chen, Lan Xu,
Jingyi Yu
- Abstract要約: NARRATEは、ポートレートライティングと視点をフォトリアリスティックな方法で同時に編集できる新しいパイプラインである。
実験により、NARRATEは、先行研究よりも、よりフォトリアリスティックで信頼性の高い結果が得られることを示した。
さまざまなAR/VRアプリケーションを支援するために,鮮明なフリービューの顔アニメーションと3D対応のライライザライゼーションを紹介した。
- 参考スコア（独自算出の注目度）: 42.38374601073052
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we propose NARRATE, a novel pipeline that enables
simultaneously editing portrait lighting and perspective in a photorealistic
manner. As a hybrid neural-physical face model, NARRATE leverages complementary
benefits of geometry-aware generative approaches and normal-assisted physical
face models. In a nutshell, NARRATE first inverts the input portrait to a
coarse geometry and employs neural rendering to generate images resembling the
input, as well as producing convincing pose changes. However, inversion step
introduces mismatch, bringing low-quality images with less facial details. As
such, we further estimate portrait normal to enhance the coarse geometry,
creating a high-fidelity physical face model. In particular, we fuse the neural
and physical renderings to compensate for the imperfect inversion, resulting in
both realistic and view-consistent novel perspective images. In relighting
stage, previous works focus on single view portrait relighting but ignoring
consistency between different perspectives as well, leading unstable and
inconsistent lighting effects for view changes. We extend Total Relighting to
fix this problem by unifying its multi-view input normal maps with the physical
face model. NARRATE conducts relighting with consistent normal maps, imposing
cross-view constraints and exhibiting stable and coherent illumination effects.
We experimentally demonstrate that NARRATE achieves more photorealistic,
reliable results over prior works. We further bridge NARRATE with animation and
style transfer tools, supporting pose change, light change, facial animation,
and style transfer, either separately or in combination, all at a photographic
quality. We showcase vivid free-view facial animations as well as 3D-aware
relightable stylization, which help facilitate various AR/VR applications like
virtual cinematography, 3D video conferencing, and post-production.
- Abstract（参考訳）: 本研究では,絵画の光と視界を同時に光写実的に編集できる新しいパイプラインNARRATEを提案する。
ハイブリッドニューラル・フィジカルな顔モデルとして、ナレートは幾何学的認識による生成的アプローチと正規支援の物理的顔モデルの相補的な利点を活用している。
ナレーションは、まず入力されたポートレートを粗い幾何学に反転させ、ニューラルネットワークを用いて入力に似たイメージを生成し、説得力のあるポーズ変化を生成する。
しかし、inversion stepはミスマッチを導入し、顔の詳細が少ない低品質の画像をもたらす。
そこで我々はさらに、粗い形状を強化するために通常の肖像画を推定し、高忠実度物理顔モデルを作成する。
特に、不完全な逆転を補うために、ニューラルネットワークと物理レンダリングを融合させ、現実的かつビューに一貫性のある新しい視点画像を生み出す。
ライティングの段階では、以前の作品は単一ビューのポートレートリライティングに焦点を当てていたが、異なる視点間の一貫性を無視し、ビュー変更に対する不安定で一貫性のない照明効果を導いた。
物理面モデルとマルチビュー入力正規写像を統一することにより、トータルリライティングを拡張してこの問題を解消する。
ナレートは一貫した正規写像で照明を行い、クロスビューの制約を課し、安定かつコヒーレントな照明効果を示す。
我々は、ナレートが以前の作品よりもよりフォトリアリスティックで信頼性の高い結果が得られることを実験的に実証する。
さらに,アニメーションとスタイルトランスファーツール,ポーズ変化,光変化,顔アニメーション,スタイルトランスファーをサポートしたナレートを,写真品質で別々に,あるいは組み合わせて橋渡しする。
バーチャルシネマトグラフィーや3Dビデオ会議、ポストプロダクションなど、さまざまなAR/VRアプリケーションを支援するために、鮮やかなフリービューの顔アニメーションと、3D対応のスタイリングを紹介します。
関連論文リスト
- GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳（メタデータ） (2024-09-18T13:05:43Z) - Lite2Relight: 3D-aware Single Image Portrait Relighting [87.62069509622226]
Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。
事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。
これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
論文 参考訳（メタデータ） (2024-07-15T07:16:11Z) - DiffPortrait3D: Controllable Diffusion for Zero-Shot Portrait View Synthesis [18.64688172651478]
本稿では,DiffPortrait3Dについて述べる。DiffPortrait3Dは,3次元一貫性のあるフォトリアリスティック・ノベルビューを合成できる条件拡散モデルである。
一つのRGB入力が与えられた場合、我々は、新しいカメラビューから表現された、可塑性だが一貫した顔の詳細を合成することを目指している。
我々は、我々の挑戦的インザワイルドとマルチビューのベンチマークにおいて、質的にも定量的にも、最先端の結果を実証する。
論文 参考訳（メタデータ） (2023-12-20T13:31:11Z) - Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。
トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。
実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
論文 参考訳（メタデータ） (2023-12-18T14:30:13Z) - Controllable Dynamic Appearance for Neural 3D Portraits [54.29179484318194]
実環境下での3D画像の完全制御を可能にするシステムであるCoDyNeRFを提案する。
CoDyNeRFは、動的外観モデルを通して照明依存効果を近似することを学ぶ。
本手法が明示的な頭部ポーズと表情制御を備えたポートレートシーンのフリービュー合成に有効であることを示す。
論文 参考訳（メタデータ） (2023-09-20T02:24:40Z) - Single-Shot Implicit Morphable Faces with Consistent Texture
Parameterization [91.52882218901627]
本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。
本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
論文 参考訳（メタデータ） (2023-05-04T17:58:40Z) - Explicitly Controllable 3D-Aware Portrait Generation [42.30481422714532]
ポーズ,アイデンティティ,表現,照明に関する意味的パラメータに基づいて,一貫した肖像画を生成する3次元肖像画生成ネットワークを提案する。
提案手法は,自然光の鮮明な表現によるリアルな肖像画を,自由視点で見る場合,先行技術よりも優れる。
論文 参考訳（メタデータ） (2022-09-12T17:40:08Z) - Relightable 3D Head Portraits from a Smartphone Video [15.639140551193073]
本稿では,人間の頭部の3D像を再現するシステムを提案する。
私たちのニューラルパイプラインは、スマートフォンのカメラがフラッシュ点滅で撮影したフレームのシーケンスで動作します。
ディープレンダリングネットワークは、任意の新しい視点のために密なアルベド、ノーマル、環境照明マップを後退させるように訓練される。
論文 参考訳（メタデータ） (2020-12-17T22:49:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。