論文の概要: Towards Practical Capture of High-Fidelity Relightable Avatars
- arxiv url: http://arxiv.org/abs/2309.04247v1
- Date: Fri, 8 Sep 2023 10:26:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 13:44:01.722113
- Title: Towards Practical Capture of High-Fidelity Relightable Avatars
- Title（参考訳）: 高忠実アバターの実用化に向けて
- Authors: Haotian Yang, Mingwu Zheng, Wanquan Feng, Haibin Huang, Yu-Kun Lai,
Pengfei Wan, Zhongyuan Wang, Chongyang Ma
- Abstract要約: TRAvatarは、様々な照明条件下で光ステージでキャプチャされた動的画像シーケンスで訓練される。
1回のフォワードパスでリアルタイムで出現を予測でき、高品質なリライト効果が得られる。
本フレームワークは,光リアリスティックなアバターアニメーションとリライティングの優れた性能を実現する。
- 参考スコア（独自算出の注目度）: 60.25823986199208
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a novel framework, Tracking-free Relightable Avatar
(TRAvatar), for capturing and reconstructing high-fidelity 3D avatars. Compared
to previous methods, TRAvatar works in a more practical and efficient setting.
Specifically, TRAvatar is trained with dynamic image sequences captured in a
Light Stage under varying lighting conditions, enabling realistic relighting
and real-time animation for avatars in diverse scenes. Additionally, TRAvatar
allows for tracking-free avatar capture and obviates the need for accurate
surface tracking under varying illumination conditions. Our contributions are
two-fold: First, we propose a novel network architecture that explicitly builds
on and ensures the satisfaction of the linear nature of lighting. Trained on
simple group light captures, TRAvatar can predict the appearance in real-time
with a single forward pass, achieving high-quality relighting effects under
illuminations of arbitrary environment maps. Second, we jointly optimize the
facial geometry and relightable appearance from scratch based on image
sequences, where the tracking is implicitly learned. This tracking-free
approach brings robustness for establishing temporal correspondences between
frames under different lighting conditions. Extensive qualitative and
quantitative experiments demonstrate that our framework achieves superior
performance for photorealistic avatar animation and relighting.
- Abstract（参考訳）: 本稿では,高忠実度3dアバターをキャプチャし,再構成するための新しいフレームワークであるトラバタールについて述べる。
従来の方法と比較して、TRAvatarはより実用的で効率的な環境で機能する。
特に、travatarは様々な照明条件下でライトステージでキャプチャされたダイナミックな画像シーケンスで訓練され、様々なシーンでアバターのリアルなリライトとリアルタイムアニメーションを可能にする。
さらに、TRAvatarはトラッキング不要なアバターキャプチャを可能にし、様々な照明条件下での正確な表面追跡の必要性を回避できる。
まず,照明の線形特性の満足度を明示的に構築し,保証する新しいネットワークアーキテクチャを提案する。
単純なグループ光キャプチャーで訓練されたTRAvatarは、1つの前方通過でリアルタイムで出現を予測でき、任意の環境マップの照明下で高品質な照明効果が得られる。
第2に, 顔の形状とスクラッチから再現可能な外観を協調的に最適化し, 追跡を暗黙的に学習する。
この追跡自由アプローチは、異なる照明条件下でフレーム間の時間対応を確立するために堅牢性をもたらす。
広範囲な質的定量的実験により,本フレームワークがフォトリアリスティックアバターアニメーションとリライトにおいて優れた性能を達成できることが証明された。
関連論文リスト
- URAvatar: Universal Relightable Gaussian Codec Avatars [42.25313535192927]
我々は,未知の照明を持つ携帯電話スキャンから,フォトリアリスティックで光沢のある頭部アバターを作成するための新しいアプローチを提案する。
再建されたアバターは、様々な環境の世界的な照明でリアルタイムでアニメーションし、信頼することができる。
論文 参考訳（メタデータ） (2024-10-31T17:59:56Z) - Surfel-based Gaussian Inverse Rendering for Fast and Relightable Dynamic Human Reconstruction from Monocular Video [41.677560631206184]
本稿では,Surfel-based Gaussian Inverse Avatar (SGIA)法を提案する。
SGIAは従来のガウスアバター法を進歩させ、人間のアバターの物理的レンダリング(PBR)特性を包括的にモデル化した。
提案手法は,既存の暗黙的手法を超越した高速光計算のために,事前積分と画像ベース照明を統合する。
論文 参考訳（メタデータ） (2024-07-21T16:34:03Z) - Interactive Rendering of Relightable and Animatable Gaussian Avatars [37.73483372890271]
本稿では,多視点映像や単眼アバター映像から身体材料と照明を分離する簡便で効率的な方法を提案する。
提案手法は,合成データと実データの両方で高速に高品質な結果が得られる。
論文 参考訳（メタデータ） (2024-07-15T13:25:07Z) - Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。
トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。
実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
論文 参考訳（メタデータ） (2023-12-18T14:30:13Z) - Relightable Gaussian Codec Avatars [26.255161061306428]
Relightable Gaussian Codec Avatars(英語版)は、新しい表現を生成するためにアニメーションできる高忠実なrelightable head avatarsを構築する方法である。
3次元ガウシアンに基づく幾何学モデルは, 動的顔列上のヘアストランドや細孔などの3次元連続したサブミリ細部を捉えることができる。
我々は、視線反射の忠実度を改善し、光沢のある視線モデルを導入することにより、視線制御を可能にする。
論文 参考訳（メタデータ） (2023-12-06T18:59:58Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳（メタデータ） (2023-10-26T16:13:00Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T17:15:58Z) - Neural Radiance Transfer Fields for Relightable Novel-view Synthesis
with Global Illumination [63.992213016011235]
本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。
本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。
その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
論文 参考訳（メタデータ） (2022-07-27T16:07:48Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳（メタデータ） (2021-10-30T01:59:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。