論文の概要: BecomingLit: Relightable Gaussian Avatars with Hybrid Neural Shading
- arxiv url: http://arxiv.org/abs/2506.06271v1
- Date: Fri, 06 Jun 2025 17:53:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-09 17:28:43.576721
- Title: BecomingLit: Relightable Gaussian Avatars with Hybrid Neural Shading
- Title（参考訳）: BecomingLit: ハイブリッドニューラルシェーディングを備えた楽しいガウスアバター
- Authors: Jonathan Schmidt, Simon Giebenhain, Matthias Niessner,
- Abstract要約: 本研究では,インタラクティブなレートで新たな視点から表現可能な,光沢のある高解像度ヘッドアバターの再構成手法であるBecomingLitを紹介する。
様々な照明条件下で多数の被験者の多視点配列からなる新しいデータセットを収集する。
本稿では,ニューラル拡散BRDFと解析的特異項を組み合わせたハイブリッド型ニューラルシェーディング手法を提案する。
- 参考スコア（独自算出の注目度）: 3.447848701446988
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce BecomingLit, a novel method for reconstructing relightable, high-resolution head avatars that can be rendered from novel viewpoints at interactive rates. Therefore, we propose a new low-cost light stage capture setup, tailored specifically towards capturing faces. Using this setup, we collect a novel dataset consisting of diverse multi-view sequences of numerous subjects under varying illumination conditions and facial expressions. By leveraging our new dataset, we introduce a new relightable avatar representation based on 3D Gaussian primitives that we animate with a parametric head model and an expression-dependent dynamics module. We propose a new hybrid neural shading approach, combining a neural diffuse BRDF with an analytical specular term. Our method reconstructs disentangled materials from our dynamic light stage recordings and enables all-frequency relighting of our avatars with both point lights and environment maps. In addition, our avatars can easily be animated and controlled from monocular videos. We validate our approach in extensive experiments on our dataset, where we consistently outperform existing state-of-the-art methods in relighting and reenactment by a significant margin.
- Abstract（参考訳）: 本研究では,インタラクティブなレートで新たな視点から表現可能な,光沢のある高解像度ヘッドアバターの再構成手法であるBecomingLitを紹介する。
そこで本研究では,顔の撮影に特化して設計された,低コストな光ステージキャプチャー装置を提案する。
この設定を用いて、様々な照明条件と表情の下で、多数の被験者の多様なマルチビューシーケンスからなる新しいデータセットを収集する。
新しいデータセットを活用することで、パラメトリックヘッドモデルと式依存動的モジュールでアニメーション化する3Dガウスプリミティブに基づいた、新しい照らしやすいアバター表現を導入する。
本稿では,ニューラル拡散BRDFと解析的特異項を組み合わせたハイブリッド型ニューラルシェーディング手法を提案する。
本手法は, 動的光ステージ記録から歪んだ材料を再構成し, 点灯と環境マップの両方でアバターの全周波数リライトを可能にする。
さらに、私たちのアバターはモノクロビデオから簡単にアニメーションや制御ができます。
我々は、我々のデータセットに関する広範な実験でアプローチを検証する。そこでは、リライティングと再現において、既存の最先端の手法をかなりのマージンで一貫して上回ります。
関連論文リスト
- Interactive Rendering of Relightable and Animatable Gaussian Avatars [37.73483372890271]
本稿では,多視点映像や単眼アバター映像から身体材料と照明を分離する簡便で効率的な方法を提案する。
提案手法は,合成データと実データの両方で高速に高品質な結果が得られる。
論文 参考訳（メタデータ） (2024-07-15T13:25:07Z) - MetaGS: A Meta-Learned Gaussian-Phong Model for Out-of-Distribution 3D Scene Relighting [63.5925701087252]
アウト・オブ・ディストリビューション(OOD) 3Dリライティングは、目に見えない照明条件下での新しいビュー合成を必要とする。
この課題に対処するためにMetaGSを2つの視点から紹介する。
論文 参考訳（メタデータ） (2024-05-31T13:48:54Z) - Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。
トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。
実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
論文 参考訳（メタデータ） (2023-12-18T14:30:13Z) - Relightable Gaussian Codec Avatars [26.255161061306428]
Relightable Gaussian Codec Avatars(英語版)は、新しい表現を生成するためにアニメーションできる高忠実なrelightable head avatarsを構築する方法である。
3次元ガウシアンに基づく幾何学モデルは, 動的顔列上のヘアストランドや細孔などの3次元連続したサブミリ細部を捉えることができる。
我々は、視線反射の忠実度を改善し、光沢のある視線モデルを導入することにより、視線制御を可能にする。
論文 参考訳（メタデータ） (2023-12-06T18:59:58Z) - Artist-Friendly Relightable and Animatable Neural Heads [15.803111500220888]
フォトリアリスティックなデジタルアバターを作成するための一般的なアプローチは、体積神経場を使用することである。
最近の変種は、ニューラル表現における焼き込み照明の通常の欠点を超越しており、静的なニューラルアバターはどんな環境にも依存できることを示している。
提案手法は,最近提案された軽量ハードウェアセットアップと組み合わせて,体積プリミティブの混合に基づく動的アバターアプローチを実証した。
論文 参考訳（メタデータ） (2023-12-06T11:06:46Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳（メタデータ） (2023-10-26T16:13:00Z) - Towards Practical Capture of High-Fidelity Relightable Avatars [60.25823986199208]
TRAvatarは、様々な照明条件下で光ステージでキャプチャされた動的画像シーケンスで訓練される。
1回のフォワードパスでリアルタイムで出現を予測でき、高品質なリライト効果が得られる。
本フレームワークは,光リアリスティックなアバターアニメーションとリライティングの優れた性能を実現する。
論文 参考訳（メタデータ） (2023-09-08T10:26:29Z) - Neural 3D Reconstruction in the Wild [86.6264706256377]
そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。
そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
論文 参考訳（メタデータ） (2022-05-25T17:59:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。