論文の概要: Relightable and Dynamic Gaussian Avatar Reconstruction from Monocular Video
- arxiv url: http://arxiv.org/abs/2512.09335v2
- Date: Thu, 11 Dec 2025 04:18:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-12 14:11:15.275959
- Title: Relightable and Dynamic Gaussian Avatar Reconstruction from Monocular Video
- Title（参考訳）: 単眼ビデオによるガウスアバターの再生
- Authors: Seonghwa Choi, Moonkyeong Choi, Mingyu Jang, Jaekyung Kim, Jianfei Cai, Wen-Huang Cheng, Sanghoon Lee,
- Abstract要約: Relightable and Dynamic Gaussian Avatar (RnD-Avatar) と呼ばれる3DGSに基づくヒューマンアバターモデリングフレームワークを提案する。
本フレームワークは,任意の照明条件下でのフォトリアリスティック照明効果をサポートしながら,新しいポーズやビューのリアルなレンダリングを可能にする。
- 参考スコア（独自算出の注目度）: 42.36677003378551
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modeling relightable and animatable human avatars from monocular video is a long-standing and challenging task. Recently, Neural Radiance Field (NeRF) and 3D Gaussian Splatting (3DGS) methods have been employed to reconstruct the avatars. However, they often produce unsatisfactory photo-realistic results because of insufficient geometrical details related to body motion, such as clothing wrinkles. In this paper, we propose a 3DGS-based human avatar modeling framework, termed as Relightable and Dynamic Gaussian Avatar (RnD-Avatar), that presents accurate pose-variant deformation for high-fidelity geometrical details. To achieve this, we introduce dynamic skinning weights that define the human avatar's articulation based on pose while also learning additional deformations induced by body motion. We also introduce a novel regularization to capture fine geometric details under sparse visual cues. Furthermore, we present a new multi-view dataset with varied lighting conditions to evaluate relight. Our framework enables realistic rendering of novel poses and views while supporting photo-realistic lighting effects under arbitrary lighting conditions. Our method achieves state-of-the-art performance in novel view synthesis, novel pose rendering, and relighting.
- Abstract（参考訳）: モノクロビデオから、楽しくてアニメーション可能な人間のアバターをモデリングすることは、長年の挑戦的課題だ。
近年,アバターの再構成にNeRF法と3次元ガウス散乱法(3DGS)が用いられている。
しかし、衣服のしわのような身体の動きに関する幾何学的詳細が不十分なため、不満足なフォトリアリスティックな結果を出すことが多い。
本稿では,Relightable and Dynamic Gaussian Avatar (RnD-Avatar) と呼ばれる3DGSに基づくヒューマンアバターモデリングフレームワークを提案する。
これを実現するために,ポーズに基づいて人間のアバターの関節を定義するダイナミックスキンウェイトを導入するとともに,身体の動きによって引き起こされる付加的な変形を学習する。
また,細かな視覚的手がかりの下で細かな幾何学的詳細を捉えるための新しい正規化も導入した。
さらに,照明条件の異なる新しいマルチビューデータセットを提案する。
本フレームワークは,任意の照明条件下でのフォトリアリスティック照明効果をサポートしながら,新しいポーズやビューのリアルなレンダリングを可能にする。
提案手法は,新しいビュー合成,新しいポーズレンダリング,リライティングにおいて,最先端のパフォーマンスを実現する。
関連論文リスト
- BecomingLit: Relightable Gaussian Avatars with Hybrid Neural Shading [3.447848701446988]
本研究では,インタラクティブなレートで新たな視点から表現可能な,光沢のある高解像度ヘッドアバターの再構成手法であるBecomingLitを紹介する。
様々な照明条件下で多数の被験者の多視点配列からなる新しいデータセットを収集する。
本稿では,ニューラル拡散BRDFと解析的特異項を組み合わせたハイブリッド型ニューラルシェーディング手法を提案する。
論文 参考訳（メタデータ） (2025-06-06T17:53:58Z) - TeGA: Texture Space Gaussian Avatars for High-Resolution Dynamic Head Modeling [52.87836237427514]
フォトリアルアバターは、テレプレゼンス、拡張現実、エンターテイメントにおける新興アプリケーションにおいて重要な要素であると見なされている。
本稿では,最先端の3Dヘッドアバターモデルを提案する。
論文 参考訳（メタデータ） (2025-05-08T22:10:27Z) - RealityAvatar: Towards Realistic Loose Clothing Modeling in Animatable 3D Gaussian Avatars [4.332718737928592]
本研究では,高忠実度デジタルヒューマンモデリングのための効率的なフレームワークであるRealAvatarを提案する。
動作トレンドモジュールと潜在骨エンコーダを組み込むことで,ポーズ依存的な変形と衣服行動の時間的変動をモデル化する。
特に非剛性領域における動的ヒト再建における構造的忠実度と知覚的品質を著しく向上させる。
論文 参考訳（メタデータ） (2025-04-02T09:59:12Z) - Surfel-based Gaussian Inverse Rendering for Fast and Relightable Dynamic Human Reconstruction from Monocular Video [54.88306920896417]
SGIAは、リライトブルな動的人間の再構築のための効率的なトレーニングとレンダリングを導入している。
本手法は,光速計算のための事前積分と画像ベース照明を統合する。
実験により、SGIAは極めて正確な物理的特性を達成し、ダイナミックな人間のアバターのリアルなリライティングを著しく向上することが示された。
論文 参考訳（メタデータ） (2024-07-21T16:34:03Z) - Relightable and Animatable Neural Avatars from Videos [14.091229306680697]
本研究では, 可照性でアニマタブルなニューラルアバターを作成する方法を提案する。
鍵となる課題は、幾何学、衣服の素材、照明を解体することである。
合成および実データを用いた実験により,本手法は高品質な幾何を再構成することを示した。
論文 参考訳（メタデータ） (2023-12-20T09:39:55Z) - Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。
トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。
実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
論文 参考訳（メタデータ） (2023-12-18T14:30:13Z) - Relightable Gaussian Codec Avatars [26.255161061306428]
Relightable Gaussian Codec Avatars(英語版)は、新しい表現を生成するためにアニメーションできる高忠実なrelightable head avatarsを構築する方法である。
3次元ガウシアンに基づく幾何学モデルは, 動的顔列上のヘアストランドや細孔などの3次元連続したサブミリ細部を捉えることができる。
我々は、視線反射の忠実度を改善し、光沢のある視線モデルを導入することにより、視線制御を可能にする。
論文 参考訳（メタデータ） (2023-12-06T18:59:58Z) - Towards Practical Capture of High-Fidelity Relightable Avatars [60.25823986199208]
TRAvatarは、様々な照明条件下で光ステージでキャプチャされた動的画像シーケンスで訓練される。
1回のフォワードパスでリアルタイムで出現を予測でき、高品質なリライト効果が得られる。
本フレームワークは,光リアリスティックなアバターアニメーションとリライティングの優れた性能を実現する。
論文 参考訳（メタデータ） (2023-09-08T10:26:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。