論文の概要: Relightable Full-Body Gaussian Codec Avatars

• arxiv url: http://arxiv.org/abs/2501.14726v1
• Date: Fri, 24 Jan 2025 18:59:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:56:04.910945
• Title: Relightable Full-Body Gaussian Codec Avatars
• Title（参考訳）: 楽しいフルボディー・ガウス・コーデック・アバター
• Authors: Shaofei Wang, Tomas Simon, Igor Santesteban, Timur Bagautdinov, Junxuan Li, Vasu Agrawal, Fabian Prada, Shoou-I Yu, Pace Nalbone, Matt Gramlich, Roman Lubachersky, Chenglei Wu, Javier Romero, Jason Saragih, Michael Zollhoefer, Andreas Geiger, Siyu Tang, Shunsuke Saito,
• Abstract要約: 本研究では, 顔や手など細部まで細部まで細部まで細部を網羅した, 照らし出し可能なフルボディアバターのモデリング手法を提案する。 フルボディアバターをリライトするユニークな課題は、身体の関節による大きな変形と、光輸送による外観への影響である。
• 参考スコア（独自算出の注目度）: 45.50089053276345
• License:
• Abstract: We propose Relightable Full-Body Gaussian Codec Avatars, a new approach for modeling relightable full-body avatars with fine-grained details including face and hands. The unique challenge for relighting full-body avatars lies in the large deformations caused by body articulation and the resulting impact on appearance caused by light transport. Changes in body pose can dramatically change the orientation of body surfaces with respect to lights, resulting in both local appearance changes due to changes in local light transport functions, as well as non-local changes due to occlusion between body parts. To address this, we decompose the light transport into local and non-local effects. Local appearance changes are modeled using learnable zonal harmonics for diffuse radiance transfer. Unlike spherical harmonics, zonal harmonics are highly efficient to rotate under articulation. This allows us to learn diffuse radiance transfer in a local coordinate frame, which disentangles the local radiance transfer from the articulation of the body. To account for non-local appearance changes, we introduce a shadow network that predicts shadows given precomputed incoming irradiance on a base mesh. This facilitates the learning of non-local shadowing between the body parts. Finally, we use a deferred shading approach to model specular radiance transfer and better capture reflections and highlights such as eye glints. We demonstrate that our approach successfully models both the local and non-local light transport required for relightable full-body avatars, with a superior generalization ability under novel illumination conditions and unseen poses.
• Abstract（参考訳）: 顔や手など細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細部まで細 フルボディアバターをリライトするユニークな課題は、身体の関節による大きな変形と、光輸送による外観への影響である。 身体の姿勢の変化は、光に対する身体表面の向きを劇的に変え、局所的な光輸送機能の変化による局所的な外観の変化と、身体部分間の閉塞による非局所的な変化の両方をもたらす。 これを解決するために、光輸送を局所的および非局所的効果に分解する。 局所的な外観変化は、拡散放射伝達のための学習可能な帯高調波を用いてモデル化される。 球面高調波とは異なり、粒子高調波は調音下で回転するのに非常に効率的である。 これにより、局所的な座標フレームで拡散放射率移動を学習することができ、身体の関節から局所放射率移動を遠ざけることができる。 非局所的な外観変化を考慮し、ベースメッシュ上で予め計算された入射光の影を予測するシャドウネットワークを導入する。 これにより、身体部分間の非局所的な影の学習が容易になる。 最後に、遅延シェーディング手法を用いて、分光放射率伝達をモデル化し、反射や眼の輝きなどのハイライトをよりよく捉える。 提案手法は, 照度の高いフルボディアバターに必要な局所光輸送と非局所光輸送の両方をモデル化し, 新たな照明条件下での一般化能力と見知らぬポーズに優れることを示した。

関連論文リスト

• Relightable and Animatable Neural Avatars from Videos [14.091229306680697]
  本研究では, 可照性でアニマタブルなニューラルアバターを作成する方法を提案する。 鍵となる課題は、幾何学、衣服の素材、照明を解体することである。 合成および実データを用いた実験により,本手法は高品質な幾何を再構成することを示した。
  論文  参考訳（メタデータ） (2023-12-20T09:39:55Z)
• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• Towards Practical Capture of High-Fidelity Relightable Avatars [60.25823986199208]
  TRAvatarは、様々な照明条件下で光ステージでキャプチャされた動的画像シーケンスで訓練される。 1回のフォワードパスでリアルタイムで出現を予測でき、高品質なリライト効果が得られる。 本フレームワークは,光リアリスティックなアバターアニメーションとリライティングの優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-09-08T10:26:29Z)
• Relighting Neural Radiance Fields with Shadow and Highlight Hints [17.954887488427865]
  本稿では,非構造写真の小さな集合から自由視点を照らす新しい暗黙的放射率表現について述べる。 この形状を多層パーセプトロンでモデル化した符号付き距離関数として表現する。 我々は,多種多様な形状,材料特性,大域的な照明光輸送を示す合成シーンと実シーンにおける我々の神経暗黙表現を実証し,検証した。
  論文  参考訳（メタデータ） (2023-08-25T14:27:03Z)
• Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination [63.992213016011235]
  本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。 本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。 その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
  論文  参考訳（メタデータ） (2022-07-27T16:07:48Z)
• Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
  光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。 本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。 我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
  論文  参考訳（メタデータ） (2020-10-17T23:40:43Z)
• Neural Light Transport for Relighting and View Synthesis [70.39907425114302]
  シーンの光輸送(LT)は、異なる照明と視界の方向の下でどのように見えるかを記述する。 本研究では、既知の幾何学的性質のテクスチャアトラスに埋め込まれたLTの神経表現を学習するための半パラメトリック手法を提案する。 照明条件下では,従来観測されていた照度と視界を融合させて,同じシーンの新たなイメージを合成する方法を示す。
  論文  参考訳（メタデータ） (2020-08-09T20:13:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。