論文の概要: DNF-Avatar: Distilling Neural Fields for Real-time Animatable Avatar Relighting

• arxiv url: http://arxiv.org/abs/2504.10486v1
• Date: Mon, 14 Apr 2025 17:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:51:12.390924
• Title: DNF-Avatar: Distilling Neural Fields for Real-time Animatable Avatar Relighting
• Title（参考訳）: DNF-アバター:リアルタイムアニマタブルアバターリライトのための蒸留ニューラルネットワーク
• Authors: Zeren Jiang, Shaofei Wang, Siyu Tang,
• Abstract要約: モノクラービデオから、楽しくて計算可能な人間のアバターを作ることは、さまざまなアプリケーションで研究が進められているトピックだ。 以前の研究では、人間のアバターの幾何学的特徴と乱れの外観特性を推定するために、ニューラルネットワークと物理ベースレンダリング(PBR)を用いていた。 この問題に対処するために,暗黙のニューラルネットワークから明示的な2次元ガウススプラッティング表現への知識の抽出を提案した。
• 参考スコア（独自算出の注目度）: 12.917419616798815
• License:
• Abstract: Creating relightable and animatable human avatars from monocular videos is a rising research topic with a range of applications, e.g. virtual reality, sports, and video games. Previous works utilize neural fields together with physically based rendering (PBR), to estimate geometry and disentangle appearance properties of human avatars. However, one drawback of these methods is the slow rendering speed due to the expensive Monte Carlo ray tracing. To tackle this problem, we proposed to distill the knowledge from implicit neural fields (teacher) to explicit 2D Gaussian splatting (student) representation to take advantage of the fast rasterization property of Gaussian splatting. To avoid ray-tracing, we employ the split-sum approximation for PBR appearance. We also propose novel part-wise ambient occlusion probes for shadow computation. Shadow prediction is achieved by querying these probes only once per pixel, which paves the way for real-time relighting of avatars. These techniques combined give high-quality relighting results with realistic shadow effects. Our experiments demonstrate that the proposed student model achieves comparable or even better relighting results with our teacher model while being 370 times faster at inference time, achieving a 67 FPS rendering speed.
• Abstract（参考訳）: モノクロビデオからリライクでアニマブルな人間のアバターを作ることは、仮想現実、スポーツ、ビデオゲームなど、さまざまなアプリケーションで研究が進められているトピックだ。 以前の研究では、人間のアバターの幾何学的特徴と乱れの外観特性を推定するために、ニューラルネットワークと物理ベースレンダリング(PBR)を用いていた。 しかし、これらの手法の欠点の1つは、高価なモンテカルロ線トレーシングによるレンダリング速度の遅さである。 この問題に対処するため,我々は暗黙のニューラルネットワーク(教師)から明示的な2次元ガウススプラッティング(学生)表現への知識を抽出し,ガウススプラッティングの高速ラスタ化特性を活用することを提案した。 レイトレーシングを避けるため,PBRの出現にスプリットサム近似を用いる。 また、シャドウ計算のための新しい部分ワイド環境オクルージョンプローブを提案する。 シャドウ予測は、これらのプローブを1ピクセルあたり1回だけクエリすることで実現される。 これらの手法を組み合わせることで、現実的な影効果を伴う高品質なリライティング結果が得られる。 実験により,提案した学生モデルは,推定時間で370倍の速さで,67FPSレンダリング速度を達成し,教師モデルと同等あるいはそれ以上のリライティング結果が得られることを示した。

関連論文リスト

• LightAvatar: Efficient Head Avatar as Dynamic Neural Light Field [58.93692943064746]
  ニューラル光場(NeLF)に基づく最初の頭部アバターモデルであるLightAvatarを紹介する。 LightAvatarは3DMMパラメータから画像をレンダリングし、メッシュやボリュームレンダリングを使わずに、単一のネットワークフォワードパスを介してカメラがポーズする。
  論文  参考訳（メタデータ） (2024-09-26T17:00:02Z)
• Interactive Rendering of Relightable and Animatable Gaussian Avatars [37.73483372890271]
  本稿では,多視点映像や単眼アバター映像から身体材料と照明を分離する簡便で効率的な方法を提案する。 提案手法は,合成データと実データの両方で高速に高品質な結果が得られる。
  論文  参考訳（メタデータ） (2024-07-15T13:25:07Z)
• Splatter Image: Ultra-Fast Single-View 3D Reconstruction [67.96212093828179]
  Splatter ImageはGaussian Splattingをベースにしており、複数の画像から3Dシーンを高速かつ高品質に再現することができる。 テスト時に38FPSでフィードフォワードで再構成を行うニューラルネットワークを学習する。 いくつかの総合、実、マルチカテゴリ、大規模ベンチマークデータセットにおいて、トレーニング中にPSNR、LPIPS、その他のメトリクスでより良い結果を得る。
  論文  参考訳（メタデータ） (2023-12-20T16:14:58Z)
• 3DGS-Avatar: Animatable Avatars via Deformable 3D Gaussian Splatting [32.63571465495127]
  3Dガウススプラッティング(3DGS)を用いた単眼ビデオからアニマタブルな人間のアバターを作成する手法を提案する。 我々は、30分以内でトレーニングでき、リアルタイムフレームレート(50以上のFPS)でレンダリングできる非剛性ネットワークを学習する。 実験結果から,本手法は単分子入力によるアニマタブルアバター生成に対する最先端手法と比較して,同等,さらに優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-12-14T18:54:32Z)
• ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
  本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。 我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。 我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-10T17:07:37Z)
• FlashAvatar: High-fidelity Head Avatar with Efficient Gaussian Embedding [33.03011612052884]
  FlashAvatarは、新しくて軽量な3Dアニマタブルなアバター表現である。 短い単眼ビデオシーケンスから数分でデジタルアバターを再構築することができる。 コンシューマグレードのGPU上で300FPSで高忠実なフォトリアリスティック画像をレンダリングすることができる。
  論文  参考訳（メタデータ） (2023-12-03T07:23:53Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• Towards Practical Capture of High-Fidelity Relightable Avatars [60.25823986199208]
  TRAvatarは、様々な照明条件下で光ステージでキャプチャされた動的画像シーケンスで訓練される。 1回のフォワードパスでリアルタイムで出現を予測でき、高品質なリライト効果が得られる。 本フレームワークは,光リアリスティックなアバターアニメーションとリライティングの優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-09-08T10:26:29Z)
• Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
  高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。 最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。 アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
  論文  参考訳（メタデータ） (2023-03-23T00:15:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。