論文の概要: Fast and Physically-based Neural Explicit Surface for Relightable Human Avatars

• arxiv url: http://arxiv.org/abs/2503.18408v1
• Date: Mon, 24 Mar 2025 07:31:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:36:05.272603
• Title: Fast and Physically-based Neural Explicit Surface for Relightable Human Avatars
• Title（参考訳）: 感光性アバターのための高速・物理的ニューラルネットワーク表面
• Authors: Jiacheng Wu, Ruiqi Zhang, Jie Chen, Hui Zhang,
• Abstract要約: 現在の手法では、ダイナミックジオメトリとリフレクタンスを捉えるために、ニューラル暗黙表現を用いており、ボリュームレンダリングの高密度サンプリングを必要とするため、高いコストがかかる。 本稿では,PhyNES(Neural Explicit Surface)について紹介する。 PhyNESは、人間のモデルをコンパクトな2D空間に整理し、材料歪み効率を高める。
• 参考スコア（独自算出の注目度）: 13.209117925413965
• License:
• Abstract: Efficiently modeling relightable human avatars from sparse-view videos is crucial for AR/VR applications. Current methods use neural implicit representations to capture dynamic geometry and reflectance, which incur high costs due to the need for dense sampling in volume rendering. To overcome these challenges, we introduce Physically-based Neural Explicit Surface (PhyNES), which employs compact neural material maps based on the Neural Explicit Surface (NES) representation. PhyNES organizes human models in a compact 2D space, enhancing material disentanglement efficiency. By connecting Signed Distance Fields to explicit surfaces, PhyNES enables efficient geometry inference around a parameterized human shape model. This approach models dynamic geometry, texture, and material maps as 2D neural representations, enabling efficient rasterization. PhyNES effectively captures physical surface attributes under varying illumination, enabling real-time physically-based rendering. Experiments show that PhyNES achieves relighting quality comparable to SOTA methods while significantly improving rendering speed, memory efficiency, and reconstruction quality.
• Abstract（参考訳）: スパースビュービデオから効率よく再現可能な人間のアバターをモデル化することは、AR/VRアプリケーションに不可欠である。 現在の手法では、ダイナミックジオメトリとリフレクタンスを捉えるために、ニューラル暗黙表現を用いており、ボリュームレンダリングの高密度サンプリングを必要とするため、高いコストがかかる。 これらの課題を克服するために,ニューラル・エクスプリシット・サーフェス(NES)表現に基づくコンパクトなニューラル・マテリアル・マップを用いた物理ベースのニューラル・エクスプリシット・サーフェス(PhyNES)を導入する。 PhyNESは、人間のモデルをコンパクトな2D空間に整理し、材料歪み効率を高める。 符号付き距離場を明示的な表面に接続することにより、PhyNESはパラメータ化された人間の形状モデルの周りに効率的な幾何学的推論を可能にする。 このアプローチは、動的幾何学、テクスチャ、および物質マップを2次元神経表現としてモデル化し、効率的なラスタ化を可能にする。 PhyNESは、様々な照明の下で物理的表面の属性を効果的にキャプチャし、リアルタイムな物理ベースのレンダリングを可能にする。 実験により、PhyNESはSOTA法に匹敵するライティング品質を達成し、レンダリング速度、メモリ効率、再構成品質を大幅に改善した。

関連論文リスト

• AniSDF: Fused-Granularity Neural Surfaces with Anisotropic Encoding for High-Fidelity 3D Reconstruction [55.69271635843385]
  AniSDF(AniSDF)は,高忠実度3次元再構成のための物理に基づく符号化による融合粒度ニューラルサーフェスを学習する新しいアプローチである。 本手法は, 幾何再構成と新規ビュー合成の両面において, SDF法の品質を飛躍的に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T03:10:38Z)
• Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
  大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。 本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:07:39Z)
• PhyRecon: Physically Plausible Neural Scene Reconstruction [81.73129450090684]
  PHYRECONは、微分可能なレンダリングと微分可能な物理シミュレーションの両方を利用して暗黙的な表面表現を学習する最初のアプローチである。 この設計の中心は、SDFに基づく暗黙の表現と明示的な表面点の間の効率的な変換である。 また,物理シミュレータの安定性も向上し,全データセットに対して少なくとも40%の改善が得られた。
  論文  参考訳（メタデータ） (2024-04-25T15:06:58Z)
• HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
  ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。 本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。 仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
  論文  参考訳（メタデータ） (2023-12-05T22:04:49Z)
• Anisotropic Neural Representation Learning for High-Quality Neural Rendering [0.0]
  本稿では、学習可能なビュー依存機能を利用してシーン表現と再構成を改善する異方性ニューラル表現学習法を提案する。 我々の手法は柔軟であり、NeRFベースのフレームワークにプラグインできる。
  論文  参考訳（メタデータ） (2023-11-30T07:29:30Z)
• Explicifying Neural Implicit Fields for Efficient Dynamic Human Avatar Modeling via a Neural Explicit Surface [10.604108229704336]
  暗黙のニューラルネットワークは、ダイナミックな3Dコンテンツのモデリングにおいて、従来の明示的な表現よりも有利である。 本稿では,暗黙のニューラルネットワークを明示的に表現するために,ニューラル・エクスプリシト・サーフェス(NES)の利用を提案する。 NESは従来の3Dアプローチと同様に、レンダリング速度を大幅に改善し、メモリコストを削減した。
  論文  参考訳（メタデータ） (2023-08-07T07:17:18Z)
• Neural Point-based Volumetric Avatar: Surface-guided Neural Points for Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
  ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。 具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。 設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
  論文  参考訳（メタデータ） (2023-07-11T03:40:10Z)
• Real-time volumetric rendering of dynamic humans [83.08068677139822]
  本研究では,モノクラービデオから動的人間の高速3次元再構成とリアルタイムレンダリングを行う手法を提案する。 提案手法は, 72時間を要する最近の最先端の代替技術と比較して, 3時間未満で動的人間を1つのGPUで再構築することができる。 新たなローカル光線マーチングレンダリングにより、モバイルVRデバイス上で、視覚的品質の損失を最小限に抑えて、ニューラルヒューマンを毎秒40フレームで可視化することができる。
  論文  参考訳（メタデータ） (2023-03-21T14:41:25Z)
• NeuralFusion: Neural Volumetric Rendering under Human-object Interactions [46.70371238621842]
  本稿では,スパース・コンシューマRGBDセンサを用いたボリューム・オブジェクトのキャプチャとレンダリングのためのニューラル・アプローチを提案する。 幾何学的モデリングでは,非剛性鍵体積融合を用いたニューラル暗黙的推論方式を提案する。 また,空間的領域と時間的領域の両方において,ボリュームと画像に基づくレンダリングを組み合わせた階層的ヒューマンオブジェクトテクスチャレンダリング手法を提案する。
  論文  参考訳（メタデータ） (2022-02-25T17:10:07Z)
• NeuralHumanFVV: Real-Time Neural Volumetric Human Performance Rendering using RGB Cameras [17.18904717379273]
  没入型VR/AR体験には, 人間の活動の4次元再構築とレンダリングが不可欠である。 近年の進歩は、細かなマルチビューRGBカメラから入力画像の細部まで詳細な形状やテクスチャの再現には至っていない。 本稿では,人間の活動の質の高い幾何学的,フォトリアリスティックなテクスチャを任意の視点で生成する,リアルタイムのニューラルヒューマンパフォーマンスキャプチャとレンダリングシステムを提案する。
  論文  参考訳（メタデータ） (2021-03-13T12:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。