論文の概要: UV Volumes for Real-time Rendering of Editable Free-view Human Performance

• arxiv url: http://arxiv.org/abs/2203.14402v1
• Date: Sun, 27 Mar 2022 21:54:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 15:37:36.939148
• Title: UV Volumes for Real-time Rendering of Editable Free-view Human Performance
• Title（参考訳）: 編集可能なフリービュー人間パフォーマンスのリアルタイムレンダリングのためのUVボリューム
• Authors: Yue Chen, Xuan Wang, Qi Zhang, Xiaoyu Li, Xingyu Chen, Yu Guo, Jue Wang, Fei Wang
• Abstract要約: UV Volumesは、人間のパフォーマーの編集可能なフリービュービデオをリアルタイムでレンダリングするアプローチである。 高周波(非滑らかな)人間のテクスチャを3次元ボリュームから取り除き、2次元のニューラルテクスチャスタックにエンコードすることで実現される。 CMU Panoptic、ZJU Mocap、H36Mデータセットの実験は、我々のモデルが40fpsで900×500画像をレンダリングできることを示しています。
• 参考スコア（独自算出の注目度）: 35.089358945669865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural volume rendering has been proven to be a promising method for efficient and photo-realistic rendering of a human performer in free-view, a critical task in many immersive VR/AR applications. However, existing approaches are severely limited by their high computational cost in the rendering process. To solve this problem, we propose the UV Volumes, an approach that can render an editable free-view video of a human performer in real-time. It is achieved by removing the high-frequency (i.e., non-smooth) human textures from the 3D volume and encoding them into a 2D neural texture stack (NTS). The smooth UV volume allows us to employ a much smaller and shallower structure for 3D CNN and MLP, to obtain the density and texture coordinates without losing image details. Meanwhile, the NTS only needs to be queried once for each pixel in the UV image to retrieve its RGB value. For editability, the 3D CNN and MLP decoder can easily fit the function that maps the input structured-and-posed latent codes to the relatively smooth densities and texture coordinates. It gives our model a better generalization ability to handle novel poses and shapes. Furthermore, the use of NST enables new applications, e.g., retexturing. Extensive experiments on CMU Panoptic, ZJU Mocap, and H36M datasets show that our model can render 900 * 500 images in 40 fps on average with comparable photorealism to state-of-the-art methods. The project and supplementary materials are available at https://fanegg.github.io/UV-Volumes.
• Abstract（参考訳）: ニューラルボリュームレンダリングは、多くの没入型VR/ARアプリケーションにおいて重要なタスクであるフリービューにおける人間のパフォーマーの効率的でリアルなレンダリングのための有望な方法であることが証明されている。 しかし、既存の手法はレンダリングプロセスにおける計算コストの増大によって著しく制限されている。 この問題を解決するために,人間のパフォーマーの編集可能なフリービュー映像をリアルタイムでレンダリングするUVボリュームを提案する。 3dボリュームから高周波(すなわち非スムース)の人間のテクスチャを取り除き、それらを2dニューラルテクスチャスタック(nts)にエンコードすることで実現される。 このスムーズなUV体積は,3次元CNNとMLPのためにより小さく,より浅い構造を用いて,画像の詳細を損なうことなく,密度とテクスチャの座標を求めることができる。 一方、NTSは、そのRGB値を取得するために、UV画像の各ピクセルに対して一度だけクエリされる必要がある。 3D CNNとMPPデコーダは、入力された構造化および配置された潜在符号を比較的滑らかな密度とテクスチャ座標にマッピングする関数に容易に適合させることができる。 これは我々のモデルに、新しいポーズや形を扱うためのより良い一般化能力を与える。 さらに、NSTを使用することで、リテクスチャなどの新しいアプリケーションが可能になる。 cmu panoptic、zju mocap、およびh36mデータセットに関する広範囲な実験により、我々のモデルは平均して40fpsで900 * 500の画像をレンダリングできることを示した。 プロジェクトと追加資料はhttps://fanegg.github.io/UV-Volumes.comで入手できる。

関連論文リスト

• TEXGen: a Generative Diffusion Model for Mesh Textures [63.43159148394021]
  我々は、UVテクスチャ空間自体における学習の根本的な問題に焦点を当てる。 本稿では,点クラウド上にアテンション層を持つUVマップ上の畳み込みをインターリーブするスケーラブルなネットワークアーキテクチャを提案する。 テキストプロンプトとシングルビュー画像によって導かれるUVテクスチャマップを生成する7億のパラメータ拡散モデルを訓練する。
  論文  参考訳（メタデータ） (2024-11-22T05:22:11Z)
• EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
  実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。 3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。 本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:59:09Z)
• TexDreamer: Towards Zero-Shot High-Fidelity 3D Human Texture Generation [41.959089177835764]
  TexDreamerは、最初のゼロショットマルチモーダル高忠実度3Dヒューマンテクスチャ生成モデルである。 ArTicuLated humAn textureSは,最大解像度(1024×1024)のヒトテクスチャデータセットである。
  論文  参考訳（メタデータ） (2024-03-19T17:02:07Z)
• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• EvaSurf: Efficient View-Aware Implicit Textured Surface Reconstruction on Mobile Devices [53.28220984270622]
  モバイル端末に暗黙的テクスチャを付加したtextbfSurf$ace 再構成手法を提案する。 提案手法は,合成と実世界の両方のデータセット上で,高品質な外観と正確なメッシュを再構築することができる。 我々の方法は1つのGPUを使ってたった1～2時間でトレーニングでき、40FPS(Frames per second)以上のモバイルデバイス上で実行することができる。
  論文  参考訳（メタデータ） (2023-11-16T11:30:56Z)
• AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
  AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。 結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。 学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2022-04-06T21:39:24Z)
• NeuVV: Neural Volumetric Videos with Immersive Rendering and Editing [34.40837543752915]
  本稿では, 没入型, 対話型, 時空間レンダリングをサポートするニューラルボリュームビデオ(NeuVV)と呼ばれるニューラルボルモグラフィー技術を提案する。 NeuVVは動的神経放射場(NeRF)をレンダリング可能で編集可能なプリミティブに符号化する。 さらに,コンシューマレベルのVRヘッドセットをサポートするハイブリッドなニューラルラスタライズレンダリングフレームワークを開発した。
  論文  参考訳（メタデータ） (2022-02-12T15:23:16Z)
• HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars [65.82222842213577]
  本稿では,任意のポーズから人間の仮想アバターを効率よく,高品質に合成するニューラルレンダリングパイプラインを提案する。 まず,人体表面の高密度UV多様体上での人間の動きを符号化する。 次に、UV多様体上の符号化情報を利用して、3次元体積表現を構成する。
  論文  参考訳（メタデータ） (2021-12-19T17:34:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。