論文の概要: Human Performance Modeling and Rendering via Neural Animated Mesh

• arxiv url: http://arxiv.org/abs/2209.08468v1
• Date: Sun, 18 Sep 2022 03:58:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 19:30:20.944538
• Title: Human Performance Modeling and Rendering via Neural Animated Mesh
• Title（参考訳）: ニューラルアニメーションメッシュによる人のパフォーマンスモデリングとレンダリング
• Authors: Fuqiang Zhao, Yuheng Jiang, Kaixin Yao, Jiakai Zhang, Liao Wang, Haizhao Dai, Yuhui Zhong, Yingliang Zhang, Minye Wu, Lan Xu, Jingyi Yu
• Abstract要約: 従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。 本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。 我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
• 参考スコア（独自算出の注目度）: 40.25449482006199
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We have recently seen tremendous progress in the neural advances for photo-real human modeling and rendering. However, it's still challenging to integrate them into an existing mesh-based pipeline for downstream applications. In this paper, we present a comprehensive neural approach for high-quality reconstruction, compression, and rendering of human performances from dense multi-view videos. Our core intuition is to bridge the traditional animated mesh workflow with a new class of highly efficient neural techniques. We first introduce a neural surface reconstructor for high-quality surface generation in minutes. It marries the implicit volumetric rendering of the truncated signed distance field (TSDF) with multi-resolution hash encoding. We further propose a hybrid neural tracker to generate animated meshes, which combines explicit non-rigid tracking with implicit dynamic deformation in a self-supervised framework. The former provides the coarse warping back into the canonical space, while the latter implicit one further predicts the displacements using the 4D hash encoding as in our reconstructor. Then, we discuss the rendering schemes using the obtained animated meshes, ranging from dynamic texturing to lumigraph rendering under various bandwidth settings. To strike an intricate balance between quality and bandwidth, we propose a hierarchical solution by first rendering 6 virtual views covering the performer and then conducting occlusion-aware neural texture blending. We demonstrate the efficacy of our approach in a variety of mesh-based applications and photo-realistic free-view experiences on various platforms, i.e., inserting virtual human performances into real environments through mobile AR or immersively watching talent shows with VR headsets.
• Abstract（参考訳）: 私たちは最近、フォトリアルな人間のモデリングとレンダリングにおける神経の進歩を目にしました。 しかし、下流アプリケーションのための既存のメッシュベースのパイプラインに統合することは依然として難しい。 本稿では,高精細なマルチビュービデオから高画質の再現・圧縮・レンダリングを行うための包括的ニューラルネットワークを提案する。 私たちの中心となる直感は、従来のアニメーションメッシュワークフローを、高度に効率的なニューラルテクニックの新しいクラスに橋渡しすることです。 まず,高品質表面生成のための神経表面再構成器について紹介する。 これは、TSDF (truncated signed distance field) の暗黙のボリュームレンダリングとマルチレゾリューションハッシュ符号化をマージする。 さらに,自己教師付きフレームワークにおける明示的な非剛性追跡と暗黙的動的変形を組み合わせた,アニメーションメッシュを生成するハイブリッドニューラルネットワークトラッカを提案する。 前者は粗い反りを正準空間に戻すが、後者は暗黙的に4dハッシュエンコーディングを用いてさらに変位を予測する。 次に,様々な帯域幅設定下での動的テキスト作成からlumigraphレンダリングまで,得られたアニメーションメッシュを用いたレンダリング方式について検討する。 品質と帯域幅の複雑なバランスをとるために,まず6つの仮想ビューを描画し,次にオクルージョン・アウェアニューラルテクスチャブレンドを行うことにより,階層的ソリューションを提案する。 さまざまなプラットフォーム上でのメッシュベースのアプリケーションや写真リアリスティックなフリービューエクスペリエンス,例えばモバイルARによる仮想人間パフォーマンスの実際の環境への挿入,あるいはVRヘッドセットによるタレントショーの没入的な視聴などにおいて,このアプローチの有効性を実証する。

関連論文リスト

• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos [52.23323966700072]
  本研究では,モノクロ映像から高精細な物理材料テクスチャとメッシュを付加したアバターの取得のための枠組みを提案する。 本手法では,モノクロ映像からの情報を組み合わせて仮想多視点画像の合成を行う新しい情報融合方式を提案する。 実験により, 提案手法は, 高忠実度で従来の表現よりも優れており, この明示的な結果は共通三角形への展開をサポートすることが示された。
  論文  参考訳（メタデータ） (2024-05-18T11:49:09Z)
• FaceFolds: Meshed Radiance Manifolds for Efficient Volumetric Rendering of Dynamic Faces [21.946327323788275]
  動的顔の3Dレンダリングは難しい問題である。 本稿では,アクターの動的顔パフォーマンスの高品質なレンダリングを可能にする新しい表現を提案する。
  論文  参考訳（メタデータ） (2024-04-22T00:44:13Z)
• High-Quality Mesh Blendshape Generation from Face Videos via Neural Inverse Rendering [15.009484906668737]
  メッシュをベースとしたブレンドシェイプリグを,シングルあるいはスパースなマルチビュービデオから再構成する新しい手法を提案する。 実験により,シングルあるいはスパースなマルチビュービデオのフレキシブルな入力により,パーソナライズされた高忠実度ブレンドサップを再構築することを示した。
  論文  参考訳（メタデータ） (2024-01-16T14:41:31Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur [68.24599239479326]
  画像ベース表現とニューラル3D表現を結合して高品質なビュー一貫性のある画像をレンダリングするハイブリッドなニューラルレンダリングモデルを開発した。 我々のモデルは、新しいビュー合成のための最先端のポイントベース手法を超越している。
  論文  参考訳（メタデータ） (2023-04-25T08:36:33Z)
• Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
  高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。 最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。 アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
  論文  参考訳（メタデータ） (2023-03-23T00:15:34Z)
• Learning Compositional Radiance Fields of Dynamic Human Heads [13.272666180264485]
  従来の方法のベストを組み合わせ、高分解能と高速な結果の両方を生成する新しい合成3D表現を提案します。 異なるボリュームレンダリングを用いて、人間の頭部と上半身のフォトリアリスティックなノベルビューを計算する。 本研究は,人間の頭と上半身の新たな視線を合成する手法である。
  論文  参考訳（メタデータ） (2020-12-17T22:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。