論文の概要: Efficient Meshy Neural Fields for Animatable Human Avatars

• arxiv url: http://arxiv.org/abs/2303.12965v1
• Date: Thu, 23 Mar 2023 00:15:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 16:10:21.672294
• Title: Efficient Meshy Neural Fields for Animatable Human Avatars
• Title（参考訳）: アニマタブルヒトアバターのための効率的なメッシュニューラルネットワーク
• Authors: Xiaoke Huang, Yiji Cheng, Yansong Tang, Xiu Li, Jie Zhou, Jiwen Lu
• Abstract要約: 高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。 最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。 アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
• 参考スコア（独自算出の注目度）: 87.68529918184494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficiently digitizing high-fidelity animatable human avatars from videos is a challenging and active research topic. Recent volume rendering-based neural representations open a new way for human digitization with their friendly usability and photo-realistic reconstruction quality. However, they are inefficient for long optimization times and slow inference speed; their implicit nature results in entangled geometry, materials, and dynamics of humans, which are hard to edit afterward. Such drawbacks prevent their direct applicability to downstream applications, especially the prominent rasterization-based graphic ones. We present EMA, a method that Efficiently learns Meshy neural fields to reconstruct animatable human Avatars. It jointly optimizes explicit triangular canonical mesh, spatial-varying material, and motion dynamics, via inverse rendering in an end-to-end fashion. Each above component is derived from separate neural fields, relaxing the requirement of a template, or rigging. The mesh representation is highly compatible with the efficient rasterization-based renderer, thus our method only takes about an hour of training and can render in real-time. Moreover, only minutes of optimization is enough for plausible reconstruction results. The disentanglement of meshes enables direct downstream applications. Extensive experiments illustrate the very competitive performance and significant speed boost against previous methods. We also showcase applications including novel pose synthesis, material editing, and relighting. The project page: https://xk-huang.github.io/ema/.
• Abstract（参考訳）: ビデオから高忠実なアニメーション可能な人間のアバターを効率的にデジタル化することは、挑戦的で活発な研究テーマである。 最近のボリュームレンダリングに基づくニューラル表現は、フレンドリーなユーザビリティとフォトリアリスティックな再構築品質を備えた、人間のデジタル化の新しい方法を開く。 しかし、それらは長い最適化時間と推論速度の遅いために非効率であり、その暗黙の性質は絡み合った幾何学、材料、そしてその後の編集が難しい人間のダイナミクスをもたらす。 このような欠点は、下流アプリケーション、特に顕著なラスタライズベースのグラフィックアプリケーションに直接適用できない。 アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。 端から端までの逆レンダリングによって、明示的な三角形の標準メッシュ、空間変化物質、モーションダイナミクスを共同で最適化する。 上記の各コンポーネントは、別々のニューラルネットワークから派生したもので、テンプレートの要件やリギングを緩和する。 メッシュ表現は効率的なラスタライズベースのレンダラと高い互換性を持つため、この手法はトレーニングに約1時間しかかからず、リアルタイムにレンダリングできる。 また, 再建には数分の最適化だけで十分である。 メッシュの絡み合いが直接下流アプリケーションを可能にします。 大規模な実験は、従来の手法に対する非常に競争力のある性能と大幅な速度向上を示す。 また,新しいポーズ合成,素材編集,リライトといった応用例も紹介する。 プロジェクトページ: https://xk-huang.github.io/ema/

関連論文リスト

• Surfel-based Gaussian Inverse Rendering for Fast and Relightable Dynamic Human Reconstruction from Monocular Video [41.677560631206184]
  本稿では,Surfel-based Gaussian Inverse Avatar (SGIA)法を提案する。 SGIAは従来のガウスアバター法を進歩させ、人間のアバターの物理的レンダリング(PBR)特性を包括的にモデル化した。 提案手法は,既存の暗黙的手法を超越した高速光計算のために,事前積分と画像ベース照明を統合する。
  論文  参考訳（メタデータ） (2024-07-21T16:34:03Z)
• Interactive Rendering of Relightable and Animatable Gaussian Avatars [37.73483372890271]
  本稿では,多視点映像や単眼アバター映像から身体材料と照明を分離する簡便で効率的な方法を提案する。 提案手法は,合成データと実データの両方で高速に高品質な結果が得られる。
  論文  参考訳（メタデータ） (2024-07-15T13:25:07Z)
• ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
  本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。 我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。 我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
  論文  参考訳（メタデータ） (2023-12-10T17:07:37Z)
• Animatable 3D Gaussian: Fast and High-Quality Reconstruction of Multiple Human Avatars [18.55354901614876]
  入力画像とポーズから人間のアバターを学習するAnimatable 3D Gaussianを提案する。 新規なビュー合成と新規ポーズ合成の両タスクにおいて,本手法はトレーニング時間を短縮したInstantAvatarよりも高い再現性を実現する。 本手法は,25秒のトレーニングで10人のシーンにおいて,複数のシーンに容易に拡張可能であり,それと同等の新規なビュー合成結果が得られる。
  論文  参考訳（メタデータ） (2023-11-27T08:17:09Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• Real-time volumetric rendering of dynamic humans [83.08068677139822]
  本研究では,モノクラービデオから動的人間の高速3次元再構成とリアルタイムレンダリングを行う手法を提案する。 提案手法は, 72時間を要する最近の最先端の代替技術と比較して, 3時間未満で動的人間を1つのGPUで再構築することができる。 新たなローカル光線マーチングレンダリングにより、モバイルVRデバイス上で、視覚的品質の損失を最小限に抑えて、ニューラルヒューマンを毎秒40フレームで可視化することができる。
  論文  参考訳（メタデータ） (2023-03-21T14:41:25Z)
• Learning Neural Volumetric Representations of Dynamic Humans in Minutes [49.10057060558854]
  本稿では,視覚的品質の競争力のある映像から,ダイナミックな人間のニューラルボリューム映像を学習するための新しい手法を提案する。 具体的には、ネットワークの表現力をよりよく人体に分散させるために、新しい部分ベースのボクセル化人間表現を定義する。 実験により,従来のシーンごとの最適化手法よりも100倍高速に学習できることが実証された。
  論文  参考訳（メタデータ） (2023-02-23T18:57:01Z)
• Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
  従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。 本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。 我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
  論文  参考訳（メタデータ） (2022-09-18T03:58:00Z)
• KiloNeuS: Implicit Neural Representations with Real-Time Global Illumination [1.5749416770494706]
  我々は、インタラクティブなフレームレートでパストレーシングシーンで描画できる新しいニューラルオブジェクト表現であるKiloNeuSを紹介する。 KiloNeuSは、共有シーンにおけるニューラルネットワークと古典的プリミティブ間の現実的な光相互作用のシミュレーションを可能にする。
  論文  参考訳（メタデータ） (2022-06-22T07:33:26Z)
• HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars [65.82222842213577]
  本稿では,任意のポーズから人間の仮想アバターを効率よく,高品質に合成するニューラルレンダリングパイプラインを提案する。 まず,人体表面の高密度UV多様体上での人間の動きを符号化する。 次に、UV多様体上の符号化情報を利用して、3次元体積表現を構成する。
  論文  参考訳（メタデータ） (2021-12-19T17:34:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。