論文の概要: TriHuman : A Real-time and Controllable Tri-plane Representation for Detailed Human Geometry and Appearance Synthesis

• arxiv url: http://arxiv.org/abs/2312.05161v1
• Date: Fri, 8 Dec 2023 16:40:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 14:37:21.777617
• Title: TriHuman : A Real-time and Controllable Tri-plane Representation for Detailed Human Geometry and Appearance Synthesis
• Title（参考訳）: TriHuman : 詳細な人体形状と外観合成のためのリアルタイムかつ制御可能な三面体表現
• Authors: Heming Zhu, Fangneng Zhan, Christian Theobalt, Marc Habermann
• Abstract要約: TriHumanは、人間によって調整され、変形可能で、効率的な三面体表現である。 我々は、未変形の三面体テクスチャ空間に、地球規模のサンプルを厳格にワープする。 このような三面的特徴表現が骨格運動でどのように条件付けされ、動的外観や幾何学的変化を考慮に入れられるかを示す。
• 参考スコア（独自算出の注目度）: 76.73338151115253
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Creating controllable, photorealistic, and geometrically detailed digital doubles of real humans solely from video data is a key challenge in Computer Graphics and Vision, especially when real-time performance is required. Recent methods attach a neural radiance field (NeRF) to an articulated structure, e.g., a body model or a skeleton, to map points into a pose canonical space while conditioning the NeRF on the skeletal pose. These approaches typically parameterize the neural field with a multi-layer perceptron (MLP) leading to a slow runtime. To address this drawback, we propose TriHuman a novel human-tailored, deformable, and efficient tri-plane representation, which achieves real-time performance, state-of-the-art pose-controllable geometry synthesis as well as photorealistic rendering quality. At the core, we non-rigidly warp global ray samples into our undeformed tri-plane texture space, which effectively addresses the problem of global points being mapped to the same tri-plane locations. We then show how such a tri-plane feature representation can be conditioned on the skeletal motion to account for dynamic appearance and geometry changes. Our results demonstrate a clear step towards higher quality in terms of geometry and appearance modeling of humans as well as runtime performance.
• Abstract（参考訳）: ビデオデータのみから、制御可能でフォトリアリスティックで幾何学的に詳細な人間のデジタルダブルを作成することは、特にリアルタイムパフォーマンスが必要な場合、コンピュータグラフィックスとビジョンにおいて重要な課題である。 最近の方法では、神経放射野(NeRF)を体モデルや骨格などの関節構造にアタッチして、骨格のポーズにNeRFを条件付けながら、点をポーズ正準空間にマッピングする。 これらのアプローチは一般的に、多層パーセプトロン(MLP)でニューラルネットワークをパラメータ化し、実行が遅い。 本稿では,この欠点を解決するために,リアルタイム性能,最先端のポーズ制御可能な幾何合成,フォトリアリスティックなレンダリング品質を実現する,人間にカスタマイズされた,変形可能な,効率的なトリプレーン表現を提案する。 中心となるのは、地球規模の試料を変形しない三面体テクスチャ空間にワープすることで、地球上の点が同じ三面体にマッピングされるという問題に効果的に対処する。 次に、このような三面体特徴表現が骨格運動上でどのように条件付けされ、動的外観と幾何学的変化を考慮できるかを示す。 以上の結果から,人体形状や外観のモデリング,実行時の性能の面では,高い品質に向けての明確なステップが示される。

関連論文リスト

• En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D Synthetic Data [36.51674664590734]
  本研究では,高品質な3次元アバターの小型化を図ったEn3Dを提案する。 従来の3Dデータセットの不足や、視角が不均衡な限られた2Dコレクションと異なり、本研究の目的は、ゼロショットで3D人間を作れる3Dの開発である。
  論文  参考訳（メタデータ） (2024-01-02T12:06:31Z)
• Animating NeRFs from Texture Space: A Framework for Pose-Dependent Rendering of Human Performances [11.604386285817302]
  人間のパフォーマンスのポーズ依存レンダリングのための新しいNeRFベースのフレームワークを提案する。 提案手法は,新規視点と新規目的合成のための高品質なレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-06T14:34:36Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis [52.720314035084215]
  この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。 我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。 GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
  論文  参考訳（メタデータ） (2022-04-25T17:14:22Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• S3: Neural Shape, Skeleton, and Skinning Fields for 3D Human Modeling [103.65625425020129]
  歩行者の形状、ポーズ、皮膚の重みを、データから直接学習する神経暗黙関数として表現します。 各種データセットに対するアプローチの有効性を実証し,既存の最先端手法よりも再現性が優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-17T02:16:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。