論文の概要: Learning Locally Editable Virtual Humans

• arxiv url: http://arxiv.org/abs/2305.00121v1
• Date: Fri, 28 Apr 2023 23:06:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 16:58:40.101971
• Title: Learning Locally Editable Virtual Humans
• Title（参考訳）: ローカル編集可能な仮想人間を学習する
• Authors: Hsuan-I Ho, Lixin Xue, Jie Song, Otmar Hilliges
• Abstract要約: 完全編集可能なニューラルアバターをモデル化するための新しいハイブリッド表現とエンドツーエンドのトレーニング可能なネットワークアーキテクチャを提案する。 私たちの研究の中心には、ニューラルネットワークのモデリング能力と使いやすさ、スキン付きメッシュの固有の3D一貫性を組み合わせた表現があります。 提案手法は多種多様な細かなアバターを生成し,最先端の手法に比べて優れたモデル適合性を実現する。
• 参考スコア（独自算出の注目度）: 37.95173373011365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel hybrid representation and end-to-end trainable network architecture to model fully editable and customizable neural avatars. At the core of our work lies a representation that combines the modeling power of neural fields with the ease of use and inherent 3D consistency of skinned meshes. To this end, we construct a trainable feature codebook to store local geometry and texture features on the vertices of a deformable body model, thus exploiting its consistent topology under articulation. This representation is then employed in a generative auto-decoder architecture that admits fitting to unseen scans and sampling of realistic avatars with varied appearances and geometries. Furthermore, our representation allows local editing by swapping local features between 3D assets. To verify our method for avatar creation and editing, we contribute a new high-quality dataset, dubbed CustomHumans, for training and evaluation. Our experiments quantitatively and qualitatively show that our method generates diverse detailed avatars and achieves better model fitting performance compared to state-of-the-art methods. Our code and dataset are available at https://custom-humans.github.io/.
• Abstract（参考訳）: 本稿では,完全編集可能でカスタマイズ可能なニューラルネットワークアバターをモデル化する,新しいハイブリッド表現とエンドツーエンドのトレーニング可能なネットワークアーキテクチャを提案する。 私たちの研究の中心には、ニューラルネットワークのモデリング能力と使いやすさ、スキンメッシュの固有の3D一貫性を組み合わせた表現があります。 この目的のために,変形可能なボディモデルの頂点に局所的な幾何学的特徴とテクスチャ的特徴を格納する学習可能な機能コードブックを構築する。 この表現は生成的な自動デコーダアーキテクチャで採用され、目に見えないスキャンに適合し、外観や地形の異なる現実的なアバターをサンプリングする。 さらに,3dアセット間の局所的な特徴の交換によるローカル編集も可能とした。 アバターの作成と編集の手法を検証するため,CustomHumansと呼ばれる高品質なデータセットをトレーニングと評価のために提案する。 実験により,本手法は多種多様な細かなアバターを発生し,最先端の手法と比較して優れたモデルフィッティング性能が得られることを示す。 私たちのコードとデータセットはhttps://custom-humans.github.io/で利用可能です。

関連論文リスト

• NECA: Neural Customizable Human Avatar [36.69012172745299]
  モノクラービデオやスパースビュービデオから多目的な人間の表現を学習する手法であるNECAを紹介する。 我々のアプローチの中核は、補完的な双対空間で人間を表現し、幾何学、アルベド、シャドー、および外部照明の非絡み合った神経場を予測することである。
  論文  参考訳（メタデータ） (2024-03-15T14:23:06Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• UVA: Towards Unified Volumetric Avatar for View Synthesis, Pose rendering, Geometry and Texture Editing [83.0396740127043]
  テクスチャとテクスチャの両方を局所的に編集できるtextbfUnified textbfVolumetric textbfAvatar (textbfUVA) という新しいアプローチを提案する。 UVAは、各観測点をスキン運動場を用いて標準空間に変換し、別々の神経場における幾何学とテクスチャを表現する。 複数の人体アバターの実験により、UVAが新しいビュー合成と新しいポーズレンダリングを実現していることが示された。
  論文  参考訳（メタデータ） (2023-04-14T07:39:49Z)
• One-shot Implicit Animatable Avatars with Model-based Priors [31.385051428938585]
  ELICITは、1つの画像から人間固有の神経放射場を学習する新しい方法である。 ELICITは、単一のイメージしか利用できない場合、アバター生成の強力なベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-05T18:24:06Z)
• 3D Neural Sculpting (3DNS): Editing Neural Signed Distance Functions [34.39282814876276]
  本研究では,ニューラルネットワークを用いて表現された符号付き距離関数の対話的編集を行う手法を提案する。 メッシュのための3D彫刻ソフトウェアにインスパイアされた私たちは、直感的で将来彫刻家やデジタルアーティストが利用できるブラシベースのフレームワークを使用しています。
  論文  参考訳（メタデータ） (2022-09-28T10:05:16Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• Learning Compositional Radiance Fields of Dynamic Human Heads [13.272666180264485]
  従来の方法のベストを組み合わせ、高分解能と高速な結果の両方を生成する新しい合成3D表現を提案します。 異なるボリュームレンダリングを用いて、人間の頭部と上半身のフォトリアリスティックなノベルビューを計算する。 本研究は,人間の頭と上半身の新たな視線を合成する手法である。
  論文  参考訳（メタデータ） (2020-12-17T22:19:27Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。