論文の概要: TexVocab: Texture Vocabulary-conditioned Human Avatars

• arxiv url: http://arxiv.org/abs/2404.00524v1
• Date: Sun, 31 Mar 2024 01:58:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 03:10:31.658715
• Title: TexVocab: Texture Vocabulary-conditioned Human Avatars
• Title（参考訳）: TexVocab: テクスチュア語彙による人間のアバター
• Authors: Yuxiao Liu, Zhe Li, Yebin Liu, Haoqian Wang,
• Abstract要約: TexVocabは、テクスチャ語彙を構築し、ボディポーズをアニメーション用のテクスチャマップに関連付ける新しいアバター表現である。 提案手法は,RGBビデオから詳細な動的外見を持つアニマタブルなヒトアバターを作成できる。
• 参考スコア（独自算出の注目度）: 42.170169762733835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To adequately utilize the available image evidence in multi-view video-based avatar modeling, we propose TexVocab, a novel avatar representation that constructs a texture vocabulary and associates body poses with texture maps for animation. Given multi-view RGB videos, our method initially back-projects all the available images in the training videos to the posed SMPL surface, producing texture maps in the SMPL UV domain. Then we construct pairs of human poses and texture maps to establish a texture vocabulary for encoding dynamic human appearances under various poses. Unlike the commonly used joint-wise manner, we further design a body-part-wise encoding strategy to learn the structural effects of the kinematic chain. Given a driving pose, we query the pose feature hierarchically by decomposing the pose vector into several body parts and interpolating the texture features for synthesizing fine-grained human dynamics. Overall, our method is able to create animatable human avatars with detailed and dynamic appearances from RGB videos, and the experiments show that our method outperforms state-of-the-art approaches. The project page can be found at https://texvocab.github.io/.
• Abstract（参考訳）: マルチビュービデオベースアバターモデリングにおける画像証拠を適切に活用するために,テクスチャ語彙を構築し,アニメーションのためのテクスチャマップに身体のポーズを関連付ける新しいアバター表現であるTexVocabを提案する。 マルチビューRGB映像が与えられた場合,本手法はまず,トレーニングビデオの利用可能なすべての画像をSMPL面にバックプロジェクションし,SMPL UV領域のテクスチャマップを生成する。 そこで我々は,様々なポーズの下で動的人間の外観を符号化するためのテクスチャ語彙を確立するために,人間のポーズとテクスチャマップのペアを構築した。 一般的に用いられる共同方式とは異なり、キネマティックチェインの構造的効果を学習するためのボディパートエンコーディング戦略をさらに設計する。 ポーズベクトルを複数の身体部位に分解し,微粒な人間の動作を合成するためのテクスチャ特徴を補間することにより,ポーズ特徴を階層的にクエリする。 全体として,本手法はRGBビデオから細部およびダイナミックな外観を持つアニマタブルな人体アバターを作成でき,本手法が最先端の手法より優れていることを示す。 プロジェクトのページはhttps://texvocab.github.io/にある。

関連論文リスト

• Democratizing the Creation of Animatable Facial Avatars [2.1740466069378597]
  光ステージやハイエンドハードウェアを使わずに幾何学やテクスチャを得るための新しいパイプラインを提案する。 キーとなる新しいアイデアは、テンプレートアバターの幾何学と整合するように現実世界の画像を歪めることである。 提案手法は,中性表現幾何学とデライトテクスチャを得るだけでなく,アニメーションシステムにインポートされたアバターの改良にも利用することができる。
  論文  参考訳（メタデータ） (2024-01-29T20:14:40Z)
• Synthesizing Moving People with 3D Control [88.68284137105654]
  対象とする3次元運動系列の単一画像から人物をアニメーションする拡散モデルに基づくフレームワークを提案する。 まず,1つの画像が与えられた人の見えない部分を幻覚させる拡散モデルについて学習する。 第2に,3次元人間のポーズによって制御される拡散に基づくレンダリングパイプラインを開発する。
  論文  参考訳（メタデータ） (2024-01-19T18:59:11Z)
• Novel View Synthesis of Humans using Differentiable Rendering [50.57718384229912]
  我々は新しいポーズで人々の新しい視点を合成するための新しいアプローチを提案する。 我々の合成はヒトの骨格構造を表す拡散ガウス原始体を用いる。 これらのプリミティブをレンダリングすると、高次元の潜像が得られ、デコーダネットワークによってRGBイメージに変換される。
  論文  参考訳（メタデータ） (2023-03-28T10:48:33Z)
• Capturing and Animation of Body and Clothing from Monocular Video [105.87228128022804]
  メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。 メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。 本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
  論文  参考訳（メタデータ） (2022-10-04T19:34:05Z)
• Human Pose Manipulation and Novel View Synthesis using Differentiable Rendering [46.04980667824064]
  我々は新しいポーズで人々の新しい視点を合成するための新しいアプローチを提案する。 我々の合成はヒトの骨格構造を表す拡散ガウス原始体を用いる。 これらのプリミティブをレンダリングすると、高次元の潜像が得られ、デコーダネットワークによってRGBイメージに変換される。
  論文  参考訳（メタデータ） (2021-11-24T19:00:07Z)
• EgoRenderer: Rendering Human Avatars from Egocentric Camera Images [87.96474006263692]
  EgoRendererは、ウェアラブルでエゴ中心の魚眼カメラで捉えた人の全身神経アバターをレンダリングするシステムである。 このようなエゴセントリックなイメージからフルボディのアバターをレンダリングすることは、トップダウンのビューと大きな歪みのために、ユニークな課題を生んでいる。 レンダリング処理をテクスチャ合成,ポーズ構築,ニューラルイメージ変換など,いくつかのステップに分解することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2021-11-24T18:33:02Z)
• Creating and Reenacting Controllable 3D Humans with Differentiable Rendering [3.079885946230076]
  本稿では,人間アクターの外観を伝達し再現する,エンドツーエンドのニューラルレンダリングアーキテクチャを提案する。 提案手法は、人体多様体構造をモデル化するために、慎重に設計されたグラフ畳み込みネットワーク(GCN)を利用する。 合成可能レンダリングと3次元パラメトリックモデルの両方の利点を生かして,本手法は完全に制御可能である。
  論文  参考訳（メタデータ） (2021-10-22T12:40:09Z)
• Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
  本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
  論文  参考訳（メタデータ） (2021-01-11T18:53:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。