論文の概要: HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos

• arxiv url: http://arxiv.org/abs/2405.11270v1
• Date: Sat, 18 May 2024 11:49:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 18:38:17.586730
• Title: HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos
• Title（参考訳）: HR人間:ビデオからの三角形メッシュと高分解能テクスチャを用いた人間のアバターモデリング
• Authors: Qifeng Chen, Rengan Xie, Kai Huang, Qi Wang, Wenting Zheng, Rong Li, Yuchi Huo,
• Abstract要約: 本研究では,モノクロ映像から高精細な物理材料テクスチャとメッシュを付加したアバターの取得のための枠組みを提案する。 本手法では,モノクロ映像からの情報を組み合わせて仮想多視点画像の合成を行う新しい情報融合方式を提案する。 実験により, 提案手法は, 高忠実度で従来の表現よりも優れており, この明示的な結果は共通三角形への展開をサポートすることが示された。
• 参考スコア（独自算出の注目度）: 52.23323966700072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, implicit neural representation has been widely used to generate animatable human avatars. However, the materials and geometry of those representations are coupled in the neural network and hard to edit, which hinders their application in traditional graphics engines. We present a framework for acquiring human avatars that are attached with high-resolution physically-based material textures and triangular mesh from monocular video. Our method introduces a novel information fusion strategy to combine the information from the monocular video and synthesize virtual multi-view images to tackle the sparsity of the input view. We reconstruct humans as deformable neural implicit surfaces and extract triangle mesh in a well-behaved pose as the initial mesh of the next stage. In addition, we introduce an approach to correct the bias for the boundary and size of the coarse mesh extracted. Finally, we adapt prior knowledge of the latent diffusion model at super-resolution in multi-view to distill the decomposed texture. Experiments show that our approach outperforms previous representations in terms of high fidelity, and this explicit result supports deployment on common renderers.
• Abstract（参考訳）: 近年、暗黙の神経表現は、アニマタブルなヒトアバターを生成するために広く用いられている。 しかし、これらの表現の材料と幾何学はニューラルネットワークに結合されており、編集が難しいため、従来のグラフィックスエンジンでの応用を妨げている。 本研究では,モノクロビデオから高分解能な物理材料テクスチャと三角形メッシュを付加したアバターの取得のための枠組みを提案する。 本手法では,モノクロ映像からの情報を合成し,仮想多視点画像を合成し,入力ビューの空間性に対処する新たな情報融合戦略を提案する。 我々は、変形可能なニューラルな暗黙の表面として人間を再構築し、次の段階の初期メッシュとして、よく知られたポーズで三角形のメッシュを抽出する。 さらに,粗いメッシュを抽出した境界と大きさのバイアスを補正する手法を提案する。 最後に, 分解したテクスチャを蒸留するために, 超高分解能での潜伏拡散モデルの事前知識を多視点で適用する。 実験の結果,提案手法は従来の表現よりも忠実度が高く,この明示的な結果が一般的なレンダラーへの展開をサポートすることがわかった。

関連論文リスト

• MeshAvatar: Learning High-quality Triangular Human Avatars from Multi-view Videos [41.45299653187577]
  多視点ビデオから高品質な三角アバターを学習するための新しいパイプラインを提案する。 本手法は暗黙のSDFフィールドから抽出した三角メッシュでアバターを表現する。 我々は、幾何学とテクスチャを正確に分解するために物理ベースのレンダリングを取り入れた。
  論文  参考訳（メタデータ） (2024-07-11T11:37:51Z)
• Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks [53.67497327319569]
  画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。 提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。 本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
  論文  参考訳（メタデータ） (2023-12-24T08:42:37Z)
• Generalizable One-shot Neural Head Avatar [90.50492165284724]
  本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。 本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T22:33:09Z)
• Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
  従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。 本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。 我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
  論文  参考訳（メタデータ） (2022-09-18T03:58:00Z)
• Neural Capture of Animatable 3D Human from Monocular Video [38.974181971541846]
  本稿では,モノクラービデオ入力からアニマタブルな3次元人間の表現を構築するための新しいパラダイムを提案する。 本手法は,メッシュをベースとしたパラメトリックな3次元人体モデルを用いた動的ニューラルレージアンス場(NeRF)に基づく。
  論文  参考訳（メタデータ） (2022-08-18T09:20:48Z)
• Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
  カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。 我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。 我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:42:31Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• MetaAvatar: Learning Animatable Clothed Human Models from Few Depth Images [60.56518548286836]
  新規な入力ポーズから現実的な布の変形を生成するには、通常、水密メッシュや高密度フルボディスキャンが入力として必要とされる。 本研究では, 単眼深度画像のみを考慮し, 制御可能なニューラルSDFとして表現された, リアルな衣服付きアバターを迅速に生成する手法を提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:30:12Z)
• PVA: Pixel-aligned Volumetric Avatars [34.929560973779466]
  少数の入力から人間の頭部の体積アバターを予測するための新しいアプローチを考案する。 提案手法は,光度再レンダリングによる損失のみを前提としたエンドツーエンドで,明示的な3次元監視を必要とせずに訓練を行う。
  論文  参考訳（メタデータ） (2021-01-07T18:58:46Z)
• Detailed 3D Human Body Reconstruction from Multi-view Images Combining Voxel Super-Resolution and Learned Implicit Representation [12.459968574683625]
  多視点画像から詳細な3次元人体を再構築する粗い方法を提案する。 粗い3Dモデルは、マルチスケールな特徴に基づいて暗黙表現を学習することによって推定される。 洗練された3D人体モデルは、詳細を保存できるボクセル超解像によって製造することができる。
  論文  参考訳（メタデータ） (2020-12-11T08:07:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。