論文の概要: Pixel2ISDF: Implicit Signed Distance Fields based Human Body Model from Multi-view and Multi-pose Images

• arxiv url: http://arxiv.org/abs/2212.02765v1
• Date: Tue, 6 Dec 2022 05:30:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 16:51:00.436761
• Title: Pixel2ISDF: Implicit Signed Distance Fields based Human Body Model from Multi-view and Multi-pose Images
• Title（参考訳）: Pixel2ISDF:多視点・多目的画像からの人体モデルに基づく暗証信号場
• Authors: Jianchuan Chen, Wentao Yi, Tiantian Wang, Xing Li, Liqian Ma, Yangyu Fan, Huchuan Lu
• Abstract要約: 我々は,複数の視点と人間のポーズを入力として,標準空間における衣服付き人間の再構築に焦点をあてる。 複数の入力画像を活用することで、ポーズメッシュ上の潜時符号を学習し、その後、標準空間内のメッシュに潜時符号を割り当てる。 本研究は,WCPA MVP-Human Body Challengeにおいて,人体形状を復元する作業を行い,第3の成果を得た。
• 参考スコア（独自算出の注目度）: 67.45882013828256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this report, we focus on reconstructing clothed humans in the canonical space given multiple views and poses of a human as the input. To achieve this, we utilize the geometric prior of the SMPLX model in the canonical space to learn the implicit representation for geometry reconstruction. Based on the observation that the topology between the posed mesh and the mesh in the canonical space are consistent, we propose to learn latent codes on the posed mesh by leveraging multiple input images and then assign the latent codes to the mesh in the canonical space. Specifically, we first leverage normal and geometry networks to extract the feature vector for each vertex on the SMPLX mesh. Normal maps are adopted for better generalization to unseen images compared to 2D images. Then, features for each vertex on the posed mesh from multiple images are integrated by MLPs. The integrated features acting as the latent code are anchored to the SMPLX mesh in the canonical space. Finally, latent code for each 3D point is extracted and utilized to calculate the SDF. Our work for reconstructing the human shape on canonical pose achieves 3rd performance on WCPA MVP-Human Body Challenge.
• Abstract（参考訳）: 本報告では,複数の視点と人間のポーズを入力として,標準空間における衣服の復元に焦点をあてる。 これを実現するために,正準空間におけるsmplxモデルの幾何学的前置法を用いて,幾何学再構成のための暗黙表現を学習する。 そこで,本研究では,メッシュとメッシュ間のトポロジーが整合しているという観測に基づいて,複数の入力画像を用いて,メッシュ上の潜在コードを学習し,その潜在コードを正準空間のメッシュに割り当てる手法を提案する。 具体的には,SMPLXメッシュ上の各頂点の特徴ベクトルを抽出するために,まず正規および幾何学的ネットワークを利用する。 通常の地図は2次元画像と比較して見えない画像をより一般化するために採用されている。 次に、複数の画像からポーズメッシュ上の各頂点の特徴をMLPで統合する。 潜在コードとして機能する統合機能は、標準空間のSMPLXメッシュに固定される。 最後に、各3D点の潜時コードを抽出し、SDFを計算する。 本研究は,WCPA MVP-Human Body Challengeにおいて,人体形状を復元する作業を行い,第3の成果を得た。

関連論文リスト

• Large Spatial Model: End-to-end Unposed Images to Semantic 3D [79.94479633598102]
  大空間モデル(LSM)は、RGB画像を直接意味的放射場に処理する。 LSMは、単一のフィードフォワード操作における幾何学、外観、意味を同時に推定する。 新しい視点で言語と対話することで、多目的ラベルマップを生成することができる。
  論文  参考訳（メタデータ） (2024-10-24T17:54:42Z)
• CanonicalFusion: Generating Drivable 3D Human Avatars from Multiple Images [17.10258463020844]
  カノニカルフュージョン(CanonicalFusion)と呼ばれる複数の画像からアニマタブルなヒトアバターを再構成するための新しい枠組みを提案する。 まず,LBS(Linear Blend Skinning)重みマップと深度マップを共有エンコーダ・デュアルデコーダネットワークを用いて予測し,予測深度マップから3次元メッシュの直接正準化を可能にする。 また,複数画像から再構成した結果をマージするために,前方スキンベースの異なるレンダリング方式を導入する。
  論文  参考訳（メタデータ） (2024-07-05T08:36:26Z)
• HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos [52.23323966700072]
  本研究では,モノクロ映像から高精細な物理材料テクスチャとメッシュを付加したアバターの取得のための枠組みを提案する。 本手法では,モノクロ映像からの情報を組み合わせて仮想多視点画像の合成を行う新しい情報融合方式を提案する。 実験により, 提案手法は, 高忠実度で従来の表現よりも優れており, この明示的な結果は共通三角形への展開をサポートすることが示された。
  論文  参考訳（メタデータ） (2024-05-18T11:49:09Z)
• GALA: Generating Animatable Layered Assets from a Single Scan [20.310367593475508]
  GALAは, 単層布3次元メッシュを入力として, 完全な多層3次元アセットに分解するフレームワークである。 出力は、他の資産と組み合わせて、新しい人間のアバターを作ることができる。
  論文  参考訳（メタデータ） (2024-01-23T18:59:59Z)
• Weakly-Supervised 3D Reconstruction of Clothed Humans via Normal Maps [1.6462601662291156]
  そこで本研究では,2次元正規地図を用いた布地人の3次元再構築のための新しい深層学習手法を提案する。 一つのRGB画像またはマルチビュー画像から、我々のネットワークは、静止ポーズで体を囲む四面体メッシュ上で識別された符号付き距離関数(SDF)を推定する。 ネットワーク推論と3次元再構成の両方に対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-11-27T18:06:35Z)
• Neural Capture of Animatable 3D Human from Monocular Video [38.974181971541846]
  本稿では,モノクラービデオ入力からアニマタブルな3次元人間の表現を構築するための新しいパラダイムを提案する。 本手法は,メッシュをベースとしたパラメトリックな3次元人体モデルを用いた動的ニューラルレージアンス場(NeRF)に基づく。
  論文  参考訳（メタデータ） (2022-08-18T09:20:48Z)
• Facial Depth and Normal Estimation using Single Dual-Pixel Camera [81.02680586859105]
  DP指向のDepth/Normalネットワークを導入し,3次元顔形状を再構成する。 これは、メートル法スケールでの深度マップと表面正規を含む、対応する地上3次元モデルを含んでいる。 近年のDPベース深度/正規推定法で最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-11-25T05:59:27Z)
• SofGAN: A Portrait Image Generator with Dynamic Styling [47.10046693844792]
  画像生成にはGAN(Generative Adversarial Networks)が広く利用されている。 本稿では2つの部分空間に分割するSofGAN画像生成器を提案する。 本システムは,独立に制御可能な形状とテクスチャ特性を持つ高品質なポートレート画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-07-07T20:28:47Z)
• Geo-PIFu: Geometry and Pixel Aligned Implicit Functions for Single-view Human Reconstruction [97.3274868990133]
  Geo-PIFuは、着物の単色画像から3Dメッシュを復元する方法である。 提案手法は,クエリポイントの符号化と潜在ボクセル特徴を用いたグローバルな形状の制約を両立させることで,人間のメッシュの形状歪みの低減と,競合する手法と比較して表面の細部の改善を図っている。
  論文  参考訳（メタデータ） (2020-06-15T01:11:48Z)
• 3D Human Mesh Regression with Dense Correspondence [95.92326689172877]
  単一の2D画像から人体の3Dメッシュを推定することは、拡張現実や人間とロボットのインタラクションといった多くのアプリケーションにおいて重要なタスクである。 前者は畳み込みニューラルネットワーク(CNN)を用いて抽出した大域的画像特徴から3Dメッシュを再構成した。 本稿では,メッシュとUV空間の局所像特徴との密接な対応性を明確に確立する,DecoMRというモデルフリーな3次元メッシュ推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-10T08:50:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。