論文の概要: SeSDF: Self-evolved Signed Distance Field for Implicit 3D Clothed Human Reconstruction

• arxiv url: http://arxiv.org/abs/2304.00359v1
• Date: Sat, 1 Apr 2023 16:58:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 18:35:24.045126
• Title: SeSDF: Self-evolved Signed Distance Field for Implicit 3D Clothed Human Reconstruction
• Title（参考訳）: SeSDF: インシシトな3次元衣服の復元のための自己進化型手指距離場
• Authors: Yukang Cao, Kai Han, Kwan-Yee K. Wong
• Abstract要約: 我々は,1枚の画像や未校正された多視点画像から,人間の衣服を復元する問題に対処する。 本稿では,パラメトリックSMPL-Xモデルを利用して任意の数の入力画像を用いて,非校正条件下での衣服モデル再構築を行うフレキシブルなフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 23.89884587074109
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the problem of clothed human reconstruction from a single image or uncalibrated multi-view images. Existing methods struggle with reconstructing detailed geometry of a clothed human and often require a calibrated setting for multi-view reconstruction. We propose a flexible framework which, by leveraging the parametric SMPL-X model, can take an arbitrary number of input images to reconstruct a clothed human model under an uncalibrated setting. At the core of our framework is our novel self-evolved signed distance field (SeSDF) module which allows the framework to learn to deform the signed distance field (SDF) derived from the fitted SMPL-X model, such that detailed geometry reflecting the actual clothed human can be encoded for better reconstruction. Besides, we propose a simple method for self-calibration of multi-view images via the fitted SMPL-X parameters. This lifts the requirement of tedious manual calibration and largely increases the flexibility of our method. Further, we introduce an effective occlusion-aware feature fusion strategy to account for the most useful features to reconstruct the human model. We thoroughly evaluate our framework on public benchmarks, demonstrating significant superiority over the state-of-the-arts both qualitatively and quantitatively.
• Abstract（参考訳）: 本稿では,1枚の画像や未編集のマルチビュー画像からヒトの衣服を復元する問題に対処する。 既存の手法では、人間の詳細な形状を復元するのに苦労し、しばしば多面的再構成のための校正を必要とする。 パラメトリックsmpl-xモデルを利用することで,任意の数の入力画像を用いて,無補間設定で人間モデルを再構成できる柔軟なフレームワークを提案する。 本フレームワークのコアとなるのは, SMPL-Xモデルから得られた符号付き距離場(SDF)の変形を学習するための, 自己進化型符号付き距離場(SeSDF)モジュールである。 さらに,SMPL-Xパラメータを組み込んだ多視点画像の自己校正法を提案する。 これにより、面倒な手動キャリブレーションの要求が軽減され、我々の手法の柔軟性が大幅に向上する。 さらに,ヒトモデル再構成に最も有用な特徴を考慮し,効果的な咬合・認識機能融合戦略を提案する。 我々は,公開ベンチマークの枠組みを徹底的に評価し,定性的かつ定量的に最先端技術に対して有意な優位性を示した。

関連論文リスト

• Divide and Fuse: Body Part Mesh Recovery from Partially Visible Human Images [57.479339658504685]
  ディバイドとフューズ」戦略は、人体部分を融合する前に独立して再構築する。 Human Part Parametric Models (HPPM) は、いくつかの形状とグローバルな位置パラメータからメッシュを独立に再構築する。 特別に設計された融合モジュールは、一部しか見えない場合でも、再建された部品をシームレスに統合する。
  論文  参考訳（メタデータ） (2024-07-12T21:29:11Z)
• GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
  マルチビュー画像から3次元メッシュを再構成する手法を提案する。 提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
  論文  参考訳（メタデータ） (2024-06-09T05:19:24Z)
• Template-Free Single-View 3D Human Digitalization with Diffusion-Guided LRM [29.13412037370585]
  本稿では,拡散誘導フィードフォワードモデルであるHuman-LRMを提案する。 本手法は,例えばSMPLなどのテンプレートを使わずにヒトを捕獲し,リッチでリアルなディテールで咬合部を効果的に増強することができる。
  論文  参考訳（メタデータ） (2024-01-22T18:08:22Z)
• Spectral Graphormer: Spectral Graph-based Transformer for Egocentric Two-Hand Reconstruction using Multi-View Color Images [33.70056950818641]
  マルチビューRGB画像から2つの高忠実度ハンドを再構成するトランスフォーマーベースの新しいフレームワークを提案する。 本研究では, 実データへの合成学習モデルの一般化を実証し, 現実的な両手再構成を実現できることを示す。
  論文  参考訳（メタデータ） (2023-08-21T20:07:02Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion [54.151979979158085]
  提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。 そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。 当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
  論文  参考訳（メタデータ） (2022-11-21T17:42:42Z)
• CrossHuman: Learning Cross-Guidance from Multi-Frame Images for Human Reconstruction [6.450579406495884]
  CrossHumanは、パラメトリック人間モデルとマルチフレームRGB画像からクロスガイダンスを学ぶ新しい方法である。 トラッカーベース手法とトラッカーフリー手法を組み合わせた再構成パイプラインを設計する。 これまでの研究と比較すると、CrossHumanは目に見える領域と見えない領域の両方で、高忠実度な幾何学的詳細とテクスチャを可能にする。
  論文  参考訳（メタデータ） (2022-07-20T08:25:20Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)
• SparseFusion: Dynamic Human Avatar Modeling from Sparse RGBD Images [49.52782544649703]
  本稿では,RGBDフレームのスパース集合に基づく3次元人体形状の再構築手法を提案する。 主な課題は、これらのスパースフレームを標準的な3Dモデルにしっかりと融合させる方法だ。 私たちのフレームワークは柔軟で、潜在的なアプリケーションは形状の再構築を超えています。
  論文  参考訳（メタデータ） (2020-06-05T18:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。