論文の概要: IntegratedPIFu: Integrated Pixel Aligned Implicit Function for Single-view Human Reconstruction
- arxiv url: http://arxiv.org/abs/2211.07955v3
- Date: Mon, 11 Nov 2024 13:32:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:05:48.616382
- Title: IntegratedPIFu: Integrated Pixel Aligned Implicit Function for Single-view Human Reconstruction
- Title(参考訳): 統合PIFu : シングルビュー人体再構成のための統合Pixelアライメントインシシシト機能
- Authors: Kennard Yanting Chan, Guosheng Lin, Haiyu Zhao, Weisi Lin,
- Abstract要約: 統合PIFuは、ピクセルアラインの暗黙的モデルにおいて、深度と人間のパース情報をどのように予測し、大文字化するかを示す。
深度指向サンプリング(deep oriented sample)は、ノイズのない人工物なしで重要な人間の特徴を再構築する暗黙のモデル能力を改善する新しいトレーニング手法である。
- 参考スコア(独自算出の注目度): 91.68546294590674
- License:
- Abstract: We propose IntegratedPIFu, a new pixel aligned implicit model that builds on the foundation set by PIFuHD. IntegratedPIFu shows how depth and human parsing information can be predicted and capitalised upon in a pixel-aligned implicit model. In addition, IntegratedPIFu introduces depth oriented sampling, a novel training scheme that improve any pixel aligned implicit model ability to reconstruct important human features without noisy artefacts. Lastly, IntegratedPIFu presents a new architecture that, despite using less model parameters than PIFuHD, is able to improves the structural correctness of reconstructed meshes. Our results show that IntegratedPIFu significantly outperforms existing state of the arts methods on single view human reconstruction. Our code has been made available online.
- Abstract(参考訳): 本稿では,PIFuHDが設定した基盤上に構築した新たな画素アライメント型暗黙モデルであるIntegratedPIFuを提案する。
統合PIFuは、ピクセルアラインの暗黙的モデルにおいて、深度と人間のパース情報をどのように予測し、大文字化するかを示す。
さらに、IntegratedPIFuは、ノイズのない人工物なしで重要な人間の特徴を再構築する暗黙的モデル能力を改善する新しいトレーニングスキームである、深度指向サンプリングを導入している。
最後に、IntegratedPIFuは、PIFuHDよりもモデルパラメータが少ないにもかかわらず、再構成メッシュの構造的正しさを改善することができる新しいアーキテクチャを提供する。
以上の結果から, 統合PIFuは, 単一視点のヒト再建において, 既存の最先端手法よりも優れていたことが示唆された。
私たちのコードはオンラインで利用可能になりました。
関連論文リスト
- Fine Structure-Aware Sampling: A New Sampling Training Scheme for Pixel-Aligned Implicit Models in Single-View Human Reconstruction [98.30014795224432]
本研究では,単一視点の人物再構成のための暗黙的画素アライメントモデルをトレーニングするために,FSS(Final Structured-Aware Sampling)を導入する。
FSSは表面の厚さと複雑さに積極的に適応する。
また、画素アライメント型暗黙的モデルのためのメッシュ厚み損失信号を提案する。
論文 参考訳(メタデータ) (2024-02-29T14:26:46Z) - Human as Points: Explicit Point-based 3D Human Reconstruction from
Single-view RGB Images [78.56114271538061]
我々はHaPと呼ばれる明示的なポイントベース人間再構築フレームワークを導入する。
提案手法は,3次元幾何学空間における完全明示的な点雲推定,操作,生成,洗練が特徴である。
我々の結果は、完全に明示的で幾何学中心のアルゴリズム設計へのパラダイムのロールバックを示すかもしれない。
論文 参考訳(メタデータ) (2023-11-06T05:52:29Z) - Improving Pixel-based MIM by Reducing Wasted Modeling Capability [77.99468514275185]
浅い層から低レベルの特徴を明示的に利用して画素再構成を支援する手法を提案する。
私たちの知る限りでは、等方的アーキテクチャのためのマルチレベル特徴融合を体系的に研究するのは、私たちは初めてです。
提案手法は, 微調整では1.2%, 線形探索では2.8%, セマンティックセグメンテーションでは2.6%など, 大幅な性能向上をもたらす。
論文 参考訳(メタデータ) (2023-08-01T03:44:56Z) - PIFu for the Real World: A Self-supervised Framework to Reconstruct
Dressed Human from Single-view Images [24.124994090371647]
そこで本研究では,多種多様なアプリ内画像を活用するために,セルフPIFuというエンドツーエンドのセルフ教師ネットワークを提案する。
In-theld imageでは、再構成された結果についてユーザスタディを行い、その結果の選択率は、他の最先端の方法と比較して68%以上である。
論文 参考訳(メタデータ) (2022-08-23T07:00:44Z) - VPFusion: Joint 3D Volume and Pixel-Aligned Feature Fusion for Single
and Multi-view 3D Reconstruction [23.21446438011893]
VPFusionは、3D特徴量の両方を使って高品質な再構築を実現し、3D構造対応コンテキストをキャプチャする。
既存のアプローチでは、RNN、フィーチャープーリング、および多視点融合のために各ビューで独立に計算された注意を使用する。
変換器を用いたペアワイズ・ビュー・アソシエーションの確立により,マルチビュー・フィーチャー・フュージョンが改善された。
論文 参考訳(メタデータ) (2022-03-14T23:30:58Z) - HDhuman: High-quality Human Novel-view Rendering from Sparse Views [15.810495442598963]
本稿では,人間の再構成ネットワークと画素整合型空間変換器,および幾何学誘導型画素機能統合を用いたレンダリングネットワークを提案する。
提案手法は, 合成データと実世界のデータの両方において, 従来の一般的な手法や特定の手法よりも優れている。
論文 参考訳(メタデータ) (2022-01-20T13:04:59Z) - PaMIR: Parametric Model-Conditioned Implicit Representation for
Image-based Human Reconstruction [67.08350202974434]
本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。
本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
論文 参考訳(メタデータ) (2020-07-08T02:26:19Z) - Monocular Human Pose and Shape Reconstruction using Part Differentiable
Rendering [53.16864661460889]
近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。
本稿では,ボディセグメンテーションを重要な監視対象として紹介する。
部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
論文 参考訳(メタデータ) (2020-03-24T14:25:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。