論文の概要: PeeledHuman: Robust Shape Representation for Textured 3D Human Body
Reconstruction
- arxiv url: http://arxiv.org/abs/2002.06664v2
- Date: Mon, 2 Nov 2020 10:06:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-31 18:16:45.505980
- Title: PeeledHuman: Robust Shape Representation for Textured 3D Human Body
Reconstruction
- Title(参考訳): PeeledHuman: 3次元人体再構築のためのロバストな形状表現
- Authors: Sai Sagar Jinka, Rohan Chacko, Avinash Sharma and P. J. Narayanan
- Abstract要約: PeeledHumanは、人間の体を2DのPeeled DepthとRGBマップのセットとしてエンコードする。
我々は,PelGANを3D Chamfer損失と他の2D損失を用いて訓練し,画素ごとの深度値と頂点毎のRGBフィールドを生成する。
単純な非パラメトリック解では、生成されたピールドデプス写像は3次元空間に逆投影され、完全なテクスチャ化された3次元形状が得られる。
- 参考スコア(独自算出の注目度): 7.582064461041252
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce PeeledHuman - a novel shape representation of the human body
that is robust to self-occlusions. PeeledHuman encodes the human body as a set
of Peeled Depth and RGB maps in 2D, obtained by performing ray-tracing on the
3D body model and extending each ray beyond its first intersection. This
formulation allows us to handle self-occlusions efficiently compared to other
representations. Given a monocular RGB image, we learn these Peeled maps in an
end-to-end generative adversarial fashion using our novel framework - PeelGAN.
We train PeelGAN using a 3D Chamfer loss and other 2D losses to generate
multiple depth values per-pixel and a corresponding RGB field per-vertex in a
dual-branch setup. In our simple non-parametric solution, the generated Peeled
Depth maps are back-projected to 3D space to obtain a complete textured 3D
shape. The corresponding RGB maps provide vertex-level texture details. We
compare our method with current parametric and non-parametric methods in 3D
reconstruction and find that we achieve state-of-the-art-results. We
demonstrate the effectiveness of our representation on publicly available BUFF
and MonoPerfCap datasets as well as loose clothing data collected by our
calibrated multi-Kinect setup.
- Abstract(参考訳): PeeledHumanは、自己閉塞に対して堅牢な、人間の身体の新たな形状表現である。
PeeledHumanは、人間の体を2Dのピール深度とRGBマップの集合としてエンコードし、3Dボディモデル上でレイトレーシングを行い、各光線を最初の交差点を越えて拡張することで得られる。
この定式化により、他の表現よりも効率的に自己閉塞を処理できる。
モノクルなRGB画像が与えられた場合、新しいフレームワークであるPeelGANを用いて、これらのPeeledマップをエンドツーエンドの逆方向で学習する。
我々はPelGANを3D Chamfer損失と他の2D損失を用いて訓練し、デュアルブランチ設定で画素あたりの複数の深さ値と対応するRGBフィールドを生成する。
単純な非パラメトリックな解法では,生成したピール深度マップを3次元空間にバックプロジェクションして,完全なテクスチャ付き3次元形状を得る。
対応するRGBマップは頂点レベルのテクスチャの詳細を提供する。
本手法と現在のパラメトリック法と非パラメトリック法を比較し,最新の結果を得た。
我々は,公開可能なbuffおよびmonoperfcapデータセットと,校正されたマルチkinect設定で収集されたゆるい衣料データに対する表現の有効性を実証する。
関連論文リスト
- Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。
評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
論文 参考訳(メタデータ) (2023-04-19T08:45:26Z) - Multi-Person 3D Pose and Shape Estimation via Inverse Kinematics and
Refinement [5.655207244072081]
モノクロRGB画像からメッシュ形状の3Dポーズと形状を推定することは困難である。
そこで本研究では, 1) 閉塞・腐食3次元骨格推定による逆運動学の利点を生かした粗粒間パイプラインを提案する。
本研究では,3DPW, MuPoTS, AGORAデータセット上での最先端の手法の有効性を実証する。
論文 参考訳(メタデータ) (2022-10-24T18:29:06Z) - MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D
Segmentation [91.6658845016214]
そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。
複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。
その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
論文 参考訳(メタデータ) (2022-08-18T00:48:15Z) - SHARP: Shape-Aware Reconstruction of People in Loose Clothing [6.469298908778292]
SHARP(Shape Aware Reconstruction of People in loose clothes)は、エンド・ツー・エンドのトレーニング可能な新しいネットワークである。
モノクロ画像から、ゆるい服を着た人間の3D形状と外観を復元する。
従来の最先端手法よりも質的かつ定量的な性能を示す。
論文 参考訳(メタデータ) (2022-05-24T10:26:42Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2022-03-29T17:59:15Z) - Tracking People with 3D Representations [78.97070307547283]
ビデオ中の複数の人物を追跡する新しい手法を提案する。
従来の2次元表現を用いたアプローチとは違って,3次元空間における人物の3次元表現を用いる。
これらの環境下での3次元表現は2次元表現よりも効果的であることがわかった。
論文 参考訳(メタデータ) (2021-11-15T16:15:21Z) - SHARP: Shape-Aware Reconstruction of People In Loose Clothing [6.796748304066826]
単眼画像からの3D人体再構築は、コンピュータビジョンにおける興味深い問題であり、不適切な問題である。
本研究では,モノクロ画像から,ゆるい服装の3D人物の詳細な形状と外観を正確に復元する,エンドツーエンドのトレーニング可能なネットワークであるSHARPを提案する。
公開されているClos3DおよびTHumanデータセット上でSHARPを評価し、最先端のアプローチに優れた性能を報告した。
論文 参考訳(メタデータ) (2021-06-09T02:54:53Z) - An Effective Loss Function for Generating 3D Models from Single 2D Image
without Rendering [0.0]
微分レンダリングは、シングルビュー3Dレコンストラクションに適用できる非常に成功した技術である。
電流は、ある3d再構成対象のレンダリング画像と、与えられたマッチング視点からの接地画像との間のピクセルによる損失を利用して、3d形状のパラメータを最適化する。
再構成された3次元点群の投影が地上真理物体のシルエットをどの程度覆うかを評価する新しい効果的な損失関数を提案する。
論文 参考訳(メタデータ) (2021-03-05T00:02:18Z) - Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。
主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。
本稿では,D2S(Deep-to-scale)投影法を提案する。
論文 参考訳(メタデータ) (2020-10-27T03:31:35Z) - Monocular, One-stage, Regression of Multiple 3D People [105.3143785498094]
我々は、複数の3D人物(ROMP)のための1段階方式で全てのメッシュを回帰することを提案する。
本手法は,体温マップとメッシュマップを同時に予測し,画素レベルの3Dボディメッシュを共同で記述する。
最先端の手法と比較して、ROMPは挑戦的なマルチパーソンベンチマークよりも優れた性能を示した。
論文 参考訳(メタデータ) (2020-08-27T17:21:47Z) - HandVoxNet: Deep Voxel-Based Network for 3D Hand Shape and Pose
Estimation from a Single Depth Map [72.93634777578336]
弱教師付き方式で3次元畳み込みを訓練した新しいアーキテクチャを提案する。
提案されたアプローチは、SynHand5Mデータセット上で、アートの状態を47.8%改善する。
我々の手法は、NYUとBigHand2.2Mデータセットで視覚的により合理的で現実的な手形を生成する。
論文 参考訳(メタデータ) (2020-04-03T14:27:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。