論文の概要: VoteHMR: Occlusion-Aware Voting Network for Robust 3D Human Mesh
Recovery from Partial Point Clouds
- arxiv url: http://arxiv.org/abs/2110.08729v1
- Date: Sun, 17 Oct 2021 05:42:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 14:04:58.908748
- Title: VoteHMR: Occlusion-Aware Voting Network for Robust 3D Human Mesh
Recovery from Partial Point Clouds
- Title(参考訳): VoteHMR:部分点雲からのロバストな3次元メッシュ復元のためのオクルージョン対応投票ネットワーク
- Authors: Guanze Liu, Yu Rong, Lu Sheng
- Abstract要約: 単フレーム部分点雲から信頼性の高い3次元形状を復元する最初の試みを行う。
本稿では,VoteHMRというエンドツーエンドの学習方法を提案する。
提案手法は,2つの大規模データセット上での最先端性能を実現する。
- 参考スコア(独自算出の注目度): 32.72878775887121
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: 3D human mesh recovery from point clouds is essential for various tasks,
including AR/VR and human behavior understanding. Previous works in this field
either require high-quality 3D human scans or sequential point clouds, which
cannot be easily applied to low-quality 3D scans captured by consumer-level
depth sensors. In this paper, we make the first attempt to reconstruct reliable
3D human shapes from single-frame partial point clouds.To achieve this, we
propose an end-to-end learnable method, named VoteHMR. The core of VoteHMR is a
novel occlusion-aware voting network that can first reliably produce visible
joint-level features from the input partial point clouds, and then complete the
joint-level features through the kinematic tree of the human skeleton. Compared
with holistic features used by previous works, the joint-level features can not
only effectively encode the human geometry information but also be robust to
noisy inputs with self-occlusions and missing areas. By exploiting the rich
complementary clues from the joint-level features and global features from the
input point clouds, the proposed method encourages reliable and disentangled
parameter predictions for statistical 3D human models, such as SMPL. The
proposed method achieves state-of-the-art performances on two large-scale
datasets, namely SURREAL and DFAUST. Furthermore, VoteHMR also demonstrates
superior generalization ability on real-world datasets, such as Berkeley MHAD.
- Abstract(参考訳): ポイントクラウドからの3Dヒューマンメッシュのリカバリは、AR/VRや人間の行動理解など、さまざまなタスクに不可欠である。
この分野でのこれまでの作業では、高品質な3Dスキャンやシーケンシャルな点雲が必要であり、消費者レベルの深度センサーが捉えた低品質の3Dスキャンには簡単に適用できない。
本稿では,単一フレーム部分点雲から信頼性の高い3次元形状を復元する最初の試みを行い,VoteHMRというエンドツーエンドの学習方法を提案する。
VoteHMRのコアは、新しいオクルージョン対応投票ネットワークで、入力された部分点雲から可視的な関節レベルの特徴を確実に生成し、人間の骨格の運動木を通して関節レベルの特徴を完成させる。
従来の作品と比べ、関節レベルの特徴は人間の幾何学的情報を効果的にエンコードするだけでなく、自己閉塞と欠落した領域を持つノイズの多い入力にも頑丈である。
入力点雲からの連立レベルの特徴と大域的特徴の豊富な補完的手がかりを利用することで,SMPLなどの統計的3次元人体モデルに対する信頼度と不整合パラメータ予測が促進される。
提案手法は,SURREALとDFAUSTという2つの大規模データセット上での最先端性能を実現する。
さらに、VoteHMRは、バークレーMHADのような実世界のデータセットに優れた一般化能力を示す。
関連論文リスト
- PointDifformer: Robust Point Cloud Registration With Neural Diffusion and Transformer [31.02661827570958]
ポイントクラウド登録は、3Dコンピュータビジョンにおける基本的な技術であり、グラフィック、自律運転、ロボット工学の応用がある。
本稿では,グラフニューラル偏微分方程式(PDE)と熱カーネルシグネチャを利用するロバストポイントクラウド登録手法を提案する。
3Dポイントクラウドデータセットの実証実験により、我々のアプローチは、ポイントクラウド登録のための最先端のパフォーマンスを達成するだけでなく、付加的なノイズや3D形状の摂動に対してより堅牢性を示すことを示した。
論文 参考訳(メタデータ) (2024-04-22T09:50:12Z) - Sampling is Matter: Point-guided 3D Human Mesh Reconstruction [0.0]
本稿では,1枚のRGB画像から3次元メッシュ再構成を行うための簡易かつ強力な手法を提案する。
評価実験の結果,提案手法は3次元メッシュ再構成の性能を効率よく向上することが示された。
論文 参考訳(メタデータ) (2023-04-19T08:45:26Z) - Variational Relational Point Completion Network for Robust 3D
Classification [59.80993960827833]
可変点雲補完法は、局所的な詳細を欠くため、大域的な形状の骨格を生成する傾向がある。
本稿では2つの魅力的な特性を持つ変分フレームワークであるポイントコンプリートネットワーク(VRCNet)を提案する。
VRCNetは、現実世界のポイントクラウドスキャンにおいて、非常に一般化性と堅牢性を示している。
論文 参考訳(メタデータ) (2023-04-18T17:03:20Z) - Blind Quality Assessment of 3D Dense Point Clouds with Structure Guided
Resampling [71.68672977990403]
本研究では,3次元高密度点雲の知覚的視覚的品質を自動評価するために,Structure Guided Resampling (SGR) を用いた客観的点雲品質指標を提案する。
提案するSGRは,参照情報の不要な汎用ブラインド品質評価手法である。
論文 参考訳(メタデータ) (2022-08-31T02:42:55Z) - AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。
我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
論文 参考訳(メタデータ) (2022-08-24T16:54:38Z) - Neural Capture of Animatable 3D Human from Monocular Video [38.974181971541846]
本稿では,モノクラービデオ入力からアニマタブルな3次元人間の表現を構築するための新しいパラダイムを提案する。
本手法は,メッシュをベースとしたパラメトリックな3次元人体モデルを用いた動的ニューラルレージアンス場(NeRF)に基づく。
論文 参考訳(メタデータ) (2022-08-18T09:20:48Z) - Higher-Order Implicit Fairing Networks for 3D Human Pose Estimation [1.1501261942096426]
2次元から3次元のポーズ推定のための初期残差接続を持つ高階グラフ畳み込みフレームワークを提案する。
我々のモデルは、体節間の長距離依存関係を捉えることができる。
2つの標準ベンチマークで行った実験と改善研究は、我々のモデルの有効性を実証した。
論文 参考訳(メタデータ) (2021-11-01T13:48:55Z) - PC-RGNN: Point Cloud Completion and Graph Neural Network for 3D Object
Detection [57.49788100647103]
LiDARベースの3Dオブジェクト検出は、自動運転にとって重要なタスクです。
現在のアプローチでは、遠方および閉ざされた物体の偏りと部分的な点雲に苦しむ。
本稿では,この課題を2つの解決法で解決する新しい二段階アプローチ,pc-rgnnを提案する。
論文 参考訳(メタデータ) (2020-12-18T18:06:43Z) - A Nearest Neighbor Network to Extract Digital Terrain Models from 3D
Point Clouds [1.6249267147413524]
本稿では,3Dポイントのクラウド上で動作し,エンド・ツー・エンドのアプローチを用いてシーンの基盤となるDTMを推定するアルゴリズムを提案する。
我々のモデルは近隣情報を学習し、これをポイントワイドでブロックワイドなグローバルな特徴とシームレスに統合する。
論文 参考訳(メタデータ) (2020-05-21T15:54:55Z) - HEMlets PoSh: Learning Part-Centric Heatmap Triplets for 3D Human Pose
and Shape Estimation [60.35776484235304]
本研究は, 中間状態部分熱マップトリプレット(HEMlets)を導入し, 検出された2次元関節を三次元空間に持ち上げる不確実性に対処しようとするものである。
HEMletsは3つのジョイントヒートマップを使用して、各骨格体部に対するエンドジョイントの相対的な深さ情報を表す。
Convolutional Network (ConvNet) は、入力画像からHEMletを予測し、次にボリュームのジョイント・ヒートマップレグレッションを学習する。
論文 参考訳(メタデータ) (2020-03-10T04:03:45Z) - D3Feat: Joint Learning of Dense Detection and Description of 3D Local
Features [51.04841465193678]
私たちは3Dポイントクラウドに3D完全畳み込みネットワークを活用しています。
本稿では,3次元点ごとに検出スコアと記述特徴の両方を密に予測する,新しい,実践的な学習機構を提案する。
本手法は,屋内と屋外の両方のシナリオで最先端の手法を実現する。
論文 参考訳(メタデータ) (2020-03-06T12:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。