論文の概要: Neural Localizer Fields for Continuous 3D Human Pose and Shape Estimation

• arxiv url: http://arxiv.org/abs/2407.07532v1
• Date: Wed, 10 Jul 2024 10:44:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 17:01:49.106347
• Title: Neural Localizer Fields for Continuous 3D Human Pose and Shape Estimation
• Title（参考訳）: 連続した3次元人間の姿勢と形状推定のためのニューラルローカライザ場
• Authors: István Sárándi, Gerard Pons-Moll,
• Abstract要約: 本研究では、異なる人間のポーズや形状に関連したタスクやデータセットをシームレスに統一するパラダイムを提案する。 私たちの定式化は、トレーニングとテスト時間の両方で、人間の体積の任意の点を問う能力に重点を置いています。 メッシュや2D/3Dスケルトン,密度の高いポーズなど,さまざまな注釈付きデータソースを,変換することなく自然に利用することが可能です。
• 参考スコア（独自算出の注目度）: 32.30055363306321
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the explosive growth of available training data, single-image 3D human modeling is ahead of a transition to a data-centric paradigm. A key to successfully exploiting data scale is to design flexible models that can be supervised from various heterogeneous data sources produced by different researchers or vendors. To this end, we propose a simple yet powerful paradigm for seamlessly unifying different human pose and shape-related tasks and datasets. Our formulation is centered on the ability - both at training and test time - to query any arbitrary point of the human volume, and obtain its estimated location in 3D. We achieve this by learning a continuous neural field of body point localizer functions, each of which is a differently parameterized 3D heatmap-based convolutional point localizer (detector). For generating parametric output, we propose an efficient post-processing step for fitting SMPL-family body models to nonparametric joint and vertex predictions. With this approach, we can naturally exploit differently annotated data sources including mesh, 2D/3D skeleton and dense pose, without having to convert between them, and thereby train large-scale 3D human mesh and skeleton estimation models that outperform the state-of-the-art on several public benchmarks including 3DPW, EMDB and SSP-3D by a considerable margin.
• Abstract（参考訳）: 利用可能なトレーニングデータの爆発的な増加により、シングルイメージの3Dモデリングは、データ中心のパラダイムへの移行に先んじている。 データスケールをうまく活用するための鍵は、異なる研究者やベンダーによって生成される様々な異種データソースから教師できる柔軟なモデルを設計することである。 この目的のために、異なる人間のポーズや形状に関連したタスクやデータセットをシームレスに統一する、シンプルながら強力なパラダイムを提案する。 私たちの定式化は、トレーニングとテスト時間の両方において、人間の体積の任意の点を問合せ、その推定位置を3Dで取得する能力に重点を置いています。 そこで本研究では,3次元熱マップに基づく畳み込み点ローカライザ(detector)をパラメータ化して,身体点ローカライザ関数の連続神経場を学習する。 パラメトリック出力を生成するために,非パラメトリックジョイントおよび頂点予測にSMPLファミリーモデルを適用するための効率的な後処理ステップを提案する。 このアプローチでは,メッシュや2D/3Dスケルトン,密度の高いポーズなど,さまざまな注釈付きデータソースを相互変換することなく,自然に活用することができる。

関連論文リスト

• Champ: Controllable and Consistent Human Image Animation with 3D Parametric Guidance [25.346255905155424]
  本稿では,潜伏拡散フレームワーク内での3次元人間のパラメトリックモデルを活用することで,人間の画像アニメーションの方法論を提案する。 人間の3次元パラメトリックモデルを動作誘導として表現することにより、基準画像と音源映像の動きの間に人体のパラメトリック形状アライメントを行うことができる。 提案手法は,提案した組込みデータセットに対して,より優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-03-21T18:52:58Z)
• 3D Human Reconstruction in the Wild with Synthetic Data Using Generative Models [52.96248836582542]
  本稿では,人間の画像とそれに対応する3Dメッシュアノテーションをシームレスに生成できるHumanWildという,最近の拡散モデルに基づく効果的なアプローチを提案する。 生成モデルを排他的に活用することにより,大規模な人体画像と高品質なアノテーションを生成し,実世界のデータ収集の必要性を解消する。
  論文  参考訳（メタデータ） (2024-03-17T06:31:16Z)
• 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
  3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。 拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。 さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-07T23:46:41Z)
• Learning 3D Human Pose Estimation from Dozens of Datasets using a Geometry-Aware Autoencoder to Bridge Between Skeleton Formats [80.12253291709673]
  本稿では,アフィン結合型オートエンコーダ(ACAE)法を提案する。 このアプローチは、28人の人間のポーズデータセットを使って1つのモデルを監督する、極端なマルチデータセット体制にスケールします。
  論文  参考訳（メタデータ） (2022-12-29T22:22:49Z)
• Decanus to Legatus: Synthetic training for 2D-3D human pose lifting [26.108023246654646]
  10個の手作り3Dポーズ(Decanus)に基づく3Dポーズ分布から無限個の合成人間のポーズ(Legatus)を生成するアルゴリズムを提案する。 この結果から,特定データセットの実際のデータを用いた手法に匹敵する3次元ポーズ推定性能を,ゼロショット設定で実現し,フレームワークの可能性を示した。
  論文  参考訳（メタデータ） (2022-10-05T13:10:19Z)
• Learned Vertex Descent: A New Direction for 3D Human Model Fitting [64.04726230507258]
  画像やスキャンに適合する3次元人体モデルのための新しい最適化手法を提案する。 われわれのアプローチは、非常に異なる体型を持つ服を着た人々の基盤となる身体を捉えることができ、最先端技術と比べて大きな改善を達成できる。 LVDはまた、人間と手の3次元モデル適合にも適用でき、よりシンプルで高速な方法でSOTAに大きな改善が示される。
  論文  参考訳（メタデータ） (2022-05-12T17:55:51Z)
• THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers [67.8628917474705]
  THUNDRは、人の3Dポーズと形状を再構築するトランスフォーマーベースのディープニューラルネットワーク手法である。 完全教師付きモデルと自己教師型モデルの両方に対して,Human3.6Mと3DPWの最先端結果を示す。 野生で収集された難易度の高い人間のポーズに対して, 非常に堅固な3次元再構成性能を観察した。
  論文  参考訳（メタデータ） (2021-06-17T09:09:24Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。