論文の概要: Locally Aware Piecewise Transformation Fields for 3D Human Mesh Registration

• arxiv url: http://arxiv.org/abs/2104.08160v1
• Date: Fri, 16 Apr 2021 15:16:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-19 14:20:01.686500
• Title: Locally Aware Piecewise Transformation Fields for 3D Human Mesh Registration
• Title（参考訳）: 局所認識による3次元メッシュ登録のためのピエソワイズ変換場
• Authors: Shaofei Wang, Andreas Geiger, Siyu Tang
• Abstract要約: 本論文では,3次元変換ベクトルを学習し,提案空間内の任意のクエリ点をリザーブ空間内の対応する位置にマップする部分変換場を提案する。 パラメトリックモデルにネットワークのポーズを合わせることで、特に極端なポーズにおいて、より優れた登録品質が得られることを示す。
• 参考スコア（独自算出の注目度）: 67.69257782645789
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Registering point clouds of dressed humans to parametric human models is a challenging task in computer vision. Traditional approaches often rely on heavily engineered pipelines that require accurate manual initialization of human poses and tedious post-processing. More recently, learning-based methods are proposed in hope to automate this process. We observe that pose initialization is key to accurate registration but existing methods often fail to provide accurate pose initialization. One major obstacle is that, regressing joint rotations from point clouds or images of humans is still very challenging. To this end, we propose novel piecewise transformation fields (PTF), a set of functions that learn 3D translation vectors to map any query point in posed space to its correspond position in rest-pose space. We combine PTF with multi-class occupancy networks, obtaining a novel learning-based framework that learns to simultaneously predict shape and per-point correspondences between the posed space and the canonical space for clothed human. Our key insight is that the translation vector for each query point can be effectively estimated using the point-aligned local features; consequently, rigid per bone transformations and joint rotations can be obtained efficiently via a least-square fitting given the estimated point correspondences, circumventing the challenging task of directly regressing joint rotations from neural networks. Furthermore, the proposed PTF facilitate canonicalized occupancy estimation, which greatly improves generalization capability and results in more accurate surface reconstruction with only half of the parameters compared with the state-of-the-art. Both qualitative and quantitative studies show that fitting parametric models with poses initialized by our network results in much better registration quality, especially for extreme poses.
• Abstract（参考訳）: 身なりの良い人間の点雲をパラメトリックな人間のモデルに登録することは、コンピュータビジョンにおいて難しい課題である。 従来のアプローチは、人間のポーズと面倒な後処理の正確な手動初期化を必要とする、非常にエンジニアリングされたパイプラインに依存しています。 最近では,このプロセスを自動化するために,学習に基づく手法が提案されている。 ポーズ初期化は正確な登録の鍵となるが、既存のメソッドは正確なポーズ初期化を提供しないことが多い。 1つの大きな障害は、点雲や人間の画像から関節の回転を遅らせることは、まだ非常に難しいことである。 そこで本稿では,3次元変換ベクトルを学習し,ポーズ空間における任意の問合せ点をrest-pose空間における対応する位置へマップする関数群であるptfを提案する。 PTFとマルチクラス占有ネットワークを組み合わせることで,布地空間と標準空間との間の形状と点間対応の同時予測を学習する,新しい学習ベースのフレームワークを得る。 本研究は,各問合せ点の翻訳ベクトルを局所的特徴量を用いて効果的に推定できることを示唆する。したがって,推定点対応の最小二乗フィッティングにより,ニューラルネットワークから関節回転を直接退避させる難易度を回避し,骨の変形や関節回転を効率的に得ることができる。 さらに,提案したPTFは,一般化能力を大幅に向上させ,パラメータの約半分でより正確な表面再構成を実現するため,正規化占有推定を容易にする。 定性的および定量的研究は、パラメトリックモデルにネットワークによって初期化されたポーズを合わせることで、特に極端なポーズにおいて、より優れた登録品質が得られることを示している。

関連論文リスト

• Boosting Cross-Domain Point Classification via Distilling Relational Priors from 2D Transformers [59.0181939916084]
  従来の3Dネットワークは主に局所幾何学的詳細に焦点を当て、局所幾何学間の位相構造を無視する。 そこで本稿では,大規模画像上においてよく訓練されたトランスフォーマーから前駆体を抽出する,新しい先駆体蒸留法を提案する。 PointDA-10とSim-to-Realデータセットの実験は、提案手法が点クラウド分類におけるUDAの最先端性能を一貫して達成していることを検証する。
  論文  参考訳（メタデータ） (2024-07-26T06:29:09Z)
• Pose Priors from Language Models [74.61186408764559]
  本稿では,正確な物理的接触制約を強制するゼロショットポーズ最適化法を提案する。 本手法は,近接した人物の驚くほど説得力のあるポーズを再現する。 従来の手法とは異なり,本手法は自己接触と対人接触を解消するための統一的な枠組みを提供する。
  論文  参考訳（メタデータ） (2024-05-06T17:59:36Z)
• Generalizing Neural Human Fitting to Unseen Poses With Articulated SE(3) Equivariance [48.39751410262664]
  ArtEqは、点雲からのSMPLモデル推定のための部分ベースSE(3)等価ニューラルネットワークである。 実験の結果,ArtEqはトレーニング中に見えない動作を一般化し,身体再建精度の点で最先端の手法を44%上回った。
  論文  参考訳（メタデータ） (2023-04-20T17:58:26Z)
• OReX: Object Reconstruction from Planar Cross-sections Using Neural Fields [10.862993171454685]
  OReXはスライス単独で3次元形状を復元する手法であり、前者がニューラルネットワーク勾配である。 適度なニューラルネットワークは入力平面上でトレーニングされ、与えられた3D座標の内外推定を返却し、滑らかさと自己相似性を誘導する強力な先行を与える。 我々は、粗大な訓練を奨励する反復的な推定アーキテクチャと階層的な入力サンプリングスキームを提供し、訓練プロセスは後段の高周波に集中できるようにする。
  論文  参考訳（メタデータ） (2022-11-23T11:44:35Z)
• Back to MLP: A Simple Baseline for Human Motion Prediction [59.18776744541904]
  本稿では、歴史的に観察されたシーケンスから将来の身体のポーズを予測することによる、人間の動作予測の課題に取り組む。 これらの手法の性能は、0.14Mパラメータしか持たない軽量で純粋にアーキテクチャアーキテクチャによって超えることができることを示す。 Human3.6M, AMASS, 3DPWデータセットの徹底的な評価は, siMLPeをダブした我々の手法が, 他のアプローチよりも一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2022-07-04T16:35:58Z)
• DFC: Deep Feature Consistency for Robust Point Cloud Registration [0.4724825031148411]
  複雑なアライメントシーンのための学習に基づくアライメントネットワークを提案する。 我々は,3DMatchデータセットとKITTIオドメトリデータセットに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2021-11-15T08:27:21Z)
• Shape My Face: Registering 3D Face Scans by Surface-to-Surface Translation [75.59415852802958]
  Shape-My-Face (SMF) は、改良されたポイントクラウドエンコーダ、新しい視覚的注意機構、スキップ接続付きグラフ畳み込みデコーダ、特殊口モデルに基づく強力なエンコーダデコーダアーキテクチャである。 私たちのモデルは、トポロジカルにサウンドメッシュを最小限の監視で提供し、より高速なトレーニング時間を提供し、訓練可能なパラメータを桁違いに減らし、ノイズに強く、以前は見られないデータセットに一般化することができます。
  論文  参考訳（メタデータ） (2020-12-16T20:02:36Z)
• Unsupervised Learning of 3D Point Set Registration [15.900382629390297]
  点雲登録は、幾何変換を探索することで一対の点集合を整列する過程である。 本稿では,新たに導入された深部空間相関表現(SCR)機能に基づく,新しい教師なし登録フレームワークであるDeep-3DAlignerを提案する。 提案手法は,まずランダムに遅延するSCR特徴量を最適化し,次に幾何変換に復号し,ソースとターゲットの点集合を整列させる。
  論文  参考訳（メタデータ） (2020-06-11T05:21:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。