論文の概要: Generalizing Neural Human Fitting to Unseen Poses With Articulated SE(3) Equivariance

• arxiv url: http://arxiv.org/abs/2304.10528v2
• Date: Tue, 19 Sep 2023 08:30:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 20:00:44.756755
• Title: Generalizing Neural Human Fitting to Unseen Poses With Articulated SE(3) Equivariance
• Title（参考訳）: Articulated SE(3) Equivarianceを用いたニューラル・ヒューマン・フィッティングの発見
• Authors: Haiwen Feng, Peter Kulits, Shichen Liu, Michael J. Black, and Victoria Abrevaya
• Abstract要約: ArtEqは、点雲からのSMPLモデル推定のための部分ベースSE(3)等価ニューラルネットワークである。 実験の結果,ArtEqはトレーニング中に見えない動作を一般化し,身体再建精度の点で最先端の手法を44%上回った。
• 参考スコア（独自算出の注目度）: 48.39751410262664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the problem of fitting a parametric human body model (SMPL) to point cloud data. Optimization-based methods require careful initialization and are prone to becoming trapped in local optima. Learning-based methods address this but do not generalize well when the input pose is far from those seen during training. For rigid point clouds, remarkable generalization has been achieved by leveraging SE(3)-equivariant networks, but these methods do not work on articulated objects. In this work we extend this idea to human bodies and propose ArtEq, a novel part-based SE(3)-equivariant neural architecture for SMPL model estimation from point clouds. Specifically, we learn a part detection network by leveraging local SO(3) invariance, and regress shape and pose using articulated SE(3) shape-invariant and pose-equivariant networks, all trained end-to-end. Our novel pose regression module leverages the permutation-equivariant property of self-attention layers to preserve rotational equivariance. Experimental results show that ArtEq generalizes to poses not seen during training, outperforming state-of-the-art methods by ~44% in terms of body reconstruction accuracy, without requiring an optimization refinement step. Furthermore, ArtEq is three orders of magnitude faster during inference than prior work and has 97.3% fewer parameters. The code and model are available for research purposes at https://arteq.is.tue.mpg.de.
• Abstract（参考訳）: 我々は, 雲データにパラメトリック人体モデル(smpl)を適合させる問題に対処する。 最適化に基づく手法では注意深い初期化が必要であり、局所的なオプティマに閉じ込められやすい。 学習ベースの手法はこれに対処するが、入力ポーズがトレーニング中に見られるものから遠く離れている場合、うまく一般化しない。 厳密な点雲に対しては、SE(3)-同変ネットワークを利用することで顕著な一般化が達成されているが、これらの手法は明瞭な対象に作用しない。 本研究では、このアイデアを人体に拡張し、点雲からのSMPLモデル推定のための新しい部分ベースSE(3)等価ニューラルネットワークArtEqを提案する。 具体的には,局所so(3)不変性を利用して部分検出ネットワークを学習し,articulated se(3) shape-invariant と pose-equivariant を用いて回帰形状とポーズを訓練した。 新規なポーズ回帰モジュールは自己アテンション層の置換同変特性を利用して回転同値を保存する。 実験の結果,ArtEqはトレーニング中に見えない動作を一般化し,身体再構成の精度は44%程度向上した。 さらに、ArtEqは事前の作業よりも3桁高速で、パラメータは97.3%少ない。 コードとモデルは、https://arteq.is.tue.mpg.deで研究目的に利用できる。

関連論文リスト

• Equi-GSPR: Equivariant SE(3) Graph Network Model for Sparse Point Cloud Registration [2.814748676983944]
  局所球面ユークリッド3次元等分散特性をSE(3)メッセージパッシングに基づく伝搬により埋め込んだグラフニューラルネットワークモデルを提案する。 我々のモデルは、主に記述モジュール、同変グラフ層、類似性、最終的な回帰層から構成される。 3DMatchおよびKITTIデータセットで行った実験は、最先端のアプローチと比較して、我々のモデルの魅力的で堅牢な性能を示している。
  論文  参考訳（メタデータ） (2024-10-08T06:48:01Z)
• Neural Refinement for Absolute Pose Regression with Feature Synthesis [33.2608395824548]
  APR(Absolute Pose Regression)メソッドは、ディープニューラルネットワークを使用して、RGBイメージからカメラのポーズを直接回帰する。 本研究では,暗黙的幾何制約を利用するテスト時間改善パイプラインを提案する。 また、トレーニング中に3次元幾何学的特徴を符号化し、テスト時に高密度な新しいビュー特徴を直接レンダリングしてAPR法を洗練させるニューラル・フィーチャー・シンセサイザー(NeFeS)モデルも導入する。
  論文  参考訳（メタデータ） (2023-03-17T16:10:50Z)
• SE(3)-Equivariant Attention Networks for Shape Reconstruction in Function Space [50.14426188851305]
  本稿では,第1のSE(3)-equivariant coordinate-based networkを提案する。 入力を正規格子に整列させる従来の形状再構成法とは対照的に、不規則で無向な点雲を直接操作する。 提案手法は,従来のSO(3)-equivariant法,およびSO(3)-augmented dataで訓練された非equivariant法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-05T17:59:15Z)
• Adversarial Parametric Pose Prior [106.12437086990853]
  我々は、SMPLパラメータを現実的なポーズを生成する値に制限する事前学習を行う。 得られた先行学習は実データ分布の多様性をカバーし、2次元キーポイントからの3次元再構成の最適化を容易にし、画像からの回帰に使用する場合のポーズ推定精度を向上することを示す。
  論文  参考訳（メタデータ） (2021-12-08T10:05:32Z)
• Locally Aware Piecewise Transformation Fields for 3D Human Mesh Registration [67.69257782645789]
  本論文では,3次元変換ベクトルを学習し,提案空間内の任意のクエリ点をリザーブ空間内の対応する位置にマップする部分変換場を提案する。 パラメトリックモデルにネットワークのポーズを合わせることで、特に極端なポーズにおいて、より優れた登録品質が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-16T15:16:09Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)
• Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering [53.16864661460889]
  近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。 本稿では,ボディセグメンテーションを重要な監視対象として紹介する。 部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
  論文  参考訳（メタデータ） (2020-03-24T14:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。