論文の概要: HybrIK: A Hybrid Analytical-Neural Inverse Kinematics Solution for 3D Human Pose and Shape Estimation

• arxiv url: http://arxiv.org/abs/2011.14672v3
• Date: Mon, 5 Apr 2021 13:57:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-06 14:45:49.795928
• Title: HybrIK: A Hybrid Analytical-Neural Inverse Kinematics Solution for 3D Human Pose and Shape Estimation
• Title（参考訳）: HybrIK:3次元人間の姿勢と形状推定のためのハイブリッド解析・ニューラル逆運動学ソリューション
• Authors: Jiefeng Li, Chao Xu, Zhicun Chen, Siyuan Bian, Lixin Yang, Cewu Lu
• Abstract要約: 本稿では,体メッシュ推定と3次元キーポイント推定のギャップを埋めるために,新しいハイブリッド逆キネマティクスソリューション(HybrIK)を提案する。 HybrIKは、正確な3D関節を相対的なボディ部分回転に変換し、3Dボディーメッシュを再構築する。 その結果,HybrIKは3次元ポーズの精度とパラメトリックな人間の身体構造の両方を保っていることがわかった。
• 参考スコア（独自算出の注目度）: 39.67289969828706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model-based 3D pose and shape estimation methods reconstruct a full 3D mesh for the human body by estimating several parameters. However, learning the abstract parameters is a highly non-linear process and suffers from image-model misalignment, leading to mediocre model performance. In contrast, 3D keypoint estimation methods combine deep CNN network with the volumetric representation to achieve pixel-level localization accuracy but may predict unrealistic body structure. In this paper, we address the above issues by bridging the gap between body mesh estimation and 3D keypoint estimation. We propose a novel hybrid inverse kinematics solution (HybrIK). HybrIK directly transforms accurate 3D joints to relative body-part rotations for 3D body mesh reconstruction, via the twist-and-swing decomposition. The swing rotation is analytically solved with 3D joints, and the twist rotation is derived from the visual cues through the neural network. We show that HybrIK preserves both the accuracy of 3D pose and the realistic body structure of the parametric human model, leading to a pixel-aligned 3D body mesh and a more accurate 3D pose than the pure 3D keypoint estimation methods. Without bells and whistles, the proposed method surpasses the state-of-the-art methods by a large margin on various 3D human pose and shape benchmarks. As an illustrative example, HybrIK outperforms all the previous methods by 13.2 mm MPJPE and 21.9 mm PVE on 3DPW dataset. Our code is available at https://github.com/Jeff-sjtu/HybrIK.
• Abstract（参考訳）: モデルに基づく3次元ポーズおよび形状推定手法は、複数のパラメータを推定することで人体の完全な3次元メッシュを再構築する。 しかし、抽象パラメータの学習は非常に非線形なプロセスであり、画像-モデルミスアライメントに悩まされ、中間モデルの性能が低下する。 対照的に、3Dキーポイント推定法は深部CNNネットワークと体積表現を組み合わせて画素レベルのローカライゼーション精度を実現するが、非現実的なボディ構造を予測することができる。 本稿では,体メッシュ推定と3次元キーポイント推定のギャップを埋めることで,上記の問題に対処する。 本稿では,新しいハイブリッド逆キネマティクスソリューション (HybrIK) を提案する。 HybrIKは、正確な3Dジョイントを相対的なボディ部分回転に変換し、3Dボディーメッシュを再構築する。 スイング回転は3次元関節で解析的に解かれ、ねじれ回転はニューラルネットワークを介して視覚手がかりから導かれる。 そこで,hybrikは3d姿勢の精度とパラメトリック人体モデルの現実的な身体構造の両方を保ちながら,ピクセル配置された3dボディメッシュと,純粋な3dキーポイント推定手法よりも高精度な3d姿勢を実現する。 ベルとホイッスルがなければ,提案手法は様々な人間のポーズと形状のベンチマークにおいて,最先端の手法をはるかに上回る。 実証的な例として、HybrIKは以前の手法を13.2mm MPJPEと21.9mm PVEで3DPWデータセットで上回っている。 私たちのコードはhttps://github.com/Jeff-sjtu/HybrIK.comで公開されています。

関連論文リスト

• UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
  UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。 直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
  論文  参考訳（メタデータ） (2024-04-23T00:18:00Z)
• Co-Evolution of Pose and Mesh for 3D Human Body Estimation from Video [23.93644678238666]
  ビデオから3次元の人間の動きを復元するPose and Mesh Co-Evolution Network (PMCE)を提案する。 提案したPMCEは、フレーム単位の精度と時間的一貫性の両方の観点から、従来の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-08-20T16:03:21Z)
• 3D-Aware Neural Body Fitting for Occlusion Robust 3D Human Pose Estimation [28.24765523800196]
  本研究では,3次元ポーズ推定のための3次元認識型ニューラルボディフィッティング(3DNBF)を提案する。 特に,3次元ポーズ依存特徴ベクトルを出力するガウス楕円体カーネルを用いた人間の体積表現に基づく深部特徴の生成モデルを提案する。 ニューラル特徴は、対照的な学習で訓練され、3D認識となり、2D-3D曖昧さを克服する。
  論文  参考訳（メタデータ） (2023-08-19T22:41:00Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)
• HybrIK-X: Hybrid Analytical-Neural Inverse Kinematics for Whole-body Mesh Recovery [40.88628101598707]
  本稿では,3次元キーポイント推定とボディーメッシュ回復を統合したハイブリッド逆キネマティクスソリューションHybrIKを提案する。 HybrIKは、正確な3Dジョイントを直接、ねじりとねじりの分解によって、ボディ部分の回転に変換する。 我々はさらに、HybrIK-Xという総合的な枠組みを開発し、手と表情でHybrIKを強化する。
  論文  参考訳（メタデータ） (2023-04-12T08:29:31Z)
• KAMA: 3D Keypoint Aware Body Mesh Articulation [79.04090630502782]
  本稿では,パラメトリックなボディーモデルSMPLを簡単な幾何学的変換によって記述する解析解を提案する。 今回のアプローチは,最先端のアプローチと比較して,画像コンテンツのアライメントが大幅に向上する。 挑戦的な3DPWおよびHuman3.6Mの結果は私達のアプローチが最先端のボディ網付属品をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-04-27T23:01:03Z)
• An Effective Loss Function for Generating 3D Models from Single 2D Image without Rendering [0.0]
  微分レンダリングは、シングルビュー3Dレコンストラクションに適用できる非常に成功した技術である。 電流は、ある3d再構成対象のレンダリング画像と、与えられたマッチング視点からの接地画像との間のピクセルによる損失を利用して、3d形状のパラメータを最適化する。 再構成された3次元点群の投影が地上真理物体のシルエットをどの程度覆うかを評価する新しい効果的な損失関数を提案する。
  論文  参考訳（メタデータ） (2021-03-05T00:02:18Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)
• PerMO: Perceiving More at Once from a Single Image for Autonomous Driving [76.35684439949094]
  単一画像から完全テクスチャ化された車両の3次元モデルを検出し,セグメント化し,再構成する新しい手法を提案する。 私たちのアプローチは、ディープラーニングの強みと従来のテクニックの優雅さを組み合わせています。 我々はこれらのアルゴリズムを自律運転システムに統合した。
  論文  参考訳（メタデータ） (2020-07-16T05:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。