論文の概要: HybrIK-X: Hybrid Analytical-Neural Inverse Kinematics for Whole-body Mesh Recovery

• arxiv url: http://arxiv.org/abs/2304.05690v1
• Date: Wed, 12 Apr 2023 08:29:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 15:39:13.530407
• Title: HybrIK-X: Hybrid Analytical-Neural Inverse Kinematics for Whole-body Mesh Recovery
• Title（参考訳）: HybrIK-X:全体メッシュ回復のためのハイブリッド解析・ニューラル逆運動学
• Authors: Jiefeng Li, Siyuan Bian, Chao Xu, Zhicun Chen, Lixin Yang, Cewu Lu
• Abstract要約: 本稿では,3次元キーポイント推定とボディーメッシュ回復を統合したハイブリッド逆キネマティクスソリューションHybrIKを提案する。 HybrIKは、正確な3Dジョイントを直接、ねじりとねじりの分解によって、ボディ部分の回転に変換する。 我々はさらに、HybrIK-Xという総合的な枠組みを開発し、手と表情でHybrIKを強化する。
• 参考スコア（独自算出の注目度）: 40.88628101598707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recovering whole-body mesh by inferring the abstract pose and shape parameters from visual content can obtain 3D bodies with realistic structures. However, the inferring process is highly non-linear and suffers from image-mesh misalignment, resulting in inaccurate reconstruction. In contrast, 3D keypoint estimation methods utilize the volumetric representation to achieve pixel-level accuracy but may predict unrealistic body structures. To address these issues, this paper presents a novel hybrid inverse kinematics solution, HybrIK, that integrates the merits of 3D keypoint estimation and body mesh recovery in a unified framework. HybrIK directly transforms accurate 3D joints to body-part rotations via twist-and-swing decomposition. The swing rotations are analytically solved with 3D joints, while the twist rotations are derived from visual cues through neural networks. To capture comprehensive whole-body details, we further develop a holistic framework, HybrIK-X, which enhances HybrIK with articulated hands and an expressive face. HybrIK-X is fast and accurate by solving the whole-body pose with a one-stage model. Experiments demonstrate that HybrIK and HybrIK-X preserve both the accuracy of 3D joints and the realistic structure of the parametric human model, leading to pixel-aligned whole-body mesh recovery. The proposed method significantly surpasses the state-of-the-art methods on various benchmarks for body-only, hand-only, and whole-body scenarios. Code and results can be found at https://jeffli.site/HybrIK-X/
• Abstract（参考訳）: 視覚的コンテンツから抽象的なポーズと形状パラメータを推測して全身メッシュを復元することで、現実的な構造を持つ3dボディを得ることができる。 しかし、推論過程は極めて非線形であり、画像間ミスアレーメントに苦しめられ、結果として不正確な再構成に繋がる。 対照的に、3次元キーポイント推定法は体積表現を用いてピクセルレベルの精度を達成するが、非現実的な体構造を予測することができる。 これらの問題に対処するため,本論文では,3次元キーポイント推定とボディーメッシュ復元の利点を統合したハイブリッド逆キネマティクスソリューションHybrIKを提案する。 hybrikは、ツイスト・アンド・スウィング分解によって、正確な3d関節を本体回転に直接変換する。 揺動回転は3次元関節で解析的に解き、ねじれ回転はニューラルネットワークによる視覚的手がかりから導かれる。 全身の詳細を網羅的に把握するために,HybrIK-X という包括的枠組みをさらに発展させ,HybrIK を手話と表情で強化する。 HybrIK-Xは1段モデルで全身のポーズを解くことで高速で正確である。 実験により、HybrIKとHybrIK-Xは3次元関節の精度とパラメトリック人間モデルの現実的な構造の両方を保ち、ピクセル整列した全体メッシュの回復をもたらすことが示された。 提案手法は,身体のみ,手のみ,全身シナリオの様々なベンチマークにおいて,最先端の手法を大幅に上回る。 コードと結果はhttps://jeffli.site/HybrIK-X/で確認できる。

関連論文リスト

• EndoSparse: Real-Time Sparse View Synthesis of Endoscopic Scenes using Gaussian Splatting [39.60431471170721]
  内視鏡画像からの生体組織の3次元再構成は, 様々な重要な下流外科的応用を3D機能で解き放つ鍵となる。 既存の手法では、ビュー合成に様々な高度なニューラルレンダリング技術を採用しているが、スパースな観察しかできない場合には、正確な3D表現の復元に苦慮することが多い。 再建過程において,複数の基盤モデルから事前の知識を活用するフレームワークを提案し,それをtextitEndoSparse と呼ぶ。
  論文  参考訳（メタデータ） (2024-07-01T07:24:09Z)
• NIKI: Neural Inverse Kinematics with Invertible Neural Networks for 3D Human Pose and Shape Estimation [53.25973084799954]
  両方向誤差をモデル化したNIKI(Neural Inverse Kinematics with Invertible Neural Network)を提案する。 NIKIは、非可逆ネットワークによる前処理と逆処理の両方から学習することができる。
  論文  参考訳（メタデータ） (2023-05-15T12:13:24Z)
• 3D Human Pose and Shape Estimation via HybrIK-Transformer [11.193504036335503]
  HybrIKは解析的逆運動学とディープラーニングを組み合わせて、より正確な3Dポーズ推定を生成する。 本稿では2Dから3Dへのリフトモジュールの強化を提案し,デコンボリューションをTransformerに置き換える。
  論文  参考訳（メタデータ） (2023-02-09T17:08:43Z)
• PLIKS: A Pseudo-Linear Inverse Kinematic Solver for 3D Human Body Estimation [10.50175010474078]
  1枚の2次元画像から人体の3次元メッシュを再構築するためのPLIKSを提案する。 PLIKSはパラメトリックSMPLモデルの線形化された定式化に基づいている。 PLIKSは10%以上の精度で再現可能であることを確認した。
  論文  参考訳（メタデータ） (2022-11-21T18:54:12Z)
• Detailed Avatar Recovery from Single Image [50.82102098057822]
  本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。 階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。 本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
  論文  参考訳（メタデータ） (2021-08-06T03:51:26Z)
• KAMA: 3D Keypoint Aware Body Mesh Articulation [79.04090630502782]
  本稿では,パラメトリックなボディーモデルSMPLを簡単な幾何学的変換によって記述する解析解を提案する。 今回のアプローチは,最先端のアプローチと比較して,画像コンテンツのアライメントが大幅に向上する。 挑戦的な3DPWおよびHuman3.6Mの結果は私達のアプローチが最先端のボディ網付属品をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-04-27T23:01:03Z)
• PC-HMR: Pose Calibration for 3D Human Mesh Recovery from 2D Images/Videos [47.601288796052714]
  我々は2つの新しいPoseフレームワーク、すなわちSerial PC-HMRとParallel PC-HMRを開発した。 当社のフレームワークは、データ駆動学習と幾何学的モデリングの汎用的かつ補完的な統合に基づいています。 我々は一般的なベンチマーク(Human3.6M, 3DPW, SURREAL)について広範な実験を行い、PC-HMRフレームワークがSOTA結果を達成する。
  論文  参考訳（メタデータ） (2021-03-16T12:12:45Z)
• HybrIK: A Hybrid Analytical-Neural Inverse Kinematics Solution for 3D Human Pose and Shape Estimation [39.67289969828706]
  本稿では,体メッシュ推定と3次元キーポイント推定のギャップを埋めるために,新しいハイブリッド逆キネマティクスソリューション(HybrIK)を提案する。 HybrIKは、正確な3D関節を相対的なボディ部分回転に変換し、3Dボディーメッシュを再構築する。 その結果,HybrIKは3次元ポーズの精度とパラメトリックな人間の身体構造の両方を保っていることがわかった。
  論文  参考訳（メタデータ） (2020-11-30T10:32:30Z)
• SparseFusion: Dynamic Human Avatar Modeling from Sparse RGBD Images [49.52782544649703]
  本稿では,RGBDフレームのスパース集合に基づく3次元人体形状の再構築手法を提案する。 主な課題は、これらのスパースフレームを標準的な3Dモデルにしっかりと融合させる方法だ。 私たちのフレームワークは柔軟で、潜在的なアプリケーションは形状の再構築を超えています。
  論文  参考訳（メタデータ） (2020-06-05T18:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。