論文の概要: KITRO: Refining Human Mesh by 2D Clues and Kinematic-tree Rotation

• arxiv url: http://arxiv.org/abs/2405.19833v1
• Date: Thu, 30 May 2024 08:44:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 15:18:46.710509
• Title: KITRO: Refining Human Mesh by 2D Clues and Kinematic-tree Rotation
• Title（参考訳）: KITRO:2Dクローズとキネマティックツリー回転による人間のメッシュの精製
• Authors: Fengyuan Yang, Kerui Gu, Angela Yao,
• Abstract要約: KITRO(Kinematic-Tree Rotation)は,深度と人体木構造を明示的にモデル化したメッシュ改良戦略である。 各種データセットおよびベースラインモデルを用いた実験により,KITROは3次元関節推定精度を大幅に向上し,同時に理想的な2次元適合性が得られることが示された。
• 参考スコア（独自算出の注目度）: 35.715225954621154
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 2D keypoints are commonly used as an additional cue to refine estimated 3D human meshes. Current methods optimize the pose and shape parameters with a reprojection loss on the provided 2D keypoints. Such an approach, while simple and intuitive, has limited effectiveness because the optimal solution is hard to find in ambiguous parameter space and may sacrifice depth. Additionally, divergent gradients from distal joints complicate and deviate the refinement of proximal joints in the kinematic chain. To address these, we introduce Kinematic-Tree Rotation (KITRO), a novel mesh refinement strategy that explicitly models depth and human kinematic-tree structure. KITRO treats refinement from a bone-wise perspective. Unlike previous methods which perform gradient-based optimizations, our method calculates bone directions in closed form. By accounting for the 2D pose, bone length, and parent joint's depth, the calculation results in two possible directions for each child joint. We then use a decision tree to trace binary choices for all bones along the human skeleton's kinematic-tree to select the most probable hypothesis. Our experiments across various datasets and baseline models demonstrate that KITRO significantly improves 3D joint estimation accuracy and achieves an ideal 2D fit simultaneously. Our code available at: https://github.com/MartaYang/KITRO.
• Abstract（参考訳）: 2次元キーポイントは、推定された3次元メッシュを洗練するための追加のキューとして一般的に使用される。 現在の手法では、与えられた2Dキーポイントに再投影損失を伴って、ポーズパラメータと形状パラメータを最適化する。 このようなアプローチは単純で直感的ではあるが、最適解が不明瞭なパラメータ空間で見つけることは困難であり、深さを犠牲にする可能性があるため、有効性は限られている。 さらに、遠位関節からの分岐勾配は、キネマティック鎖における近位関節の洗練を複雑にし、逸脱させる。 そこで本研究では,深度と人体木構造を明示的にモデル化したメッシュ改良戦略であるKITRO(Kinematic-Tree Rotation)を紹介する。 KITROは骨学的観点からの精製を扱っている。 勾配に基づく最適化を行う従来の方法とは異なり,本手法は骨方向をクローズドな形で計算する。 2Dポーズ, 骨長, 親関節深度を考慮し, それぞれの子関節に対して2方向の計算を行う。 次に、決定木を用いて、人間の骨格のキネマティックツリーに沿った全ての骨の2進選択をトレースし、最も可能性の高い仮説を選択する。 各種データセットおよびベースラインモデルを用いた実験により,KITROは3次元関節推定精度を大幅に向上し,同時に理想的な2次元適合性が得られることが示された。 私たちのコードは、https://github.com/MartaYang/KITRO.comで公開しています。

関連論文リスト

• Learning Localization of Body and Finger Animation Skeleton Joints on Three-Dimensional Models of Human Bodies [0.0]
  本研究は,人体の3次元モデル内での人体と指のアニメーションの骨格関節の位置決め問題に対する,そのような解決法を提案する。 提案手法を最先端技術と比較することにより,より単純なアーキテクチャで極めて優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-07-11T13:16:02Z)
• Cloth2Body: Generating 3D Human Body Mesh from 2D Clothing [54.29207348918216]
  Cloth2Bodyは、入力の部分的な観察と出力の多様性によって引き起こされる新しい課題に対処する必要がある。 本稿では,2次元衣料品画像のポーズと形状によってパラメータ化された3Dボディメッシュを高精度に推定できるエンドツーエンドフレームワークを提案する。 実験結果から示されるように,提案手法は最先端の性能を実現し,自然および多様な3Dボディメッシュを2次元画像から効果的に回収することができる。
  論文  参考訳（メタデータ） (2023-09-28T06:18:38Z)
• CheckerPose: Progressive Dense Keypoint Localization for Object Pose Estimation with Graph Neural Network [66.24726878647543]
  単一のRGB画像から固い物体の6-DoFのポーズを推定することは、非常に難しい課題である。 近年の研究では、高密度対応型解の大きな可能性を示している。 そこで本研究では,CheckerPoseというポーズ推定アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-29T17:30:53Z)
• Optimising 2D Pose Representation: Improve Accuracy, Stability and Generalisability Within Unsupervised 2D-3D Human Pose Estimation [7.294965109944706]
  2次元ポーズの最も最適な表現は2つの独立した部分(胴体と脚)であり、各リフトネットワーク間に共通な特徴はない。 その結果、2次元ポーズの最も最適な表現は2つの独立した部分(胴体と脚)であり、各リフトネットワーク間に共通な特徴はないことがわかった。
  論文  参考訳（メタデータ） (2022-09-01T17:32:52Z)
• Optimal and Robust Category-level Perception: Object Pose and Shape Estimation from 2D and 3D Semantic Keypoints [24.232254155643574]
  与えられたカテゴリ(例えば車)のオブジェクトを撮影する2Dまたは3Dセンサデータを取得し、オブジェクトの3Dポーズと形状を再構築する必要がある問題を考える。 最初の貢献は PACE3D* と PACE2D* を開発することである。 2つ目のコントリビューションは、PACE3D#とPACE2D#という名前の、両方のソルバの開発バージョンです。
  論文  参考訳（メタデータ） (2022-06-24T21:58:00Z)
• Homography Loss for Monocular 3D Object Detection [54.04870007473932]
  ホログラフィーロス(Homography Loss)と呼ばれる,2次元情報と3次元情報の両方を利用する識別可能なロス関数を提案する。 提案手法は,KITTI 3Dデータセットにおいて,他の最先端技術と比較して高い性能を示す。
  論文  参考訳（メタデータ） (2022-04-02T03:48:03Z)
• HybrIK: A Hybrid Analytical-Neural Inverse Kinematics Solution for 3D Human Pose and Shape Estimation [39.67289969828706]
  本稿では,体メッシュ推定と3次元キーポイント推定のギャップを埋めるために,新しいハイブリッド逆キネマティクスソリューション(HybrIK)を提案する。 HybrIKは、正確な3D関節を相対的なボディ部分回転に変換し、3Dボディーメッシュを再構築する。 その結果,HybrIKは3次元ポーズの精度とパラメトリックな人間の身体構造の両方を保っていることがわかった。
  論文  参考訳（メタデータ） (2020-11-30T10:32:30Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)
• Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose [70.23652933572647]
  本稿では,人間のメッシュ頂点の3次元座標を直接推定するグラフ畳み込みニューラルネットワーク(GraphCNN)を提案する。 我々のPose2Meshは、様々なベンチマークデータセットにおいて、以前の3次元人間のポーズとメッシュ推定方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-20T16:01:56Z)
• Anatomy-aware 3D Human Pose Estimation with Bone-based Pose Decomposition [92.99291528676021]
  3次元関節位置を直接回帰するのではなく,骨方向予測と骨長予測に分解する。 私たちのモチベーションは、人間の骨格の骨の長さが時間とともに一定であることにあります。 我々の完全なモデルは、Human3.6MとMPI-INF-3DHPデータセットにおいて、以前の最高の結果よりも優れています。
  論文  参考訳（メタデータ） (2020-02-24T15:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。