論文の概要: Lightweight Estimation of Hand Mesh and Biomechanically Feasible Kinematic Parameters

• arxiv url: http://arxiv.org/abs/2303.14838v1
• Date: Sun, 26 Mar 2023 22:24:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 17:24:19.585953
• Title: Lightweight Estimation of Hand Mesh and Biomechanically Feasible Kinematic Parameters
• Title（参考訳）: ハンドメッシュと生体力学的に可能な運動パラメータの軽量推定
• Authors: Zhipeng Fan and Yao Wang
• Abstract要約: 画像から手メッシュを効率的に推定するために,従来提案していた画像-画像-画像間アプローチの効率的なバリエーションを提案する。 Inverted kinematic (IK) network to convert the estimated hand mesh to a biomechanically feasible set of joint rotation parameters。 我々のLite I2L Mesh Netは、計算複雑性全体の13%以下で最先端の関節およびメッシュ推定精度を達成する。
• 参考スコア（独自算出の注目度）: 9.477719717840683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D hand pose estimation is a long-standing challenge in both robotics and computer vision communities due to its implicit depth ambiguity and often strong self-occlusion. Recently, in addition to the hand skeleton, jointly estimating hand pose and shape has gained more attraction. State-of-the-art methods adopt a model-free approach, estimating the vertices of the hand mesh directly and providing superior accuracy compared to traditional model-based methods directly regressing the parameters of the parametric hand mesh. However, with the large number of mesh vertices to estimate, these methods are often slow in inference. We propose an efficient variation of the previously proposed image-to-lixel approach to efficiently estimate hand meshes from the images. Leveraging recent developments in efficient neural architectures, we significantly reduce the computation complexity without sacrificing the estimation accuracy. Furthermore, we introduce an inverted kinematic(IK) network to translate the estimated hand mesh to a biomechanically feasible set of joint rotation parameters, which is necessary for applications that leverage pose estimation for controlling robotic hands. Finally, an optional post-processing module is proposed to refine the rotation and shape parameters to compensate for the error introduced by the IK net. Our Lite I2L Mesh Net achieves state-of-the-art joint and mesh estimation accuracy with less than $13\%$ of the total computational complexity of the original I2L hand mesh estimator. Adding the IK net and post-optimization modules can improve the accuracy slightly at a small computation cost, but more importantly, provide the kinematic parameters required for robotic applications.
• Abstract（参考訳）: 3dハンドポーズ推定は、暗黙の奥行きあいまいさとしばしば強い自己完結性のため、ロボティクスとコンピュータビジョンのコミュニティの両方にとって長年の課題である。 近年,手足の骨格に加え,手ポーズと形状の同時推定が注目されている。 state-of-the-artメソッドは、モデルフリーアプローチを採用し、ハンドメッシュの頂点を直接推定し、パラメトリックハンドメッシュのパラメータを直接レグレッションする従来のモデルベースメソッドよりも優れた精度を提供する。 しかしながら、推定すべきメッシュ頂点の数が多いため、これらのメソッドは推論が遅いことが多い。 画像から手メッシュを効率的に推定するために,従来提案していた画像-画像-画像間アプローチの効率的なバリエーションを提案する。 近年の効率的なニューラルアーキテクチャの進歩を活かし,推定精度を犠牲にすることなく計算量を大幅に削減した。 さらに,ロボットハンドを制御するためにポーズ推定を利用するために必要となる,生体力学的に実現可能な関節回転パラメータのセットに,推定ハンドメッシュを変換する逆キネマティック(IK)ネットワークを導入する。 最後に, ikネットがもたらした誤差を補償するために, 回転パラメータと形状パラメータを洗練するために, 任意後処理モジュールを提案する。 我々の Lite I2L Mesh Net は、元の I2L ハンドメッシュ推定器の計算複雑性の総和を 13 % 以下で、最先端の関節およびメッシュ推定精度を達成する。 ik netとポスト最適化モジュールの追加は、小さな計算コストでわずかに精度を向上させることができるが、より重要なことは、ロボットアプリケーションに必要な運動パラメータを提供する。

関連論文リスト

• Iterative Sizing Field Prediction for Adaptive Mesh Generation From Expert Demonstrations [49.173541207550485]
  Adaptive Meshing By Expert Reconstruction (AMBER) は模倣学習問題である。 AMBERは、グラフニューラルネットワークとオンラインデータ取得スキームを組み合わせて、専門家メッシュの投影されたサイズフィールドを予測する。 我々は、人間の専門家が提供した2Dメッシュと3Dメッシュ上でAMBERを実験的に検証し、提供されたデモと密に一致し、シングルステップのCNNベースラインを上回った。
  論文  参考訳（メタデータ） (2024-06-20T10:01:22Z)
• A Model for Multi-View Residual Covariances based on Perspective Deformation [88.21738020902411]
  マルチビューSfM, オードメトリ, SLAMセットアップにおける視覚的残差の共分散モデルの導出を行う。 我々は、合成データと実データを用いてモデルを検証し、それを光度および特徴量に基づくバンドル調整に統合する。
  論文  参考訳（メタデータ） (2022-02-01T21:21:56Z)
• Learning to Fit Morphable Models [12.469605679847085]
  学習最適化の最近の進歩の上に構築し、古典的なレバンス・マルカルトアルゴリズムに触発された更新ルールを提案する。 本稿では,頭部装着装置による3次元体表面推定問題と2次元ランドマークによる顔の嵌合性に対するニューラルネットワークの有効性を示す。
  論文  参考訳（メタデータ） (2021-11-29T18:59:53Z)
• Dynamic Iterative Refinement for Efficient 3D Hand Pose Estimation [87.54604263202941]
  本稿では,従来の推定値の修正に部分的レイヤを反復的に活用する,小さなディープニューラルネットワークを提案する。 学習したゲーティング基準を用いて、ウェイトシェアリングループから抜け出すかどうかを判断し、モデルにサンプルごとの適応を可能にする。 提案手法は,広く使用されているベンチマークの精度と効率の両面から,最先端の2D/3Dハンドポーズ推定手法より一貫して優れている。
  論文  参考訳（メタデータ） (2021-11-11T23:31:34Z)
• Real-time Pose and Shape Reconstruction of Two Interacting Hands With a Single Depth Camera [79.41374930171469]
  本稿では,2つの強く相互作用する手の位置と形状をリアルタイムに再現する新しい手法を提案する。 われわれのアプローチは、有利なプロパティの広範なリスト、すなわちマーカーレスを組み合わせている。 過去の研究で示された複雑性レベルを超える場面で、最先端の結果を示す。
  論文  参考訳（メタデータ） (2021-06-15T11:39:49Z)
• Locally Aware Piecewise Transformation Fields for 3D Human Mesh Registration [67.69257782645789]
  本論文では,3次元変換ベクトルを学習し,提案空間内の任意のクエリ点をリザーブ空間内の対応する位置にマップする部分変換場を提案する。 パラメトリックモデルにネットワークのポーズを合わせることで、特に極端なポーズにおいて、より優れた登録品質が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-16T15:16:09Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)
• Single upper limb pose estimation method based on improved stacked hourglass network [5.342260499725028]
  一人称ポーズ推定において高精度かつリアルタイムなパフォーマンスを実現することは困難である。 本稿では,エンド・ツー・エンドアプローチに基づく一人称上肢ポーズ推定手法を提案する。
  論文  参考訳（メタデータ） (2020-04-16T04:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。