論文の概要: Monocular 3D Hand Pose Estimation with Implicit Camera Alignment
- arxiv url: http://arxiv.org/abs/2506.11133v1
- Date: Tue, 10 Jun 2025 18:45:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-16 17:50:49.497713
- Title: Monocular 3D Hand Pose Estimation with Implicit Camera Alignment
- Title(参考訳): 入射カメラアライメントによる単眼3Dハンドポース推定
- Authors: Christos Pantazopoulos, Spyridon Thermos, Gerasimos Potamianos,
- Abstract要約: 2次元キーポイント入力から3次元手話の調音を推定するための最適化パイプラインを提案する。
EgoDexter と Dexter+Object ベンチマークに対する我々のアプローチを評価した。
- 参考スコア(独自算出の注目度): 9.199465050084296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Estimating the 3D hand articulation from a single color image is a continuously investigated problem with applications in Augmented Reality (AR), Virtual Reality (VR), Human-Computer Interaction (HCI), and robotics. Apart from the absence of depth information, occlusions, articulation complexity, and the need for camera parameters knowledge pose additional challenges. In this work, we propose an optimization pipeline for estimating the 3D hand articulation from 2D keypoint input, which includes a keypoint alignment step and a fingertip loss to overcome the need to know or estimate the camera parameters. We evaluate our approach on the EgoDexter and Dexter+Object benchmarks to showcase that our approach performs competitively with the SotA, while also demonstrating its robustness when processing "in-the-wild" images without any prior camera knowledge. Our quantitative analysis highlights the sensitivity of the 2D keypoint estimation accuracy, despite the use of hand priors. Code is available at https://github.com/cpantazop/HandRepo
- Abstract(参考訳): Augmented Reality (AR)、Virtual Reality (VR)、Human-Computer Interaction (HCI)、そしてロボティクスの応用において、単一のカラー画像から3次元手関節を推定することは継続的に研究される問題である。
深度情報の欠如、隠蔽、調音の複雑さ、カメラパラメータの知識の必要性は別として、さらなる課題をもたらす。
本研究では,キーポイントアライメントステップと指先損失を含む2次元キーポイント入力から3次元手指関節を推定する最適化パイプラインを提案する。
我々は,EgoDexter と Dexter+Object ベンチマークに対する我々のアプローチを評価し,そのアプローチが SotA と競合することを示した。
筆者らの定量的分析では,手先の使用にもかかわらず,2次元キーポイント推定精度の感度を強調した。
コードはhttps://github.com/cpantazop/HandRepoで入手できる。
関連論文リスト
- Unsupervised Learning of Category-Level 3D Pose from Object-Centric Videos [15.532504015622159]
カテゴリーレベルの3Dポーズ推定は、コンピュータビジョンとロボット工学において基本的に重要な問題である。
カテゴリーレベルの3Dポーズを,カジュアルに撮られた対象中心の動画からのみ推定する学習の課題に取り組む。
論文 参考訳(メタデータ) (2024-07-05T09:43:05Z) - HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。
頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。
HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-12-27T22:35:33Z) - SHOWMe: Benchmarking Object-agnostic Hand-Object 3D Reconstruction [13.417086460511696]
96本の動画からなるSHOWMeデータセットについて,実物と詳細な3Dテクスチャメッシュで注釈付けした。
我々は、手の動きがビデオシーケンス全体を通して一定である厳密な手オブジェクトのシナリオを考察する。
この仮定により、SHOWMeの画像シーケンスにサブミリメートル精度の基底3Dスキャンを登録できる。
論文 参考訳(メタデータ) (2023-09-19T16:48:29Z) - Monocular 3D Object Detection with Depth from Motion [74.29588921594853]
我々は、正確な物体深度推定と検出にカメラエゴモーションを利用する。
我々のフレームワークはDfM(Depth from Motion)と呼ばれ、2D画像の特徴を3D空間に持ち上げて3Dオブジェクトを検出する。
我々のフレームワークは、KITTIベンチマークにおいて最先端の手法よりも大きなマージンで優れている。
論文 参考訳(メタデータ) (2022-07-26T15:48:46Z) - Monocular 3D Reconstruction of Interacting Hands via Collision-Aware
Factorized Refinements [96.40125818594952]
単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。
提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
論文 参考訳(メタデータ) (2021-11-01T08:24:10Z) - Real-Time Human Pose Estimation on a Smart Walker using Convolutional
Neural Networks [4.076099054649463]
スマートウォーカのコンテキストにおける患者モニタリングとデータ駆動型ヒューマン・イン・ザ・ループ制御に対する新しいアプローチを提案する。
完全かつコンパクトなボディ表現を、リアルタイムおよび安価なセンサーから抽出することができる。
有望な結果にもかかわらず、現実のシナリオにおけるリハビリテーションツールとしてのパフォーマンスを評価するために、障害のあるユーザにより多くのデータを収集する必要がある。
論文 参考訳(メタデータ) (2021-06-28T14:11:48Z) - RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB
Video [76.86512780916827]
本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。
RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。
RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
論文 参考訳(メタデータ) (2021-06-22T12:53:56Z) - Physics-Based Dexterous Manipulations with Estimated Hand Poses and
Residual Reinforcement Learning [52.37106940303246]
ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。
モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。
筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
論文 参考訳(メタデータ) (2020-08-07T17:34:28Z) - Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and
Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。
本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
論文 参考訳(メタデータ) (2020-03-30T19:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。