論文の概要: 3D Hand Pose Estimation in Egocentric Images in the Wild
- arxiv url: http://arxiv.org/abs/2312.06583v1
- Date: Mon, 11 Dec 2023 18:15:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 14:31:16.035947
- Title: 3D Hand Pose Estimation in Egocentric Images in the Wild
- Title(参考訳): 野生のエゴセントリック画像における3次元ハンドポース推定
- Authors: Aditya Prakash, Ruisen Tu, Matthew Chang, Saurabh Gupta
- Abstract要約: 本研究では,野生の自我中心画像における3次元手ポーズ推定法であるWildHandsを提案する。
我々は,セグメント化マスクとグリップラベルという形で,ウィジェット内のデータに対する補助的監視を利用する。
我々のアプローチはARCTICのリーダーボード上で最高の3Dポーズを実現し、FrankMocapより優れています。
- 参考スコア(独自算出の注目度): 14.16233270809845
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present WildHands, a method for 3D hand pose estimation in egocentric
images in the wild. This is challenging due to (a) lack of 3D hand pose
annotations for images in the wild, and (b) a form of perspective
distortion-induced shape ambiguity that arises in the analysis of crops around
hands. For the former, we use auxiliary supervision on in-the-wild data in the
form of segmentation masks & grasp labels in addition to 3D supervision
available in lab datasets. For the latter, we provide spatial cues about the
location of the hand crop in the camera's field of view. Our approach achieves
the best 3D hand pose on the ARCTIC leaderboard and outperforms FrankMocap, a
popular and robust approach for estimating hand pose in the wild, by 45.3% when
evaluated on 2D hand pose on our EPIC-HandKps dataset.
- Abstract(参考訳): 野生の自我中心画像における3次元手ポーズ推定法であるWildHandsを提案する。
これは難しいことです
(a)野生のイメージに対する3dハンドポーズアノテーションの欠如,及び
(b)手まわりの作物の分析において生じる遠近的歪みによる形状曖昧さの一形態。
前者については,実験室データセットで利用可能な3次元監視に加えて,セグメンテーションマスクとグラブラベルという形で,wildデータに対する補助監督を行う。
後者については、カメラの視野における手作物の位置に関する空間的手がかりを提供する。
われわれのアプローチはARCTICのリーダーボード上で最高の3Dハンドポーズを実現し、EPIC-HandKpsデータセットで2Dハンドポーズを評価するとFrankMocapを45.3%向上させる。
関連論文リスト
- HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud [60.47544798202017]
ハンドポーズ推定は、様々な人間とコンピュータの相互作用アプリケーションにおいて重要なタスクである。
本論文は,手形画像点雲上での正確な手ポーズを反復的に認知する拡散型手ポーズ推定モデルであるHandDiffを提案する。
実験の結果,提案したHandDiffは,4つの挑戦的なハンドポーズベンチマークデータセットにおいて,既存のアプローチよりも大幅に優れていた。
論文 参考訳(メタデータ) (2024-04-04T02:15:16Z) - Neural Voting Field for Camera-Space 3D Hand Pose Estimation [106.34750803910714]
3次元暗黙表現に基づく1枚のRGB画像からカメラ空間の3Dハンドポーズ推定のための統一的なフレームワークを提案する。
本稿では,カメラフラストラムにおける高密度3次元ポイントワイド投票により,カメラ空間の3次元ハンドポーズを推定する,新しい3次元高密度回帰手法を提案する。
論文 参考訳(メタデータ) (2023-05-07T16:51:34Z) - LG-Hand: Advancing 3D Hand Pose Estimation with Locally and Globally
Kinematic Knowledge [0.693939291118954]
本稿では3次元手ポーズ推定のための強力な手法であるLG-Handを提案する。
キネマティックな情報が重要な役割を担い、3次元手ポーズ推定の性能に寄与すると主張している。
提案手法は,Person Hand Action Benchmarkデータセット上で有望な結果を得る。
論文 参考訳(メタデータ) (2022-11-06T15:26:32Z) - 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。
本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。
実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2022-07-22T13:04:06Z) - Model-based 3D Hand Reconstruction via Self-Supervised Learning [72.0817813032385]
シングルビューのRGB画像から3Dハンドを再構成することは、様々な手構成と深さのあいまいさのために困難である。
ポーズ, 形状, テクスチャ, カメラ視点を共同で推定できる, 自己教師型3Dハンド再構成ネットワークであるS2HANDを提案する。
初めて手動アノテーションを使わずに、正確な3D手の再構築ネットワークを訓練できることを実証しました。
論文 参考訳(メタデータ) (2021-03-22T10:12:43Z) - Residual Pose: A Decoupled Approach for Depth-based 3D Human Pose
Estimation [18.103595280706593]
我々は,CNNによる信頼度の高い2次元ポーズ推定の最近の進歩を活用し,深度画像から人物の3次元ポーズを推定する。
提案手法は2つの公開データセットの精度と速度の両面で非常に競争力のある結果が得られる。
論文 参考訳(メタデータ) (2020-11-10T10:08:13Z) - MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand
Pose Synthesis [81.40640219844197]
モノラルなRGB画像から3Dハンドポーズを推定することは重要だが難しい。
解決策は、高精度な3D手指キーポイントアノテーションを用いた大規模RGB手指画像のトレーニングである。
我々は,現実的で多様な3次元ポーズ保存ハンドイメージを合成する学習ベースアプローチを開発した。
論文 参考訳(メタデータ) (2020-10-02T18:27:34Z) - Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image
Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。
3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文 参考訳(メタデータ) (2020-04-09T07:55:01Z) - Silhouette-Net: 3D Hand Pose Estimation from Silhouettes [16.266199156878056]
既存のアプローチは主に、モノクラーRGB、マルチビューRGB、ディープ、ポイントクラウドなど、異なる入力モダリティと設定を考慮に入れている。
暗黙の奥行き認識からガイダンスを自動的に学習し、エンドツーエンドのトレーニングを通じてポーズのあいまいさを解決する新しいアーキテクチャを提案する。
論文 参考訳(メタデータ) (2019-12-28T10:29:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。