論文の概要: Efficient Annotation and Learning for 3D Hand Pose Estimation: A Survey
- arxiv url: http://arxiv.org/abs/2206.02257v3
- Date: Wed, 26 Apr 2023 06:45:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-27 18:36:06.684709
- Title: Efficient Annotation and Learning for 3D Hand Pose Estimation: A Survey
- Title(参考訳): 3次元手のポーズ推定のための効率的なアノテーションと学習:調査
- Authors: Takehiko Ohkawa and Ryosuke Furuta and Yoichi Sato
- Abstract要約: 3Dハンドポーズ推定は、ビデオ理解、AR/VR、ロボット工学などの様々な応用を可能にする可能性がある。
しかし、モデルの性能は、注釈付き3Dハンドポーズの品質と量に結びついている。
本研究では,自己教師付き事前学習,半教師付き学習,ドメイン適応など,注釈付きデータが不足している場合の3次元手振りの学習方法を検討する。
- 参考スコア(独自算出の注目度): 23.113633046349314
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this survey, we present a systematic review of 3D hand pose estimation
from the perspective of efficient annotation and learning. 3D hand pose
estimation has been an important research area owing to its potential to enable
various applications, such as video understanding, AR/VR, and robotics.
However, the performance of models is tied to the quality and quantity of
annotated 3D hand poses. Under the status quo, acquiring such annotated 3D hand
poses is challenging, e.g., due to the difficulty of 3D annotation and the
presence of occlusion. To reveal this problem, we review the pros and cons of
existing annotation methods classified as manual, synthetic-model-based,
hand-sensor-based, and computational approaches. Additionally, we examine
methods for learning 3D hand poses when annotated data are scarce, including
self-supervised pretraining, semi-supervised learning, and domain adaptation.
Based on the study of efficient annotation and learning, we further discuss
limitations and possible future directions in this field.
- Abstract(参考訳): 本稿では,効率的なアノテーションと学習の観点からの3次元手ポーズ推定の体系的レビューを行う。
3Dハンドポーズ推定は、ビデオ理解、AR/VR、ロボット工学といった様々な応用を可能にする可能性から、重要な研究領域となっている。
しかし、モデルの性能は注釈付き3dハンドポーズの品質と量に関係している。
現状では、3Dアノテーションの難しさや閉塞の存在など、このような注釈付き3Dハンドポーズの取得は困難である。
この問題を明らかにするために,手動,合成モデルベース,手動センサベース,計算手法に分類される既存のアノテーション手法の長所と短所を概観する。
さらに, 自己教師付き事前学習, 半教師付き学習, ドメイン適応など, 注釈データ不足時の3d手ポーズの学習方法について検討した。
効率的なアノテーションと学習の研究に基づいて,この分野の限界と今後の方向性についてさらに議論する。
関連論文リスト
- In My Perspective, In My Hands: Accurate Egocentric 2D Hand Pose and Action Recognition [1.4732811715354455]
アクション認識は、エゴセントリックなビデオ理解に不可欠であり、ユーザの努力なしに日々の生活活動(ADL)の自動的かつ継続的なモニタリングを可能にする。
既存の文献では、計算集約的な深度推定ネットワークを必要とする3Dハンドポーズ入力や、不快な深度センサーを装着することに焦点を当てている。
EffHandEgoNetとEffHandEgoNetの2つの新しい手法を導入する。
論文 参考訳(メタデータ) (2024-04-14T17:33:33Z) - PONet: Robust 3D Human Pose Estimation via Learning Orientations Only [116.1502793612437]
本稿では,学習向きのみを用いて3次元ポーズを頑健に推定できる新しいPose Orientation Net(PONet)を提案する。
PONetは、局所的な画像証拠を利用して、これらの手足の3D方向を推定し、3Dポーズを復元する。
我々は,Human3.6M,MPII,MPI-INF-3DHP,3DPWを含む複数のデータセットについて評価を行った。
論文 参考訳(メタデータ) (2021-12-21T12:48:48Z) - Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。
まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
論文 参考訳(メタデータ) (2021-08-16T12:26:34Z) - Model-based 3D Hand Reconstruction via Self-Supervised Learning [72.0817813032385]
シングルビューのRGB画像から3Dハンドを再構成することは、様々な手構成と深さのあいまいさのために困難である。
ポーズ, 形状, テクスチャ, カメラ視点を共同で推定できる, 自己教師型3Dハンド再構成ネットワークであるS2HANDを提案する。
初めて手動アノテーションを使わずに、正確な3D手の再構築ネットワークを訓練できることを実証しました。
論文 参考訳(メタデータ) (2021-03-22T10:12:43Z) - Temporal-Aware Self-Supervised Learning for 3D Hand Pose and Mesh
Estimation in Videos [32.12879364117658]
RGB画像から直接3Dハンドポーズを推定することは難しいが、注釈付き3Dポーズで深層モデルを訓練することで、近年着実に進歩している。
本稿では,RGB画像からの3Dポーズ推定モデルの訓練を行うためのフレームワークを提案する。
論文 参考訳(メタデータ) (2020-12-06T07:54:18Z) - 3D Registration for Self-Occluded Objects in Context [66.41922513553367]
このシナリオを効果的に処理できる最初のディープラーニングフレームワークを紹介します。
提案手法はインスタンスセグメンテーションモジュールとポーズ推定モジュールから構成される。
これにより、高価な反復手順を必要とせず、ワンショットで3D登録を行うことができます。
論文 参考訳(メタデータ) (2020-11-23T08:05:28Z) - Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image
Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。
3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文 参考訳(メタデータ) (2020-04-09T07:55:01Z) - Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and
Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。
本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
論文 参考訳(メタデータ) (2020-03-30T19:28:13Z) - Silhouette-Net: 3D Hand Pose Estimation from Silhouettes [16.266199156878056]
既存のアプローチは主に、モノクラーRGB、マルチビューRGB、ディープ、ポイントクラウドなど、異なる入力モダリティと設定を考慮に入れている。
暗黙の奥行き認識からガイダンスを自動的に学習し、エンドツーエンドのトレーニングを通じてポーズのあいまいさを解決する新しいアーキテクチャを提案する。
論文 参考訳(メタデータ) (2019-12-28T10:29:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。