論文の概要: SeqHAND:RGB-Sequence-Based 3D Hand Pose and Shape Estimation
- arxiv url: http://arxiv.org/abs/2007.05168v1
- Date: Fri, 10 Jul 2020 05:11:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-11 22:10:18.558741
- Title: SeqHAND:RGB-Sequence-Based 3D Hand Pose and Shape Estimation
- Title(参考訳): SeqHAND:RGBシーケンスに基づく3次元ハンドポースと形状推定
- Authors: John Yang, Hyung Jin Chang, Seungeui Lee, Nojun Kwak
- Abstract要約: RGB画像に基づく3次元手ポーズ推定は長い間研究されてきた。
本研究では,人間の手の動きを模倣する合成データセットを生成する手法を提案する。
本研究では,3次元ポーズ推定における時間情報の利用により,一般的なポーズ推定が大幅に向上することを示す。
- 参考スコア(独自算出の注目度): 48.456638103309544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D hand pose estimation based on RGB images has been studied for a long time.
Most of the studies, however, have performed frame-by-frame estimation based on
independent static images. In this paper, we attempt to not only consider the
appearance of a hand but incorporate the temporal movement information of a
hand in motion into the learning framework for better 3D hand pose estimation
performance, which leads to the necessity of a large scale dataset with
sequential RGB hand images. We propose a novel method that generates a
synthetic dataset that mimics natural human hand movements by re-engineering
annotations of an extant static hand pose dataset into pose-flows. With the
generated dataset, we train a newly proposed recurrent framework, exploiting
visuo-temporal features from sequential images of synthetic hands in motion and
emphasizing temporal smoothness of estimations with a temporal consistency
constraint. Our novel training strategy of detaching the recurrent layer of the
framework during domain finetuning from synthetic to real allows preservation
of the visuo-temporal features learned from sequential synthetic hand images.
Hand poses that are sequentially estimated consequently produce natural and
smooth hand movements which lead to more robust estimations. We show that
utilizing temporal information for 3D hand pose estimation significantly
enhances general pose estimations by outperforming state-of-the-art methods in
experiments on hand pose estimation benchmarks.
- Abstract(参考訳): RGB画像に基づく3次元手ポーズ推定は長い間研究されてきた。
しかし、ほとんどの研究は独立した静的画像に基づくフレームバイフレーム推定を行っている。
本稿では,手の外観だけでなく,手の動きの時間的移動情報を学習フレームワークに組み込んで3次元手ポーズ推定性能を向上させることで,rgb手画像を用いた大規模データセットの必要性を生かそうとする。
本研究では,既存の静的ポーズデータセットのアノテーションをポーズフローに再設計することで,人間の手の動きを模倣する合成データセットを生成する手法を提案する。
生成したデータセットを用いて,新たに提案するリカレント・フレームワークを訓練し,合成手の動きの逐次画像から時間的特徴を活用し,時間的一貫性を制約した推定の時間的滑らかさを強調する。
本研究は, 合成画像から学習した時空間的特徴の保存を可能にするため, ドメインの微調整中にフレームワークのリカレント層を切り離すための新しいトレーニング戦略を提案する。
連続的に推定される手ポーズは、より堅牢な推定につながる自然な手の動きと滑らかな手の動きを生み出す。
本研究では,3次元手振り推定における時間的情報の利用により,手振り推定ベンチマーク実験において,手振り推定実験において,手振り推定の精度を向上することを示す。
関連論文リスト
- HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud [60.47544798202017]
ハンドポーズ推定は、様々な人間とコンピュータの相互作用アプリケーションにおいて重要なタスクである。
本論文は,手形画像点雲上での正確な手ポーズを反復的に認知する拡散型手ポーズ推定モデルであるHandDiffを提案する。
実験の結果,提案したHandDiffは,4つの挑戦的なハンドポーズベンチマークデータセットにおいて,既存のアプローチよりも大幅に優れていた。
論文 参考訳(メタデータ) (2024-04-04T02:15:16Z) - Mesh Represented Recycle Learning for 3D Hand Pose and Mesh Estimation [3.126179109712709]
本稿では,3次元ハンドポーズとメッシュ推定のためのメッシュ表現型リサイクル学習戦略を提案する。
具体的には、ハンドポーズとメッシュ推定モデルはまずパラメトリックな3Dハンドアノテーションを予測する。
次に、自己推定手メッシュ表現を用いて合成手画像を生成する。
第3に、合成手画像は同じモデルに再び入力される。
論文 参考訳(メタデータ) (2023-10-18T09:50:09Z) - Denoising Diffusion for 3D Hand Pose Estimation from Images [38.20064386142944]
本稿では,モノクロ画像やシーケンスからの3次元手ポーズ推定の問題に対処する。
本稿では,3次元ハンドレグレッションのための新しいエンド・ツー・エンド・エンド・フレームワークを提案する。
提案モデルは,2次元の片手画像を3Dに持ち上げる際に,最先端の性能を提供する。
論文 参考訳(メタデータ) (2023-08-18T12:57:22Z) - Exploiting Spatial-Temporal Context for Interacting Hand Reconstruction
on Monocular RGB Video [104.69686024776396]
モノラルなRGBデータからインタラクションハンドを再構築することは、多くの干渉要因が伴うため、難しい作業である。
これまでの作業は、物理的に妥当な関係をモデル化することなく、単一のRGBイメージからの情報のみを活用する。
本研究は, 空間的時間的情報を明示的に活用し, より優れた対話的手指再建を実現することを目的としている。
論文 参考訳(メタデータ) (2023-08-08T06:16:37Z) - HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。
我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
論文 参考訳(メタデータ) (2023-03-24T06:19:19Z) - 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。
本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。
実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2022-07-22T13:04:06Z) - 3D Hand Pose and Shape Estimation from RGB Images for Improved
Keypoint-Based Hand-Gesture Recognition [25.379923604213626]
本稿では3次元手とポーズ推定のためのキーポイントに基づくエンドツーエンドフレームワークを提案する。
研究ケースとして手身認識タスクにうまく適用できる。
論文 参考訳(メタデータ) (2021-09-28T17:07:43Z) - Leveraging Photometric Consistency over Time for Sparsely Supervised
Hand-Object Reconstruction [118.21363599332493]
本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。
本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。
提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
論文 参考訳(メタデータ) (2020-04-28T12:03:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。