論文の概要: AssemblyHands: Towards Egocentric Activity Understanding via 3D Hand Pose Estimation

• arxiv url: http://arxiv.org/abs/2304.12301v1
• Date: Mon, 24 Apr 2023 17:52:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 13:47:19.925248
• Title: AssemblyHands: Towards Egocentric Activity Understanding via 3D Hand Pose Estimation
• Title（参考訳）: AssemblyHands: 3Dハンドポース推定によるエゴセントリックな活動理解を目指して
• Authors: Takehiko Ohkawa, Kun He, Fadime Sener, Tomas Hodan, Luan Tran, Cem Keskin
• Abstract要約: 正確な3Dハンドポーズアノテーションを備えた大規模ベンチマークデータセットである AssemblyHands を提示する。 AssemblyHandsは490Kのエゴセントリックなイメージを含む3.0Mの注釈付きイメージを提供する。 我々の研究は、高品質の手のポーズが、行動を認識する能力を直接的に改善することを示しています。
• 参考スコア（独自算出の注目度）: 26.261767086366866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present AssemblyHands, a large-scale benchmark dataset with accurate 3D hand pose annotations, to facilitate the study of egocentric activities with challenging hand-object interactions. The dataset includes synchronized egocentric and exocentric images sampled from the recent Assembly101 dataset, in which participants assemble and disassemble take-apart toys. To obtain high-quality 3D hand pose annotations for the egocentric images, we develop an efficient pipeline, where we use an initial set of manual annotations to train a model to automatically annotate a much larger dataset. Our annotation model uses multi-view feature fusion and an iterative refinement scheme, and achieves an average keypoint error of 4.20 mm, which is 85% lower than the error of the original annotations in Assembly101. AssemblyHands provides 3.0M annotated images, including 490K egocentric images, making it the largest existing benchmark dataset for egocentric 3D hand pose estimation. Using this data, we develop a strong single-view baseline of 3D hand pose estimation from egocentric images. Furthermore, we design a novel action classification task to evaluate predicted 3D hand poses. Our study shows that having higher-quality hand poses directly improves the ability to recognize actions.
• Abstract（参考訳）: 本研究では,3dハンドポーズの正確なアノテーションを用いた大規模ベンチマークデータセットであるassemblyhandsを提案する。 データセットには、最近のassembly101データセットからサンプリングされた、エゴセントリックおよびexocentricイメージの同期が含まれており、参加者はテイク・アパルトイを組み立てて分解する。 エゴセントリックなイメージのための高品質な3dハンドポーズアノテーションを得るため、我々は効率的なパイプラインを開発し、最初の手動アノテーションセットを使用してモデルのトレーニングを行い、さらに大きなデータセットに自動アノテートします。 アノテーションモデルでは,マルチビュー機能融合と反復改良方式を用い,平均キーポイント誤差は4.20mmであり,アセンブラ101のアノテーションの誤りよりも85%低い。 AssemblyHandsは490Kのエゴセントリックなイメージを含む3.0Mの注釈付きイメージを提供しており、エゴセントリックな3Dポーズ推定のための最大のベンチマークデータセットとなっている。 このデータを用いて,自我中心画像からの3次元手ポーズ推定の強力な単視点ベースラインを開発した。 さらに,予測した3次元手指ポーズを評価するための新しい行動分類タスクを設計する。 本研究は,高品位な手を持つことが,行動を認識する能力を直接向上させることを示す。

関連論文リスト

• In My Perspective, In My Hands: Accurate Egocentric 2D Hand Pose and Action Recognition [1.4732811715354455]
  アクション認識は、エゴセントリックなビデオ理解に不可欠であり、ユーザの努力なしに日々の生活活動(ADL)の自動的かつ継続的なモニタリングを可能にする。 既存の文献では、計算集約的な深度推定ネットワークを必要とする3Dハンドポーズ入力や、不快な深度センサーを装着することに焦点を当てている。 EffHandEgoNetとEffHandEgoNetの2つの新しい手法を導入する。
  論文  参考訳（メタデータ） (2024-04-14T17:33:33Z)
• HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud [60.47544798202017]
  ハンドポーズ推定は、様々な人間とコンピュータの相互作用アプリケーションにおいて重要なタスクである。 本論文は,手形画像点雲上での正確な手ポーズを反復的に認知する拡散型手ポーズ推定モデルであるHandDiffを提案する。 実験の結果,提案したHandDiffは,4つの挑戦的なハンドポーズベンチマークデータセットにおいて,既存のアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-04-04T02:15:16Z)
• Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
  ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。 我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。 提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
  論文  参考訳（メタデータ） (2024-03-25T05:12:21Z)
• HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
  我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。 頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-27T22:35:33Z)
• 1st Place Solution of Egocentric 3D Hand Pose Estimation Challenge 2023 Technical Report:A Concise Pipeline for Egocentric Hand Pose Reconstruction [11.551318550321938]
  AssemblyHandsを使って、この課題は、単視点画像からエゴセントリックな3D手ポーズの推定に焦点を当てる。 ViTベースのバックボーンと、強力なモデルベースラインを提供する3Dキーポイント予測のためのシンプルな回帰器を採用しています。 提案手法は,テストデータセット上で12.21mmMPJPEを達成し,Egocentric 3D Hand Pose Estimation において第1位を獲得した。
  論文  参考訳（メタデータ） (2023-10-07T10:25:50Z)
• Ego2HandsPose: A Dataset for Egocentric Two-hand 3D Global Pose Estimation [0.0]
  Ego2HandsPoseは、目に見えないドメインでカラーベースの2Dトラッキングを可能にする最初のデータセットである。 本研究では,1)1つの画像を用いた3次元手ポーズアノテーションの実現,2)2次元手ポーズから3次元手ポーズへの自動変換,3)時間的整合性を伴う高精度な両手トラッキングを実現するためのパラメトリックフィッティングアルゴリズムの開発を行う。
  論文  参考訳（メタデータ） (2022-06-10T07:50:45Z)
• Understanding Egocentric Hand-Object Interactions from Hand Pose Estimation [24.68535915849555]
  本稿では,エゴセントリックな画像を含むデータセットをペアワイズにラベル付けする手法を提案する。 また、収集したペアワイズデータを用いて、効率的なエンコーダ-デコーダスタイルのネットワークをトレーニングします。
  論文  参考訳（メタデータ） (2021-09-29T18:34:06Z)
• H2O: Two Hands Manipulating Objects for First Person Interaction Recognition [70.46638409156772]
  両手操作対象のマーカーレス3Dアノテーションを用いて,エゴセントリックな対話認識のための包括的なフレームワークを提案する。 本手法は,2つの手の3次元ポーズと操作対象の6次元ポーズのアノテーションと,それぞれのフレームのインタラクションラベルを生成する。 我々のデータセットは、H2O (2 Hands and Objects)と呼ばれ、同期されたマルチビューRGB-D画像、対話ラベル、オブジェクトクラス、左右の手でのグラウンドトルース3Dポーズ、6Dオブジェクトポーズ、グラウンドトルースカメラポーズ、オブジェクトメッシュ、シーンポイントクラウドを提供する。
  論文  参考訳（メタデータ） (2021-04-22T17:10:42Z)
• MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand Pose Synthesis [81.40640219844197]
  モノラルなRGB画像から3Dハンドポーズを推定することは重要だが難しい。 解決策は、高精度な3D手指キーポイントアノテーションを用いた大規模RGB手指画像のトレーニングである。 我々は,現実的で多様な3次元ポーズ保存ハンドイメージを合成する学習ベースアプローチを開発した。
  論文  参考訳（メタデータ） (2020-10-02T18:27:34Z)
• Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
  HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。 本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
  論文  参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。