論文の概要: ThermoHands: A Benchmark for 3D Hand Pose Estimation from Egocentric Thermal Images
- arxiv url: http://arxiv.org/abs/2403.09871v4
- Date: Fri, 15 Nov 2024 16:01:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-18 15:36:42.852165
- Title: ThermoHands: A Benchmark for 3D Hand Pose Estimation from Egocentric Thermal Images
- Title（参考訳）: ThermoHands:エゴセントリックな熱画像から3Dハンドポースを推定するベンチマーク
- Authors: Fangqiang Ding, Yunzhou Zhu, Xiangyu Wen, Gaowen Liu, Chris Xiaoxuan Lu,
- Abstract要約: 熱画像に基づくエゴセントリックな3Dハンドポーズ推定に焦点をあてた最初のベンチマークであるThermoHandsを紹介する。
熱画像におけるエゴセントリックな3Dハンドポーズ推定に2つのトランスフォーマーモジュールを利用する新しいベースライン手法であるTherFormerを導入する。
- 参考スコア（独自算出の注目度）: 12.887546538760436
- License:
- Abstract: Designing egocentric 3D hand pose estimation systems that can perform reliably in complex, real-world scenarios is crucial for downstream applications. Previous approaches using RGB or NIR imagery struggle in challenging conditions: RGB methods are susceptible to lighting variations and obstructions like handwear, while NIR techniques can be disrupted by sunlight or interference from other NIR-equipped devices. To address these limitations, we present ThermoHands, the first benchmark focused on thermal image-based egocentric 3D hand pose estimation, demonstrating the potential of thermal imaging to achieve robust performance under these conditions. The benchmark includes a multi-view and multi-spectral dataset collected from 28 subjects performing hand-object and hand-virtual interactions under diverse scenarios, accurately annotated with 3D hand poses through an automated process. We introduce a new baseline method, TherFormer, utilizing dual transformer modules for effective egocentric 3D hand pose estimation in thermal imagery. Our experimental results highlight TherFormer's leading performance and affirm thermal imaging's effectiveness in enabling robust 3D hand pose estimation in adverse conditions.
- Abstract（参考訳）: 複雑な実世界のシナリオで確実に機能するエゴセントリックな3Dポーズ推定システムを設計することは、下流アプリケーションにとって不可欠である。
RGB法は、日光や他のNIR搭載デバイスからの干渉によって、NIR技術が破壊されるのに対して、ハンドウェアのような照明のバリエーションや障害の影響を受けやすい。
これらの制約に対処するため,熱画像に基づくエゴセントリックな3Dハンドポーズ推定に焦点をあてた最初のベンチマークであるThermoHandsを紹介し,これらの条件下での堅牢な性能を実現するための熱画像の可能性を示す。
ベンチマークには、さまざまなシナリオ下で手動オブジェクトと手動仮想インタラクションを実行する28人の被験者から収集された多視点および多スペクトルデータセットが含まれており、自動化プロセスを通じて正確に3D手ポーズで注釈付けされている。
熱画像におけるエゴセントリックな3Dハンドポーズ推定に2つのトランスフォーマーモジュールを利用する新しいベースライン手法であるTherFormerを導入する。
TherFormerの先行性能と3次元手ぶれ推定における熱画像の有効性を実証した。
関連論文リスト
- SHARP: Segmentation of Hands and Arms by Range using Pseudo-Depth for Enhanced Egocentric 3D Hand Pose Estimation and Action Recognition [5.359837526794863]
ハンドポーズは、エゴセントリックな視点における行動認識のための重要な情報である。
擬似深度画像のみを用いてRGBフレームに基づく自家中心の3次元ポーズ推定を改善することを提案する。
論文 参考訳（メタデータ） (2024-08-19T14:30:29Z) - HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud [60.47544798202017]
ハンドポーズ推定は、様々な人間とコンピュータの相互作用アプリケーションにおいて重要なタスクである。
本論文は,手形画像点雲上での正確な手ポーズを反復的に認知する拡散型手ポーズ推定モデルであるHandDiffを提案する。
実験の結果,提案したHandDiffは,4つの挑戦的なハンドポーズベンチマークデータセットにおいて,既存のアプローチよりも大幅に優れていた。
論文 参考訳（メタデータ） (2024-04-04T02:15:16Z) - 1st Place Solution of Egocentric 3D Hand Pose Estimation Challenge 2023
Technical Report:A Concise Pipeline for Egocentric Hand Pose Reconstruction [11.551318550321938]
AssemblyHandsを使って、この課題は、単視点画像からエゴセントリックな3D手ポーズの推定に焦点を当てる。
ViTベースのバックボーンと、強力なモデルベースラインを提供する3Dキーポイント予測のためのシンプルな回帰器を採用しています。
提案手法は,テストデータセット上で12.21mmMPJPEを達成し,Egocentric 3D Hand Pose Estimation において第1位を獲得した。
論文 参考訳（メタデータ） (2023-10-07T10:25:50Z) - Denoising Diffusion for 3D Hand Pose Estimation from Images [38.20064386142944]
本稿では,モノクロ画像やシーケンスからの3次元手ポーズ推定の問題に対処する。
本稿では,3次元ハンドレグレッションのための新しいエンド・ツー・エンド・エンド・フレームワークを提案する。
提案モデルは,2次元の片手画像を3Dに持ち上げる際に,最先端の性能を提供する。
論文 参考訳（メタデータ） (2023-08-18T12:57:22Z) - AssemblyHands: Towards Egocentric Activity Understanding via 3D Hand
Pose Estimation [26.261767086366866]
正確な3Dハンドポーズアノテーションを備えた大規模ベンチマークデータセットである AssemblyHands を提示する。
AssemblyHandsは490Kのエゴセントリックなイメージを含む3.0Mの注釈付きイメージを提供する。
我々の研究は、高品質の手のポーズが、行動を認識する能力を直接的に改善することを示しています。
論文 参考訳（メタデータ） (2023-04-24T17:52:57Z) - 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。
本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。
実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
論文 参考訳（メタデータ） (2022-07-22T13:04:06Z) - Efficient Virtual View Selection for 3D Hand Pose Estimation [50.93751374572656]
単一深度からの3次元手ポーズ推定のための仮想ビュー選択と融合モジュールを提案する。
提案する仮想ビュー選択と融合モジュールはどちらも3次元手ポーズ推定に有効である。
論文 参考訳（メタデータ） (2022-03-29T11:57:53Z) - 3D Hand Pose and Shape Estimation from RGB Images for Improved
Keypoint-Based Hand-Gesture Recognition [25.379923604213626]
本稿では3次元手とポーズ推定のためのキーポイントに基づくエンドツーエンドフレームワークを提案する。
研究ケースとして手身認識タスクにうまく適用できる。
論文 参考訳（メタデータ） (2021-09-28T17:07:43Z) - Self-Supervised 3D Hand Pose Estimation from monocular RGB via
Contrastive Learning [50.007445752513625]
本稿では,3次元ポーズ推定における構造化回帰タスクに対する自己教師付き手法を提案する。
我々は、不変および同変のコントラスト目的の影響を実験的に検討した。
追加のラベル付きデータに基づいてトレーニングされた標準のResNet-152が、FreiHAND上のPA-EPEで7.6%の改善を実現していることを示す。
論文 参考訳（メタデータ） (2021-06-10T17:48:57Z) - MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand
Pose Synthesis [81.40640219844197]
モノラルなRGB画像から3Dハンドポーズを推定することは重要だが難しい。
解決策は、高精度な3D手指キーポイントアノテーションを用いた大規模RGB手指画像のトレーニングである。
我々は,現実的で多様な3次元ポーズ保存ハンドイメージを合成する学習ベースアプローチを開発した。
論文 参考訳（メタデータ） (2020-10-02T18:27:34Z) - Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and
Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。
本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
論文 参考訳（メタデータ） (2020-03-30T19:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。