論文の概要: ThermoHands: A Benchmark for 3D Hand Pose Estimation from Egocentric Thermal Images

• arxiv url: http://arxiv.org/abs/2403.09871v4
• Date: Fri, 15 Nov 2024 16:01:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:36:42.852165
• Title: ThermoHands: A Benchmark for 3D Hand Pose Estimation from Egocentric Thermal Images
• Title（参考訳）: ThermoHands:エゴセントリックな熱画像から3Dハンドポースを推定するベンチマーク
• Authors: Fangqiang Ding, Yunzhou Zhu, Xiangyu Wen, Gaowen Liu, Chris Xiaoxuan Lu,
• Abstract要約: 熱画像に基づくエゴセントリックな3Dハンドポーズ推定に焦点をあてた最初のベンチマークであるThermoHandsを紹介する。 熱画像におけるエゴセントリックな3Dハンドポーズ推定に2つのトランスフォーマーモジュールを利用する新しいベースライン手法であるTherFormerを導入する。
• 参考スコア（独自算出の注目度）: 12.887546538760436
• License:
• Abstract: Designing egocentric 3D hand pose estimation systems that can perform reliably in complex, real-world scenarios is crucial for downstream applications. Previous approaches using RGB or NIR imagery struggle in challenging conditions: RGB methods are susceptible to lighting variations and obstructions like handwear, while NIR techniques can be disrupted by sunlight or interference from other NIR-equipped devices. To address these limitations, we present ThermoHands, the first benchmark focused on thermal image-based egocentric 3D hand pose estimation, demonstrating the potential of thermal imaging to achieve robust performance under these conditions. The benchmark includes a multi-view and multi-spectral dataset collected from 28 subjects performing hand-object and hand-virtual interactions under diverse scenarios, accurately annotated with 3D hand poses through an automated process. We introduce a new baseline method, TherFormer, utilizing dual transformer modules for effective egocentric 3D hand pose estimation in thermal imagery. Our experimental results highlight TherFormer's leading performance and affirm thermal imaging's effectiveness in enabling robust 3D hand pose estimation in adverse conditions.
• Abstract（参考訳）: 複雑な実世界のシナリオで確実に機能するエゴセントリックな3Dポーズ推定システムを設計することは、下流アプリケーションにとって不可欠である。 RGB法は、日光や他のNIR搭載デバイスからの干渉によって、NIR技術が破壊されるのに対して、ハンドウェアのような照明のバリエーションや障害の影響を受けやすい。 これらの制約に対処するため,熱画像に基づくエゴセントリックな3Dハンドポーズ推定に焦点をあてた最初のベンチマークであるThermoHandsを紹介し,これらの条件下での堅牢な性能を実現するための熱画像の可能性を示す。 ベンチマークには、さまざまなシナリオ下で手動オブジェクトと手動仮想インタラクションを実行する28人の被験者から収集された多視点および多スペクトルデータセットが含まれており、自動化プロセスを通じて正確に3D手ポーズで注釈付けされている。 熱画像におけるエゴセントリックな3Dハンドポーズ推定に2つのトランスフォーマーモジュールを利用する新しいベースライン手法であるTherFormerを導入する。 TherFormerの先行性能と3次元手ぶれ推定における熱画像の有効性を実証した。

関連論文リスト

• WiLoR: End-to-end 3D Hand Localization and Reconstruction in-the-wild [53.288327629960364]
  野生における効率的なマルチハンド再構築のためのデータ駆動パイプラインを提案する。 提案するパイプラインは、リアルタイム完全畳み込みハンドローカライゼーションと、高忠実度トランスフォーマーに基づく3Dハンド再構成モデルという2つのコンポーネントで構成されている。 提案手法は, 一般的な2次元および3次元のベンチマークにおいて, 効率と精度の両方において, 従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-18T18:46:51Z)
• SHARP: Segmentation of Hands and Arms by Range using Pseudo-Depth for Enhanced Egocentric 3D Hand Pose Estimation and Action Recognition [5.359837526794863]
  ハンドポーズは、エゴセントリックな視点における行動認識のための重要な情報である。 擬似深度画像のみを用いてRGBフレームに基づく自家中心の3次元ポーズ推定を改善することを提案する。
  論文  参考訳（メタデータ） (2024-08-19T14:30:29Z)
• 3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera [59.846927201816776]
  本稿では,1つの単眼イベントカメラから手の動きの速い2つの手の動きを3次元追跡するための最初のフレームワークを紹介する。 本手法は, 半教師付き機能的注意機構により, 左手のあいまいさに対処し, 交差点の損失を補足して手衝突を解消する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:57Z)
• 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
  単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。 本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。 実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-07-22T13:04:06Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)
• 3D Hand Pose and Shape Estimation from RGB Images for Improved Keypoint-Based Hand-Gesture Recognition [25.379923604213626]
  本稿では3次元手とポーズ推定のためのキーポイントに基づくエンドツーエンドフレームワークを提案する。 研究ケースとして手身認識タスクにうまく適用できる。
  論文  参考訳（メタデータ） (2021-09-28T17:07:43Z)
• RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
  本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
  論文  参考訳（メタデータ） (2021-06-22T12:53:56Z)
• Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
  HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。 本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
  論文  参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。