論文の概要: AirGlove: Exploring Egocentric 3D Hand Tracking and Appearance Generalization for Sensing Gloves
- arxiv url: http://arxiv.org/abs/2602.05159v1
- Date: Thu, 05 Feb 2026 00:24:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-06 18:49:08.682567
- Title: AirGlove: Exploring Egocentric 3D Hand Tracking and Appearance Generalization for Sensing Gloves
- Title(参考訳): AirGlove:エゴセントリックな3Dハンドトラッキングと、センシンググローブの外観一般化を探求
- Authors: Wenhui Cui, Ziyi Kou, Chuan Qin, Ergys Ristani, Li Guan,
- Abstract要約: 本研究は,愛手を用いた視覚に基づく手の動き追跡モデルの最初の体系的評価である。
既存の素手モデルでは、素手デザインと手袋デザインの間に大きなギャップがあるため、性能が著しく低下する。
本研究では,既存のグローブを利用して学習したグローブ表現を,限られたデータで新たなグローブへ一般化するAirGloveを提案する。
- 参考スコア(独自算出の注目度): 10.234494805527943
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sensing gloves have become important tools for teleoperation and robotic policy learning as they are able to provide rich signals like speed, acceleration and tactile feedback. A common approach to track gloved hands is to directly use the sensor signals (e.g., angular velocity, gravity orientation) to estimate 3D hand poses. However, sensor-based tracking can be restrictive in practice as the accuracy is often impacted by sensor signal and calibration quality. Recent advances in vision-based approaches have achieved strong performance on human hands via large-scale pre-training, but their performance on gloved hands with distinct visual appearances remains underexplored. In this work, we present the first systematic evaluation of vision-based hand tracking models on gloved hands under both zero-shot and fine-tuning setups. Our analysis shows that existing bare-hand models suffer from substantial performance degradation on sensing gloves due to large appearance gap between bare-hand and glove designs. We therefore propose AirGlove, which leverages existing gloves to generalize the learned glove representations towards new gloves with limited data. Experiments with multiple sensing gloves show that AirGlove effectively generalizes the hand pose models to new glove designs and achieves a significant performance boost over the compared schemes.
- Abstract(参考訳): センシンググローブは、速度、加速度、触覚フィードバックといったリッチな信号を提供することができるため、遠隔操作やロボットポリシー学習にとって重要なツールとなっている。
手袋をはめた手を追跡する一般的なアプローチは、センサ信号(例えば角速度、重力方向)を直接使用して3Dハンドポーズを推定することである。
しかし、センサ信号やキャリブレーション品質によって精度が影響されることがしばしばあるため、実際にはセンサベースのトラッキングは制限される。
視覚に基づくアプローチの最近の進歩は、大規模な事前訓練を通じて、人間の手での強いパフォーマンスを実現している。
本研究では、ゼロショットとファインチューニングの両方のセットアップの下で、愛手を用いた視覚に基づく手の動き追跡モデルの最初の体系的評価を示す。
本分析により, 既設の裸手モデルでは, 裸手モデルと手袋モデルとの外観差が大きいため, 感光手袋の性能劣化が著しいことがわかった。
そこで我々は,既存のグローブを利用して学習したグローブ表現を,限られたデータで新たなグローブへ一般化するAirGloveを提案する。
複数のセンサーグローブを用いた実験により、AirGloveはハンドポーズモデルを新しいグローブデザインに効果的に一般化し、比較したスキームよりも顕著な性能向上を達成することが示された。
関連論文リスト
- HOMIE: Humanoid Loco-Manipulation with Isomorphic Exoskeleton Cockpit [52.12750762494588]
本稿では,半自律遠隔操作システムHOMIEを紹介する。
ペダルにマッピングされた身体制御のための強化学習ポリシー、腕制御のための異形外骨格アーム、手操作のためのモーションセンシンググローブを組み合わせている。
このシステムは完全なオープンソースであり、デモとコードはhttps://homietele.org/.com/で見ることができる。
論文 参考訳(メタデータ) (2025-02-18T16:33:38Z) - mmEgoHand: Egocentric Hand Pose Estimation and Gesture Recognition with Head-mounted Millimeter-wave Radar and IMU [15.086294532079908]
mmEgoHandは、手振り推定のためのヘッドマウントエゴセントリックシステムである。
ジェスチャー認識、VRインタラクション、スキルのデジタル化とアセスメント、ロボット遠隔操作などのアプリケーションをサポートする。
mmEgoHandは、動的知覚を可能にするために、mmWaveレーダーと慣性測定ユニット(IMU)を統合する。
論文 参考訳(メタデータ) (2025-01-23T16:25:08Z) - UltraGlove: Hand Pose Estimation with Mems-Ultrasonic Sensors [14.257535961674021]
指に装着した複数のMEMS超音波センサを用いた手指追跡グローブを提案する。
実験の結果,本手法は精度,サイズに依存し,外的干渉に対して頑健であることがわかった。
論文 参考訳(メタデータ) (2023-06-22T03:41:47Z) - Deformer: Dynamic Fusion Transformer for Robust Hand Pose Estimation [59.3035531612715]
既存の方法では、手のこもりが強かったり、ぼやけたりすると、手のポーズが難しい場合が多い。
ビデオでは、手の動きによって、片方のフレームに隠されたり、ぼやけたりして、手のさまざまな部分を観察することができる。
画像内の手の部分間の関係を暗黙的に推論するフレームワークであるDeformerを提案する。
論文 参考訳(メタデータ) (2023-03-09T02:24:30Z) - Reconfigurable Data Glove for Reconstructing Physical and Virtual Grasps [100.72245315180433]
本研究では,人間の手-物体相互作用の異なるモードを捉えるために,再構成可能なデータグローブの設計を提案する。
グローブは3つのモードで動作し、異なる特徴を持つ様々な下流タスクを実行する。
i)手の動きと関連力を記録し,(ii)VRの操作流速を改善するとともに,(iii)様々なツールの現実的なシミュレーション効果を生み出すことにより,システムの3つのモードを評価する。
論文 参考訳(メタデータ) (2023-01-14T05:35:50Z) - MC-hands-1M: A glove-wearing hand dataset for pose estimation [16.83787646285556]
手袋をはめた手の3次元ポーズ推定のための合成データセットを提案する。
データセットは、パブリックハンドジョイント検出モデルを微調整するために使用される。
論文 参考訳(メタデータ) (2022-10-19T09:50:04Z) - HiFECap: Monocular High-Fidelity and Expressive Capture of Human
Performances [84.7225785061814]
HiFECapは、人間のポーズ、衣服、表情、手を1つのRGBビデオから同時にキャプチャする。
また, 衣服のしわの変形など, 従来の方法よりも高精度な高精度な撮影も行なっている。
論文 参考訳(メタデータ) (2022-10-11T17:57:45Z) - 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。
本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。
実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2022-07-22T13:04:06Z) - Egocentric View Hand Action Recognition by Leveraging Hand Surface and
Hand Grasp Type [15.878905144552204]
このフレームワークは、手メッシュモデルの平均曲率を合成し、3次元空間における手表面形状を符号化する。
手のつかみタイプと手の平均曲率を用いることで,手の動き認識の性能が向上する。
論文 参考訳(メタデータ) (2021-09-08T17:12:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。