論文の概要: EgoPressure: A Dataset for Hand Pressure and Pose Estimation in Egocentric Vision

• arxiv url: http://arxiv.org/abs/2409.02224v2
• Date: Wed, 04 Dec 2024 10:24:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 18:18:21.438542
• Title: EgoPressure: A Dataset for Hand Pressure and Pose Estimation in Egocentric Vision
• Title（参考訳）: EgoPressure: 自我中心視における手圧力と姿勢推定のためのデータセット
• Authors: Yiming Zhao, Taein Kwon, Paul Streli, Marc Pollefeys, Christian Holz,
• Abstract要約: EgoPressureは、詳細なタッチ接触と圧力相互作用をキャプチャする、新しいエゴセントリックなデータセットである。 本データセットは,頭部に装着した1台のKinectカメラと静止した7台のKinectカメラで同時に捉えた21人の被験者からの5時間の対話を収録した。
• 参考スコア（独自算出の注目度）: 69.1005706608681
• License:
• Abstract: Touch contact and pressure are essential for understanding how humans interact with and manipulate objects, insights which can significantly benefit applications in mixed reality and robotics. However, estimating these interactions from an egocentric camera perspective is challenging, largely due to the lack of comprehensive datasets that provide both accurate hand poses on contacting surfaces and detailed annotations of pressure information. In this paper, we introduce EgoPressure, a novel egocentric dataset that captures detailed touch contact and pressure interactions. EgoPressure provides high-resolution pressure intensity annotations for each contact point and includes accurate hand pose meshes obtained through our proposed multi-view, sequence-based optimization method processing data from an 8-camera capture rig. Our dataset comprises 5 hours of recorded interactions from 21 participants captured simultaneously by one head-mounted and seven stationary Kinect cameras, which acquire RGB images and depth maps at 30 Hz. To support future research and benchmarking, we present several baseline models for estimating applied pressure on external surfaces from RGB images, with and without hand pose information. We further explore the joint estimation of the hand mesh and applied pressure. Our experiments demonstrate that pressure and hand pose are complementary for understanding hand-object interactions. ng of hand-object interactions in AR/VR and robotics research. Project page: \url{https://yiming-zhao.github.io/EgoPressure/}.
• Abstract（参考訳）: タッチ接触と圧力は、人間がオブジェクトとどのように相互作用し、操作するかを理解するのに不可欠である。 しかし、これらの相互作用を自我中心のカメラの観点から推定することは、主に接触面の正確な手ポーズと圧力情報の詳細なアノテーションを提供する包括的なデータセットが欠如しているため、難しい。 本稿では,EgoPressureについて紹介する。EgoPressureは,タッチ接触と圧力相互作用を詳細に捉えた,エゴセントリックなデータセットである。 EgoPressureは、コンタクトポイントごとに高解像度の圧力強度アノテーションを提供し、提案したマルチビュー、シーケンスベースの最適化手法によって得られた正確な手ポーズメッシュを含む。 本データセットは,RGB画像と深度マップを30Hzで取得し,頭部に装着した1台のKinectカメラと7台の静止Kinectカメラで同時に捉えた21人の参加者からの5時間のインタラクションから構成した。 今後の研究とベンチマークを支援するため,RGB画像から外面への印加圧力を推定するためのベースラインモデルをいくつか提示する。 さらに手メッシュと加圧のジョイント推定について検討する。 本実験は,手と物体の相互作用を理解するために,圧力とポーズが相補的であることを示す。 AR/VRとロボティクス研究における手動物体の相互作用のng。 プロジェクトページ: \url{https://yiming-zhao.github.io/EgoPressure/}。

関連論文リスト

• Posture-Informed Muscular Force Learning for Robust Hand Pressure Estimation [6.912016522494431]
  本稿では,手圧推定を向上する新しいフレームワークであるPiMForceを提案する。 本手法は,3次元手話からの詳細な空間情報と,sEMGの動的筋活動とを併用する。 本フレームワークは,複雑な相互作用シナリオと自然な相互作用シナリオにおいて,正確な手圧力推定を可能にする。
  論文  参考訳（メタデータ） (2024-10-31T04:42:43Z)
• Depth Restoration of Hand-Held Transparent Objects for Human-to-Robot Handover [5.329513275750882]
  本稿では,1枚のRGB-D画像から暗黙的ニューラル表現関数を生成できるHADR法を提案する。 提案手法は手動姿勢を重要なガイダンスとして利用し,手動物体間相互作用の意味的および幾何学的情報を活用する。 さらに,HADRに基づく実世界の人間ロボットハンドオーバシステムを開発し,人間ロボットインタラクションへの応用の可能性を示す。
  論文  参考訳（メタデータ） (2024-08-27T12:25:12Z)
• Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
  ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。 我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。 提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
  論文  参考訳（メタデータ） (2024-03-25T05:12:21Z)
• PressureVision++: Estimating Fingertip Pressure from Diverse RGB Images [23.877554759345607]
  ディープモデルは、単一のRGB画像に基づいて手圧力を推定できる。 本稿では,RGBカメラと協力的参加者のみを用いて,多様なデータをキャプチャ可能な新しいアプローチを提案する。 pressureVision++ の混合現実への応用を実演し、毎日の表面をタッチに敏感なインターフェースとして利用できるようにする。
  論文  参考訳（メタデータ） (2023-01-05T21:48:33Z)
• PressureVision: Estimating Hand Pressure from a Single RGB Image [27.449311565446443]
  従来のRGBカメラを用いて手圧力を推定する可能性を探る。 計器面に圧力を印加した多彩な皮膚緊張を有する36名の被験者の映像を収集した。 我々は1枚のRGB画像から圧力像を推測するために深部モデル(PressureVisionNet)を訓練した。
  論文  参考訳（メタデータ） (2022-03-19T19:54:56Z)
• RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
  本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
  論文  参考訳（メタデータ） (2021-06-22T12:53:56Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)
• Where is my hand? Deep hand segmentation for visual self-recognition in humanoid robots [129.46920552019247]
  本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。 ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
  論文  参考訳（メタデータ） (2021-02-09T10:34:32Z)
• Physics-Based Dexterous Manipulations with Estimated Hand Poses and Residual Reinforcement Learning [52.37106940303246]
  ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。 モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。 筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
  論文  参考訳（メタデータ） (2020-08-07T17:34:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。