論文の概要: EgoPressure: A Dataset for Hand Pressure and Pose Estimation in Egocentric Vision
- arxiv url: http://arxiv.org/abs/2409.02224v1
- Date: Tue, 3 Sep 2024 18:53:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-05 21:27:46.260382
- Title: EgoPressure: A Dataset for Hand Pressure and Pose Estimation in Egocentric Vision
- Title（参考訳）: EgoPressure: 自我中心視における手圧力と姿勢推定のためのデータセット
- Authors: Yiming Zhao, Taein Kwon, Paul Streli, Marc Pollefeys, Christian Holz,
- Abstract要約: EgoPressureは,エゴセントリックな視点から,タッチ接触と圧力相互作用の新たなデータセットである。
EgoPressureは、動くエゴセントリックカメラと7台の静止Kinectカメラによって捕獲された21人の参加者による5.0時間の接触接触と圧力相互作用で構成されている。
- 参考スコア（独自算出の注目度）: 69.1005706608681
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Estimating touch contact and pressure in egocentric vision is a central task for downstream applications in Augmented Reality, Virtual Reality, as well as many robotic applications, because it provides precise physical insights into hand-object interaction and object manipulation. However, existing contact pressure datasets lack egocentric views and hand poses, which are essential for accurate estimation during in-situ operation, both for AR/VR interaction and robotic manipulation. In this paper, we introduce EgoPressure,a novel dataset of touch contact and pressure interaction from an egocentric perspective, complemented with hand pose meshes and fine-grained pressure intensities for each contact. The hand poses in our dataset are optimized using our proposed multi-view sequence-based method that processes footage from our capture rig of 8 accurately calibrated RGBD cameras. EgoPressure comprises 5.0 hours of touch contact and pressure interaction from 21 participants captured by a moving egocentric camera and 7 stationary Kinect cameras, which provided RGB images and depth maps at 30 Hz. In addition, we provide baselines for estimating pressure with different modalities, which will enable future developments and benchmarking on the dataset. Overall, we demonstrate that pressure and hand poses are complementary, which supports our intention to better facilitate the physical understanding of hand-object interactions in AR/VR and robotics research.
- Abstract（参考訳）: エゴセントリック・ビジョンにおけるタッチコンタクトとプレッシャーの推定は、拡張現実(Augmented Reality)、仮想現実(Virtual Reality)、そして多くのロボット・アプリケーションにおいて、下流のアプリケーションにとって重要なタスクである。
しかし、既存の接触圧力データセットには、AR/VRインタラクションとロボット操作の両方において、その場での正確な推定に不可欠な、自我中心のビューやポーズが欠けている。
本稿では,タッチ接触と圧力相互作用の新たなデータセットであるEgoPressureについて紹介する。
データセットのハンドポーズは,8台のRGBDカメラのキャプチャリグからの映像を正確に調整するマルチビューシーケンスベース手法を用いて最適化されている。
EgoPressureは、動く自我中心のカメラと7台の静止Kinectカメラで捉えた21人の参加者から5.0時間の接触と圧力の相互作用を持ち、RGB画像と深度マップを30Hzで提供する。
さらに、さまざまなモーダルで圧力を推定するためのベースラインを提供し、将来の開発とデータセットのベンチマークを可能にします。
全体として、圧力と手ポーズは相補的なもので、AR/VRおよびロボティクス研究における手と物体の相互作用の物理的理解をより促進するための私たちの意図を支持します。
関連論文リスト
- 3D Hand Mesh Recovery from Monocular RGB in Camera Space [3.0453197258042213]
本研究では,ルート相対格子とルート回復タスクの並列処理を行うネットワークモデルを提案する。
暗黙的な学習手法を2次元ヒートマップに適用し、異なるサブタスク間の2次元キューの互換性を向上させる。
提案モデルは最先端のモデルに匹敵する。
論文 参考訳（メタデータ） (2024-05-12T05:36:37Z) - Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。
我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。
提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
論文 参考訳（メタデータ） (2024-03-25T05:12:21Z) - Aria-NeRF: Multimodal Egocentric View Synthesis [17.0554791846124]
ニューラルラジアンス場(NeRFs)にインスパイアされた可変体積線トレーシングに基づく、エゴセントリックなデータから訓練されたリッチでマルチモーダルなシーンモデルの開発における研究の加速を目指す。
このデータセットは、RGB画像、アイトラッキングカメラの映像、マイクからの音声記録、気圧計による気圧測定、GPSによる位置座標、デュアル周波数IMUデータセット(1kHzと800Hz)の情報を含む、総合的なセンサデータの収集を提供する。
このデータセットで捉えた多様なデータモダリティと現実世界のコンテキストは、人間の行動に対する理解を深め、より没入的でインテリジェントな体験を可能にするための堅牢な基盤となる。
論文 参考訳（メタデータ） (2023-11-11T01:56:35Z) - PressureVision++: Estimating Fingertip Pressure from Diverse RGB Images [23.877554759345607]
ディープモデルは、単一のRGB画像に基づいて手圧力を推定できる。
本稿では,RGBカメラと協力的参加者のみを用いて,多様なデータをキャプチャ可能な新しいアプローチを提案する。
pressureVision++ の混合現実への応用を実演し、毎日の表面をタッチに敏感なインターフェースとして利用できるようにする。
論文 参考訳（メタデータ） (2023-01-05T21:48:33Z) - PressureVision: Estimating Hand Pressure from a Single RGB Image [27.449311565446443]
従来のRGBカメラを用いて手圧力を推定する可能性を探る。
計器面に圧力を印加した多彩な皮膚緊張を有する36名の被験者の映像を収集した。
我々は1枚のRGB画像から圧力像を推測するために深部モデル(PressureVisionNet)を訓練した。
論文 参考訳（メタデータ） (2022-03-19T19:54:56Z) - RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB
Video [76.86512780916827]
本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。
RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。
RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
論文 参考訳（メタデータ） (2021-06-22T12:53:56Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳（メタデータ） (2021-04-08T20:01:00Z) - Where is my hand? Deep hand segmentation for visual self-recognition in
humanoid robots [129.46920552019247]
本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。
ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
論文 参考訳（メタデータ） (2021-02-09T10:34:32Z) - Physics-Based Dexterous Manipulations with Estimated Hand Poses and
Residual Reinforcement Learning [52.37106940303246]
ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。
モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。
筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
論文 参考訳（メタデータ） (2020-08-07T17:34:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。