論文の概要: Human keypoint detection for close proximity human-robot interaction

• arxiv url: http://arxiv.org/abs/2207.07742v1
• Date: Fri, 15 Jul 2022 20:33:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 07:38:51.877629
• Title: Human keypoint detection for close proximity human-robot interaction
• Title（参考訳）: 近接ロボットインタラクションのための人間のキーポイント検出
• Authors: Jan Docekal, Jakub Rozlivek, Jiri Matas, and Matej Hoffmann
• Abstract要約: 近接ロボット相互作用の文脈における最先端人間のキーポイント検出器の性能について検討した。 MMPoseとAlphaPoseは近接して全体キーポイント検出器を動作させたが、どちらも指検出に難しかった。 本稿では,MMPose または AlphaPose の身体用と MediaPipe を,最も正確かつ堅牢な検出が可能な単一のフレームワークで組み合わせて提案する。
• 参考スコア（独自算出の注目度）: 29.99153271571971
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We study the performance of state-of-the-art human keypoint detectors in the context of close proximity human-robot interaction. The detection in this scenario is specific in that only a subset of body parts such as hands and torso are in the field of view. In particular, (i) we survey existing datasets with human pose annotation from the perspective of close proximity images and prepare and make publicly available a new Human in Close Proximity (HiCP) dataset; (ii) we quantitatively and qualitatively compare state-of-the-art human whole-body 2D keypoint detection methods (OpenPose, MMPose, AlphaPose, Detectron2) on this dataset; (iii) since accurate detection of hands and fingers is critical in applications with handovers, we evaluate the performance of the MediaPipe hand detector; (iv) we deploy the algorithms on a humanoid robot with an RGB-D camera on its head and evaluate the performance in 3D human keypoint detection. A motion capture system is used as reference. The best performing whole-body keypoint detectors in close proximity were MMPose and AlphaPose, but both had difficulty with finger detection. Thus, we propose a combination of MMPose or AlphaPose for the body and MediaPipe for the hands in a single framework providing the most accurate and robust detection. We also analyse the failure modes of individual detectors -- for example, to what extent the absence of the head of the person in the image degrades performance. Finally, we demonstrate the framework in a scenario where a humanoid robot interacting with a person uses the detected 3D keypoints for whole-body avoidance maneuvers.
• Abstract（参考訳）: 近接ロボット相互作用の文脈における最先端人間のキーポイント検出器の性能について検討した。 このシナリオにおける検出は、手や胴体のような身体の部分のサブセットだけが視野にあるという点で特有である。 特に (i)近接画像の観点から、人間のポーズアノテーションを用いた既存のデータセットを調査し、新しいHuman in Close Proximity(HiCP)データセットを作成し、公開する。 (ii)このデータセット上でヒト全身2dキーポイント検出法(openpose, mmpose, alphapose, detectron2)を定量的に定量的に比較する。 (iii)手指の正確な検出がハンドオーバの応用において重要であることから,mediapipeハンドディテクターの性能を評価する。 (iv)rgb-dカメラを頭部に装着したヒューマノイドロボットにアルゴリズムを配置し、3次元キーポイント検出の性能を評価する。 モーションキャプチャシステムは参照として使用される。 MMPoseとAlphaPoseは近接して全体キーポイント検出器を動作させたが、どちらも指検出に難しかった。 そこで本研究では,MMPose と AlphaPose と MediaPipe を組み合わせて,最も正確かつロバストな検出が可能な単一のフレームワークを提案する。 また、個々の検出器の故障モードを解析し、例えば、画像中の人の頭がないことが性能を低下させる程度に分析する。 最後に,人間と対話するヒューマノイドロボットが検出した3Dキーポイントを用いて全身回避操作を行うシナリオで,この枠組みを実証する。

関連論文リスト

• AiOS: All-in-One-Stage Expressive Human Pose and Shape Estimation [55.179287851188036]
  人間のポーズと形状の復元のための新しいオールインワンステージフレームワークであるAiOSを、追加の人間検出ステップなしで導入する。 まず、画像中の人間の位置を探索し、各インスタンスのグローバルな機能をエンコードするために、人間のトークンを使用します。 そして、画像中の人間の関節を探索し、きめ細かい局所的特徴を符号化するジョイント関連トークンを導入する。
  論文  参考訳（メタデータ） (2024-03-26T17:59:23Z)
• Exploring 3D Human Pose Estimation and Forecasting from the Robot's Perspective: The HARPER Dataset [52.22758311559]
  本研究では,ユーザとスポット間のダイアドインタラクションにおける3次元ポーズ推定と予測のための新しいデータセットであるHARPERを紹介する。 キーノーベルティは、ロボットの視点、すなわちロボットのセンサーが捉えたデータに焦点を当てることである。 HARPERの基盤となるシナリオには15のアクションが含まれており、そのうち10つはロボットとユーザの間の物理的接触を含んでいる。
  論文  参考訳（メタデータ） (2024-03-21T14:53:50Z)
• DECO: Dense Estimation of 3D Human-Scene Contact In The Wild [54.44345845842109]
  SMPL体上の接触を推定するために、身体部分駆動とシーンコンテキスト駆動の両方の注意を用いた新しい3D接触検出器を訓練する。 すべてのベンチマークで既存のSOTAメソッドよりも大幅に優れています。 また、DECが自然画像における多様で挑戦的な現実世界の人間のインタラクションによく当てはまることを定性的に示す。
  論文  参考訳（メタデータ） (2023-09-26T21:21:07Z)
• HODN: Disentangling Human-Object Feature for HOI Detection [51.48164941412871]
  本稿では,Human and Object Disentangling Network (HODN) を提案し,Human-Object Interaction (HOI) の関係を明示的にモデル化する。 インタラクションに人間的特徴がより寄与していることを考慮し,インタラクションデコーダが人間中心の領域に焦点を当てていることを確認するためのヒューマンガイドリンク手法を提案する。 提案手法は,V-COCOとHICO-Det Linkingデータセットの競合性能を実現する。
  論文  参考訳（メタデータ） (2023-08-20T04:12:50Z)
• Detecting Human-Object Contact in Images [75.35017308643471]
  人間は常にオブジェクトに接触し、タスクを動かします。 画像から身体とシーンの接触を検出する堅牢な方法はない。 我々は、画像のための人間と物体の接触のデータセットを新たに構築する。
  論文  参考訳（メタデータ） (2023-03-06T18:56:26Z)
• Robot to Human Object Handover using Vision and Joint Torque Sensor Modalities [3.580924916641143]
  このシステムは、完全に自律的で堅牢なオブジェクトを人間の受信機にリアルタイムでハンドオーバする。 我々のアルゴリズムは、腕の関節トルクセンサーと、センサーフィードバックのための眼内RGB-Dカメラの2つの相補的なセンサーモードに依存している。 センサフィードバックの同期、オブジェクト、人手検出における課題にもかかわらず、我々のシステムは98%の精度で堅牢なロボットと人間のハンドオーバを実現する。
  論文  参考訳（メタデータ） (2022-10-27T00:11:34Z)
• Occlusion-Robust Multi-Sensory Posture Estimation in Physical Human-Robot Interaction [10.063075560468798]
  1台のカメラ上でのOpenPoseからの2D姿勢と、人間がタスクを実行している間に対話するロボットの軌道。 1台のカメラ上でのOpenPoseからの2D姿勢と、人間がタスクを実行している間に対話するロボットの軌道を利用する。 本研究は,OpenPoseのみを用いた姿勢推定や,ロボットの軌道のみを用いた姿勢推定よりも,人間の体力の冗長性を解消できることを示す。
  論文  参考訳（メタデータ） (2022-08-12T20:41:09Z)
• Gesture Recognition for Initiating Human-to-Robot Handovers [2.1614262520734595]
  人間がハンドオーバを開始する意図を認識させることが重要であり、ハンドオーバが意図されていなければ、ロボットは人間からオブジェクトを奪おうとしない。 ハンドオーバジェスチャー認識は単一のRGB画像のバイナリ分類問題として機能する。 以上の結果から,ハンドオーバ動作は90%以上の精度で正しく識別できることがわかった。
  論文  参考訳（メタデータ） (2020-07-20T08:49:34Z)
• Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
  本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。 我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。 V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2020-03-31T08:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。