論文の概要: Human keypoint detection for close proximity human-robot interaction
- arxiv url: http://arxiv.org/abs/2207.07742v1
- Date: Fri, 15 Jul 2022 20:33:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-20 07:38:51.877629
- Title: Human keypoint detection for close proximity human-robot interaction
- Title(参考訳): 近接ロボットインタラクションのための人間のキーポイント検出
- Authors: Jan Docekal, Jakub Rozlivek, Jiri Matas, and Matej Hoffmann
- Abstract要約: 近接ロボット相互作用の文脈における最先端人間のキーポイント検出器の性能について検討した。
MMPoseとAlphaPoseは近接して全体キーポイント検出器を動作させたが、どちらも指検出に難しかった。
本稿では,MMPose または AlphaPose の身体用と MediaPipe を,最も正確かつ堅牢な検出が可能な単一のフレームワークで組み合わせて提案する。
- 参考スコア(独自算出の注目度): 29.99153271571971
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: We study the performance of state-of-the-art human keypoint detectors in the
context of close proximity human-robot interaction. The detection in this
scenario is specific in that only a subset of body parts such as hands and
torso are in the field of view. In particular, (i) we survey existing datasets
with human pose annotation from the perspective of close proximity images and
prepare and make publicly available a new Human in Close Proximity (HiCP)
dataset; (ii) we quantitatively and qualitatively compare state-of-the-art
human whole-body 2D keypoint detection methods (OpenPose, MMPose, AlphaPose,
Detectron2) on this dataset; (iii) since accurate detection of hands and
fingers is critical in applications with handovers, we evaluate the performance
of the MediaPipe hand detector; (iv) we deploy the algorithms on a humanoid
robot with an RGB-D camera on its head and evaluate the performance in 3D human
keypoint detection. A motion capture system is used as reference.
The best performing whole-body keypoint detectors in close proximity were
MMPose and AlphaPose, but both had difficulty with finger detection. Thus, we
propose a combination of MMPose or AlphaPose for the body and MediaPipe for the
hands in a single framework providing the most accurate and robust detection.
We also analyse the failure modes of individual detectors -- for example, to
what extent the absence of the head of the person in the image degrades
performance. Finally, we demonstrate the framework in a scenario where a
humanoid robot interacting with a person uses the detected 3D keypoints for
whole-body avoidance maneuvers.
- Abstract(参考訳): 近接ロボット相互作用の文脈における最先端人間のキーポイント検出器の性能について検討した。
このシナリオにおける検出は、手や胴体のような身体の部分のサブセットだけが視野にあるという点で特有である。
特に
(i)近接画像の観点から、人間のポーズアノテーションを用いた既存のデータセットを調査し、新しいHuman in Close Proximity(HiCP)データセットを作成し、公開する。
(ii)このデータセット上でヒト全身2dキーポイント検出法(openpose, mmpose, alphapose, detectron2)を定量的に定量的に比較する。
(iii)手指の正確な検出がハンドオーバの応用において重要であることから,mediapipeハンドディテクターの性能を評価する。
(iv)rgb-dカメラを頭部に装着したヒューマノイドロボットにアルゴリズムを配置し、3次元キーポイント検出の性能を評価する。
モーションキャプチャシステムは参照として使用される。
MMPoseとAlphaPoseは近接して全体キーポイント検出器を動作させたが、どちらも指検出に難しかった。
そこで本研究では,MMPose と AlphaPose と MediaPipe を組み合わせて,最も正確かつロバストな検出が可能な単一のフレームワークを提案する。
また、個々の検出器の故障モードを解析し、例えば、画像中の人の頭がないことが性能を低下させる程度に分析する。
最後に,人間と対話するヒューマノイドロボットが検出した3Dキーポイントを用いて全身回避操作を行うシナリオで,この枠組みを実証する。
関連論文リスト
- Generating Human-Centric Visual Cues for Human-Object Interaction
Detection via Large Vision-Language Models [59.611697856666304]
人-物対検出(Human-object Interaction:HOI)は、人-物対を検出し、その相互作用を予測することを目的とする。
我々はVLMを用いた3つのプロンプトを提案し、人間の複数の視点から画像内で人間中心の視覚的手がかりを生成する。
我々は,マルチトワーアーキテクチャを用いたトランスフォーマーベースのマルチモーダル融合モジュールを開発し,視覚的キュー機能をインスタンスと対話デコーダに統合する。
論文 参考訳(メタデータ) (2023-11-26T09:11:32Z) - DECO: Dense Estimation of 3D Human-Scene Contact In The Wild [54.44345845842109]
SMPL体上の接触を推定するために、身体部分駆動とシーンコンテキスト駆動の両方の注意を用いた新しい3D接触検出器を訓練する。
すべてのベンチマークで既存のSOTAメソッドよりも大幅に優れています。
また、DECが自然画像における多様で挑戦的な現実世界の人間のインタラクションによく当てはまることを定性的に示す。
論文 参考訳(メタデータ) (2023-09-26T21:21:07Z) - HODN: Disentangling Human-Object Feature for HOI Detection [51.48164941412871]
本稿では,Human and Object Disentangling Network (HODN) を提案し,Human-Object Interaction (HOI) の関係を明示的にモデル化する。
インタラクションに人間的特徴がより寄与していることを考慮し,インタラクションデコーダが人間中心の領域に焦点を当てていることを確認するためのヒューマンガイドリンク手法を提案する。
提案手法は,V-COCOとHICO-Det Linkingデータセットの競合性能を実現する。
論文 参考訳(メタデータ) (2023-08-20T04:12:50Z) - Detecting Human-Object Contact in Images [75.35017308643471]
人間は常にオブジェクトに接触し、タスクを動かします。
画像から身体とシーンの接触を検出する堅牢な方法はない。
我々は、画像のための人間と物体の接触のデータセットを新たに構築する。
論文 参考訳(メタデータ) (2023-03-06T18:56:26Z) - Robot to Human Object Handover using Vision and Joint Torque Sensor
Modalities [3.580924916641143]
このシステムは、完全に自律的で堅牢なオブジェクトを人間の受信機にリアルタイムでハンドオーバする。
我々のアルゴリズムは、腕の関節トルクセンサーと、センサーフィードバックのための眼内RGB-Dカメラの2つの相補的なセンサーモードに依存している。
センサフィードバックの同期、オブジェクト、人手検出における課題にもかかわらず、我々のシステムは98%の精度で堅牢なロボットと人間のハンドオーバを実現する。
論文 参考訳(メタデータ) (2022-10-27T00:11:34Z) - Occlusion-Robust Multi-Sensory Posture Estimation in Physical
Human-Robot Interaction [10.063075560468798]
1台のカメラ上でのOpenPoseからの2D姿勢と、人間がタスクを実行している間に対話するロボットの軌道。
1台のカメラ上でのOpenPoseからの2D姿勢と、人間がタスクを実行している間に対話するロボットの軌道を利用する。
本研究は,OpenPoseのみを用いた姿勢推定や,ロボットの軌道のみを用いた姿勢推定よりも,人間の体力の冗長性を解消できることを示す。
論文 参考訳(メタデータ) (2022-08-12T20:41:09Z) - Human POSEitioning System (HPS): 3D Human Pose Estimation and
Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。
最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。
hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
論文 参考訳(メタデータ) (2021-03-31T17:58:31Z) - HANDS: A Multimodal Dataset for Modeling Towards Human Grasp Intent
Inference in Prosthetic Hands [3.7886097009023376]
未来の高度な義手は、ロボットハンドと人間のユーザーとの共有制御の改善の恩恵を受けると予想されている。
マルチモーダルセンサーデータには、視覚を含む様々な環境センサーと、人間の生理と行動センサーが含まれる。
環境状態と人間の意図推定のための融合手法は、これらの証拠の源を組み合わせることで、義手の動き計画と制御を支援する。
論文 参考訳(メタデータ) (2021-03-08T15:51:03Z) - Gesture Recognition for Initiating Human-to-Robot Handovers [2.1614262520734595]
人間がハンドオーバを開始する意図を認識させることが重要であり、ハンドオーバが意図されていなければ、ロボットは人間からオブジェクトを奪おうとしない。
ハンドオーバジェスチャー認識は単一のRGB画像のバイナリ分類問題として機能する。
以上の結果から,ハンドオーバ動作は90%以上の精度で正しく識別できることがわかった。
論文 参考訳(メタデータ) (2020-07-20T08:49:34Z) - Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。
我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。
V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
論文 参考訳(メタデータ) (2020-03-31T08:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。