論文の概要: Towards a large-scale fused and labeled dataset of human pose while
interacting with robots in shared urban areas
- arxiv url: http://arxiv.org/abs/2402.10077v1
- Date: Sun, 28 Jan 2024 18:24:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-18 12:37:14.879975
- Title: Towards a large-scale fused and labeled dataset of human pose while
interacting with robots in shared urban areas
- Title（参考訳）: 都市共生型ロボットと対話する大規模融合・ラベル付き人間のポーズデータセットの実現に向けて
- Authors: E. Sherafat and B. Farooq
- Abstract要約: 人間のポース推定は、下流の様々な応用に欠かせないステップストーンである。
このギャップを2つのデータセットの再利用、再利用、ラベル付けによって埋めます。
その結果得られたユニークなデータセットは、屋内および屋外における何千もの人間とロボットの相互作用のシナリオを表している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Over the last decade, Autonomous Delivery Robots (ADRs) have transformed
conventional delivery methods, responding to the growing e-commerce demand.
However, the readiness of ADRs to navigate safely among pedestrians in shared
urban areas remains an open question. We contend that there are crucial
research gaps in understanding their interactions with pedestrians in such
environments. Human Pose Estimation is a vital stepping stone for various
downstream applications, including pose prediction and socially aware robot
path-planning. Yet, the absence of an enriched and pose-labeled dataset
capturing human-robot interactions in shared urban areas hinders this
objective. In this paper, we bridge this gap by repurposing, fusing, and
labeling two datasets, MOT17 and NCLT, focused on pedestrian tracking and
Simultaneous Localization and Mapping (SLAM), respectively. The resulting
unique dataset represents thousands of real-world indoor and outdoor
human-robot interaction scenarios. Leveraging YOLOv7, we obtained human pose
visual and numeric outputs and provided ground truth poses using manual
annotation. To overcome the distance bias present in the traditional MPJPE
metric, this study introduces a novel human pose estimation error metric called
Mean Scaled Joint Error (MSJE) by incorporating bounding box dimensions into
it. Findings demonstrate that YOLOv7 effectively estimates human pose in both
datasets. However, it exhibits weaker performance in specific scenarios, like
indoor, crowded scenes with a focused light source, where both MPJPE and MSJE
are recorded as 10.89 and 25.3, respectively. In contrast, YOLOv7 performs
better in single-person estimation (NCLT seq 2) and outdoor scenarios (MOT17
seq1), achieving MSJE values of 5.29 and 3.38, respectively.
- Abstract（参考訳）: 過去10年間で、自動運転配達ロボット(adr)は、eコマース需要の増加に対応して、従来の配達方法を変えてきた。
しかし, 共有都市部における歩行者の安全に移動するためのADRの準備は, 未解決の課題である。
このような環境において、歩行者との相互作用を理解する上で重要な研究ギャップがあると主張する。
Human Pose Estimationは、ポーズ予測や社会的に認識されたロボットの経路計画など、さまざまな下流アプリケーションにとって重要なステップストーンである。
しかし、共有都市部における人間とロボットの相互作用を捉えるリッチでポーズラベルのデータセットが存在しないことは、この目的を妨げている。
本稿では,このギャップを,歩行者追跡と同時局所化とマッピング(SLAM)に焦点を当てたMOT17とNCLTという2つのデータセットの再利用,融合,ラベル付けによって埋める。
その結果得られたユニークなデータセットは、屋内および屋外における何千もの人間とロボットのインタラクションシナリオを表している。
yolov7を活用し,人間のポーズと数値の出力と,手動アノテーションによる基礎的真理ポーズを提供する。
本研究では,従来のmpjpeメトリクスにおける距離バイアスを克服するために,境界ボックス次元を組み込んだ平均スケールドジョイントエラー(msje)と呼ばれる新しい人間のポーズ推定誤差メトリックを提案する。
YOLOv7は、両方のデータセットで人間のポーズを効果的に見積もっている。
しかし,MPJPEとMSJEはそれぞれ10.89と25.3と記録されているため,屋内や混在するシーンなど,特定のシナリオでは性能が低下する。
対照的に、YOLOv7は、単対人推定(NCLT seq2)と屋外シナリオ(MOT17 seq1)において、それぞれ5.29と3.38のMSJE値を達成する。
関連論文リスト
- Exploring 3D Human Pose Estimation and Forecasting from the Robot's Perspective: The HARPER Dataset [52.22758311559]
本研究では,ユーザとスポット間のダイアドインタラクションにおける3次元ポーズ推定と予測のための新しいデータセットであるHARPERを紹介する。
キーノーベルティは、ロボットの視点、すなわちロボットのセンサーが捉えたデータに焦点を当てることである。
HARPERの基盤となるシナリオには15のアクションが含まれており、そのうち10つはロボットとユーザの間の物理的接触を含んでいる。
論文 参考訳（メタデータ） (2024-03-21T14:53:50Z) - Social-Transmotion: Promptable Human Trajectory Prediction [65.80068316170613]
Social-Transmotionは、多種多様な視覚的手がかりを利用して人間の行動を予測する、汎用トランスフォーマーベースのモデルである。
提案手法は,JTA,JRDB,歩行者,道路交通のサイクリスト,ETH-UCYなど,複数のデータセットで検証されている。
論文 参考訳（メタデータ） (2023-12-26T18:56:49Z) - IA-LSTM: Interaction-Aware LSTM for Pedestrian Trajectory Prediction [1.3597551064547502]
群衆シナリオにおける歩行者の軌道予測は、自動運転車や自律移動ロボットの分野において不可欠である。
従来の研究者は人間と人間の相互作用をモデル化する方法に重点を置いていたが、相互作用の相対的重要性を無視した。
人間の相互作用の相対的重要性を測定するために、コレントロピーに基づく新しいメカニズムが導入された。
論文 参考訳（メタデータ） (2023-11-26T05:17:11Z) - Video-based Pose-Estimation Data as Source for Transfer Learning in
Human Activity Recognition [71.91734471596433]
オンボディデバイスを用いたヒューマンアクティビティ認識(HAR)は、制約のない環境での特定の人間の行動を特定する。
これまでの研究は、トランスファーラーニングが、少ないデータでシナリオに対処するための良い戦略であることを実証した。
本稿では,人為的位置推定を目的としたデータセットを伝達学習の情報源として用いることを提案する。
論文 参考訳（メタデータ） (2022-12-02T18:19:36Z) - BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。
このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
論文 参考訳（メタデータ） (2022-04-14T13:21:19Z) - Multi-Person Extreme Motion Prediction with Cross-Interaction Attention [44.35977105396732]
人間の動き予測は、過去の3D骨格の連続から将来の人間のポーズを予測することを目的としている。
本システムの入力は, 相互作用する2人の人物に対する過去の骨格の2つのシーケンスであると仮定する。
我々は,自己のポーズと他者のポーズの相互依存を予測できる,新たなインタラクションアテンション機構を考案した。
論文 参考訳（メタデータ） (2021-05-18T20:52:05Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳（メタデータ） (2021-04-08T20:01:00Z) - Few-Shot Visual Grounding for Natural Human-Robot Interaction [0.0]
本稿では,人間ユーザによって音声で示される,混み合ったシーンから対象物を分割するソフトウェアアーキテクチャを提案する。
システムのコアでは、視覚的な接地のためにマルチモーダルディープニューラルネットワークを使用します。
公開シーンデータセットから収集した実RGB-Dデータに対して,提案モデルの性能を評価する。
論文 参考訳（メタデータ） (2021-03-17T15:24:02Z) - Graph-SIM: A Graph-based Spatiotemporal Interaction Modelling for
Pedestrian Action Prediction [10.580548257913843]
本稿では,歩行者の横断行動を予測するための新しいグラフベースモデルを提案する。
既存のnuScenesデータセットに対して、3Dバウンディングボックスと歩行者行動アノテーションを提供する新しいデータセットを紹介します。
提案手法は,既存の手法と比較して,様々な指標を15%以上改善し,最先端の性能を実現する。
論文 参考訳（メタデータ） (2020-12-03T18:28:27Z) - Spatiotemporal Relationship Reasoning for Pedestrian Intent Prediction [57.56466850377598]
視覚データに対する推論は、ロボティクスとビジョンベースのアプリケーションにとって望ましい能力である。
本稿では,歩行者の意図を推論するため,現場の異なる物体間の関係を明らかにするためのグラフ上でのフレームワークを提案する。
歩行者の意図は、通りを横切る、あるいは横断しない将来の行動として定義され、自動運転車にとって非常に重要な情報である。
論文 参考訳（メタデータ） (2020-02-20T18:50:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。