論文の概要: H2O: A Benchmark for Visual Human-human Object Handover Analysis
- arxiv url: http://arxiv.org/abs/2104.11466v1
- Date: Fri, 23 Apr 2021 08:30:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-26 19:18:36.096897
- Title: H2O: A Benchmark for Visual Human-human Object Handover Analysis
- Title(参考訳): H2O:ビジュアルヒューマンオブジェクトハンドオーバ分析のためのベンチマーク
- Authors: Ruolin Ye, Wenqiang Xu, Zhendong Xue, Tutian Tang, Yanfeng Wang, Cewu
Lu
- Abstract要約: ヒトとヒトのオブジェクトハンドオーバを視覚的に解析するための新しいリッチアノテートデータセットH2Oを提案する。
データセットには、30のオブジェクトを互いに渡す15人を含む18kのビデオクリップが含まれている。
視覚に基づくタスクを複数サポートできるが、そこからはReceer Grasp Prediction と呼ばれる未探索のタスクに対して、ベースラインメソッド RGPNet が具体的に提供される。
- 参考スコア(独自算出の注目度): 45.27427828040923
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Object handover is a common human collaboration behavior that attracts
attention from researchers in Robotics and Cognitive Science. Though visual
perception plays an important role in the object handover task, the whole
handover process has been specifically explored. In this work, we propose a
novel rich-annotated dataset, H2O, for visual analysis of human-human object
handovers. The H2O, which contains 18K video clips involving 15 people who hand
over 30 objects to each other, is a multi-purpose benchmark. It can support
several vision-based tasks, from which, we specifically provide a baseline
method, RGPNet, for a less-explored task named Receiver Grasp Prediction.
Extensive experiments show that the RGPNet can produce plausible grasps based
on the giver's hand-object states in the pre-handover phase. Besides, we also
report the hand and object pose errors with existing baselines and show that
the dataset can serve as the video demonstrations for robot imitation learning
on the handover task. Dataset, model and code will be made public.
- Abstract(参考訳): オブジェクトハンドオーバ(Object Handover)は、ロボットと認知科学の研究者から注目を集める、一般的な人間のコラボレーション行動である。
視覚知覚はオブジェクトハンドオーバタスクにおいて重要な役割を果たすが、ハンドオーバプロセス全体は特に研究されている。
本研究では,ヒトとヒトのオブジェクトのハンドオーバを視覚的に解析するための,リッチアノテートデータセットH2Oを提案する。
H2Oには18Kのビデオクリップがあり、30以上のオブジェクトを互いに渡す15人が参加している。
視覚に基づくタスクを複数サポートできるが、そこからはReceer Grasp Prediction と呼ばれる未探索のタスクに対して、ベースラインメソッド RGPNet が具体的に提供される。
広範な実験により、rppnetは、プレハンドオーバフェーズにおけるグルーダのハンドオブジェクト状態に基づいて、妥当な把持を生成できることが示されている。
また,ハンドオーバタスクにおけるロボット模倣学習の映像デモとして,既存のベースラインで手とオブジェクトのポーズエラーを報告し,データセットが機能することを示す。
データセット、モデル、コードは公開されます。
関連論文リスト
- G-HOP: Generative Hand-Object Prior for Interaction Reconstruction and Grasp Synthesis [57.07638884476174]
G-HOPは手-対象相互作用の前駆体である。
人手は骨格距離場を介して表現し、物体の符号付き距離場と整合した表現を得る。
この手動物体は、対話クリップからの再構成や人間のつかみ合成など、他の作業を容易にするための汎用的なガイダンスとして機能することを示す。
論文 参考訳(メタデータ) (2024-04-18T17:59:28Z) - HOH: Markerless Multimodal Human-Object-Human Handover Dataset with Large Object Count [4.441651788685931]
HOH(Human-Object-Human)ハンドオーバーデータセットは、136のオブジェクトを持つ大規模なオブジェクトカウントデータセットである。
HOHは自然な人間と人間のハンドオーバの相互作用を表し、マーカー付きデータセットによる課題を克服する。
これまでのHOHは、オブジェクト数、参加者数、役割逆転のペア数、総相互作用数で最大のハンドオーバデータセットである。
論文 参考訳(メタデータ) (2023-10-01T16:48:48Z) - AffordPose: A Large-scale Dataset of Hand-Object Interactions with
Affordance-driven Hand Pose [16.65196181081623]
AffordPoseは、手動ポーズによる手動オブジェクトインタラクションの大規模データセットである。
計26.7Kのハンドオブジェクトインタラクションを収集し、それぞれ3次元オブジェクト形状、部分レベルアベイランスラベル、手動で調整した手ポーズを含む。
包括的データ分析は、手-物間相互作用の共通特性と多様性を示している。
論文 参考訳(メタデータ) (2023-09-16T10:25:28Z) - Human-Object Interaction Prediction in Videos through Gaze Following [9.61701724661823]
我々は、現在のHOIを検出し、将来のHOIをビデオで予測するためのフレームワークを設計する。
我々は、人間がオブジェクトと対話する前にしばしば固定するので、人間の情報を活用することを提案する。
我々のモデルは、日々の生活を捉えたビデオを含むVidHOIデータセットで訓練され、検証されている。
論文 参考訳(メタデータ) (2023-06-06T11:36:14Z) - Learn to Predict How Humans Manipulate Large-sized Objects from
Interactive Motions [82.90906153293585]
本稿では,動きデータと動的記述子を融合させるグラフニューラルネットワークHO-GCNを提案する。
動的記述子を消費するネットワークは、最先端の予測結果が得られ、未確認オブジェクトへのネットワークの一般化に役立つことを示す。
論文 参考訳(メタデータ) (2022-06-25T09:55:39Z) - REGRAD: A Large-Scale Relational Grasp Dataset for Safe and
Object-Specific Robotic Grasping in Clutter [52.117388513480435]
本稿では,オブジェクト間の関係のモデル化を継続するregradという新しいデータセットを提案する。
データセットは2D画像と3Dポイントクラウドの両方で収集されます。
ユーザは、好きなだけ多くのデータを生成するために、自由に独自のオブジェクトモデルをインポートできる。
論文 参考訳(メタデータ) (2021-04-29T05:31:21Z) - Few-Shot Visual Grounding for Natural Human-Robot Interaction [0.0]
本稿では,人間ユーザによって音声で示される,混み合ったシーンから対象物を分割するソフトウェアアーキテクチャを提案する。
システムのコアでは、視覚的な接地のためにマルチモーダルディープニューラルネットワークを使用します。
公開シーンデータセットから収集した実RGB-Dデータに対して,提案モデルの性能を評価する。
論文 参考訳(メタデータ) (2021-03-17T15:24:02Z) - Reactive Human-to-Robot Handovers of Arbitrary Objects [57.845894608577495]
本稿では、未知の物体の人間とロボットのハンドオーバを可能にするビジョンベースシステムを提案する。
提案手法は,クローズドループ運動計画とリアルタイムかつ時間的に一貫性のあるグリップ生成を組み合わせたものである。
提案手法の汎用性,ユーザビリティ,ロバスト性を,26種類の家庭用オブジェクトからなる新しいベンチマークで実証した。
論文 参考訳(メタデータ) (2020-11-17T21:52:22Z) - Human Grasp Classification for Reactive Human-to-Robot Handovers [50.91803283297065]
本稿では,ロボットが人間に遭遇するロボットのハンドオーバに対するアプローチを提案する。
対象物をさまざまな手形やポーズで保持する典型的な方法をカバーする,人間の把握データセットを収集する。
本稿では,検出した把握位置と手の位置に応じて人手から対象物を取り出す計画実行手法を提案する。
論文 参考訳(メタデータ) (2020-03-12T19:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。