論文の概要: The MECCANO Dataset: Understanding Human-Object Interactions from
Egocentric Videos in an Industrial-like Domain
- arxiv url: http://arxiv.org/abs/2010.05654v1
- Date: Mon, 12 Oct 2020 12:50:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 07:27:35.035357
- Title: The MECCANO Dataset: Understanding Human-Object Interactions from
Egocentric Videos in an Industrial-like Domain
- Title（参考訳）: MECCANOデータセット:産業的ドメインにおける人間と物体の相互作用を理解する
- Authors: Francesco Ragusa and Antonino Furnari and Salvatore Livatino and
Giovanni Maria Farinella
- Abstract要約: 我々は,産業的な環境下での人間と物体の相互作用を研究するための,エゴセントリックビデオの最初のデータセットであるMECCANOを紹介した。
このデータセットは、人間とオブジェクトの相互作用をエゴセントリックな視点から認識するタスクのために明示的にラベル付けされている。
ベースラインの結果から,MECCANOデータセットは,産業的なシナリオにおける自我中心の人間とオブジェクトの相互作用を研究する上で,困難なベンチマークであることが示された。
- 参考スコア（独自算出の注目度）: 20.99718135562034
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Wearable cameras allow to collect images and videos of humans interacting
with the world. While human-object interactions have been thoroughly
investigated in third person vision, the problem has been understudied in
egocentric settings and in industrial scenarios. To fill this gap, we introduce
MECCANO, the first dataset of egocentric videos to study human-object
interactions in industrial-like settings. MECCANO has been acquired by 20
participants who were asked to build a motorbike model, for which they had to
interact with tiny objects and tools. The dataset has been explicitly labeled
for the task of recognizing human-object interactions from an egocentric
perspective. Specifically, each interaction has been labeled both temporally
(with action segments) and spatially (with active object bounding boxes). With
the proposed dataset, we investigate four different tasks including 1) action
recognition, 2) active object detection, 3) active object recognition and 4)
egocentric human-object interaction detection, which is a revisited version of
the standard human-object interaction detection task. Baseline results show
that the MECCANO dataset is a challenging benchmark to study egocentric
human-object interactions in industrial-like scenarios. We publicy release the
dataset at https://iplab.dmi.unict.it/MECCANO.
- Abstract（参考訳）: ウェアラブルカメラは、世界と対話する人間の画像やビデオを集めることができる。
人間とオブジェクトの相互作用は第三者のビジョンで徹底的に研究されてきたが、エゴセントリックな設定や産業シナリオではこの問題は未解決である。
このギャップを埋めるために、産業的な環境で人間とオブジェクトの相互作用を研究する最初のエゴセントリックなビデオデータセットであるMECCANOを紹介します。
MECCANOは20人の参加者に買収され、バイクモデルの構築を依頼された。
データセットは、人間とオブジェクトの相互作用を自我中心の観点から認識するタスクのために明示的にラベル付けされている。
具体的には、各インタラクションは、時間的(アクションセグメント)と空間的(アクティブなオブジェクトバウンディングボックス)の両方にラベル付けされている。
提案するデータセットでは,これら4つのタスクについて検討する。
1)行動認識
2)アクティブオブジェクト検出。
3)能動的物体認識
4)人間-物体相互作用検出は,人間-物体相互作用検出タスクの改訂版である。
ベースラインの結果から,MECCANOデータセットは,産業的なシナリオにおける自我中心の人間とオブジェクトの相互作用を研究する上で,困難なベンチマークであることが示された。
私たちはデータセットをhttps://iplab.dmi.unict.it/MECCANO.comで公開しています。
関連論文リスト
- EgoChoir: Capturing 3D Human-Object Interaction Regions from Egocentric Views [51.53089073920215]
エゴセントリックな人間と物体の相互作用(HOI)を理解することは、人間中心の知覚の基本的な側面である。
既存の手法は主にHOIの観測を利用して、外心的な視点から相互作用領域を捉えている。
EgoChoirは、オブジェクト構造と、外見と頭部運動に固有の相互作用コンテキストを結びつけて、オブジェクトの余裕を明らかにする。
論文 参考訳（メタデータ） (2024-05-22T14:03:48Z) - HOI-M3:Capture Multiple Humans and Objects Interaction within Contextual Environment [43.6454394625555]
HOI-M3は、複数のhumanと複数のオブジェクトの相互作用をモデル化するための、新しい大規模データセットである。
密集したRGBとオブジェクト搭載IMU入力から、人間と物体の両方の正確な3Dトラッキングを提供する。
論文 参考訳（メタデータ） (2024-03-30T09:24:25Z) - HODN: Disentangling Human-Object Feature for HOI Detection [51.48164941412871]
本稿では,Human and Object Disentangling Network (HODN) を提案し,Human-Object Interaction (HOI) の関係を明示的にモデル化する。
インタラクションに人間的特徴がより寄与していることを考慮し,インタラクションデコーダが人間中心の領域に焦点を当てていることを確認するためのヒューマンガイドリンク手法を提案する。
提案手法は,V-COCOとHICO-Det Linkingデータセットの競合性能を実現する。
論文 参考訳（メタデータ） (2023-08-20T04:12:50Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳（メタデータ） (2022-12-20T19:50:54Z) - MECCANO: A Multimodal Egocentric Dataset for Humans Behavior
Understanding in the Industrial-like Domain [23.598727613908853]
本稿では,産業的な環境下での人間の行動理解を目的とした,エゴセントリックなビデオのデータセットMECCANOを提案する。
マルチモダリティの特徴は、視線信号、深度マップ、RGBビデオとカスタムヘッドセットが同時に取得される点である。
データセットは、人間の行動理解の文脈における基本的なタスクに対して、一人称視点から明示的にラベル付けされている。
論文 参考訳（メタデータ） (2022-09-19T00:52:42Z) - BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。
このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
論文 参考訳（メタデータ） (2022-04-14T13:21:19Z) - Detecting Human-to-Human-or-Object (H2O) Interactions with DIABOLO [29.0200561485714]
我々は,Human-to-Human-or-Object(H2O)という2種類のインタラクションを扱う新しいインタラクションデータセットを提案する。
さらに, 人間の身体的態度の記述に近づき, 周囲の相互作用の標的について記述することを目的とした, 動詞の新たな分類法を導入する。
提案手法は,1回のフォワードパスにおける全てのインタラクションを検出するための,効率的な主観中心単発撮影法であるDIABOLOを提案する。
論文 参考訳（メタデータ） (2022-01-07T11:00:11Z) - EgoBody: Human Body Shape, Motion and Social Interactions from
Head-Mounted Devices [76.50816193153098]
EgoBodyは複雑な3Dシーンにおけるソーシャルインタラクションのための新しい大規模データセットである。
私たちはMicrosoft HoloLens2ヘッドセットを使って、RGB、奥行き、視線、頭と手のトラッキングなど、リッチなエゴセントリックなデータストリームを記録しています。
正確な3Dグラウンドトルースを得るため、マルチKinectリグでヘッドセットを校正し、多視点RGB-Dフレームに表現力のあるSMPL-Xボディーメッシュを適合させる。
論文 参考訳（メタデータ） (2021-12-14T18:41:28Z) - Human-Object Interaction Detection:A Quick Survey and Examination of
Methods [17.8805983491991]
これは、この分野における最先端およびマイルストーンの研究に関する最初の一般的な調査である。
本稿では,人間と物体の相互作用検出の分野での展開に関する基礎的な調査を行う。
本稿では,HORCNNアーキテクチャを基礎研究として検討する。
論文 参考訳（メタデータ） (2020-09-27T20:58:39Z) - Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。
我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。
V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
論文 参考訳（メタデータ） (2020-03-31T08:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。