論文の概要: MECCANO: A Multimodal Egocentric Dataset for Humans Behavior
Understanding in the Industrial-like Domain
- arxiv url: http://arxiv.org/abs/2209.08691v1
- Date: Mon, 19 Sep 2022 00:52:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 18:20:39.881084
- Title: MECCANO: A Multimodal Egocentric Dataset for Humans Behavior
Understanding in the Industrial-like Domain
- Title（参考訳）: 産業的ドメインにおける人間行動理解のためのマルチモーダル・エゴセントリックデータセットMECCANO
- Authors: Francesco Ragusa and Antonino Furnari and Giovanni Maria Farinella
- Abstract要約: 本稿では,産業的な環境下での人間の行動理解を目的とした,エゴセントリックなビデオのデータセットMECCANOを提案する。
マルチモダリティの特徴は、視線信号、深度マップ、RGBビデオとカスタムヘッドセットが同時に取得される点である。
データセットは、人間の行動理解の文脈における基本的なタスクに対して、一人称視点から明示的にラベル付けされている。
- 参考スコア（独自算出の注目度）: 23.598727613908853
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Wearable cameras allow to acquire images and videos from the user's
perspective. These data can be processed to understand humans behavior. Despite
human behavior analysis has been thoroughly investigated in third person
vision, it is still understudied in egocentric settings and in particular in
industrial scenarios. To encourage research in this field, we present MECCANO,
a multimodal dataset of egocentric videos to study humans behavior
understanding in industrial-like settings. The multimodality is characterized
by the presence of gaze signals, depth maps and RGB videos acquired
simultaneously with a custom headset. The dataset has been explicitly labeled
for fundamental tasks in the context of human behavior understanding from a
first person view, such as recognizing and anticipating human-object
interactions. With the MECCANO dataset, we explored five different tasks
including 1) Action Recognition, 2) Active Objects Detection and Recognition,
3) Egocentric Human-Objects Interaction Detection, 4) Action Anticipation and
5) Next-Active Objects Detection. We propose a benchmark aimed to study human
behavior in the considered industrial-like scenario which demonstrates that the
investigated tasks and the considered scenario are challenging for
state-of-the-art algorithms. To support research in this field, we publicy
release the dataset at https://iplab.dmi.unict.it/MECCANO/.
- Abstract（参考訳）: ウェアラブルカメラは、ユーザの視点で画像やビデオを取得することができる。
これらのデータは人間の行動を理解するために処理できる。
人間の行動分析は第三者の視覚で徹底的に研究されているが、エゴセントリックな設定、特に工業シナリオでは未熟である。
この分野での研究を奨励するために,産業的な環境下での人間の行動理解を研究するための,エゴセントリックなビデオのマルチモーダルデータセットMECCANOを提案する。
マルチモダリティの特徴は、視線信号、深度マップ、RGBビデオとカスタムヘッドセットが同時に取得される点である。
このデータセットは、人間と物体の相互作用を認識し予測するなど、人間の行動理解の文脈における基本的なタスクに明示的にラベル付けされている。
MECCANOデータセットを用いて,5つのタスクを探索した。
1)行動認識
2)アクティブオブジェクトの検出と認識。
3)人間と物体の相互作用検出
4)行動予測及び
5)次のアクティブオブジェクトの検出。
そこで本研究では,調査対象の課題と検討対象のシナリオが最先端のアルゴリズムにとって困難であることを示す,産業的シナリオを考慮した人間行動研究のためのベンチマークを提案する。
この分野での研究を支援するため、データセットをhttps://iplab.dmi.unict.it/MECCANO/で公開しています。
関連論文リスト
- HabitAction: A Video Dataset for Human Habitual Behavior Recognition [3.7478789114676108]
ヒトの習慣行動(HHBs)は、人の性格、習慣、心理的変化を分析する上で重要な役割を担っている。
本研究では,様々なHHBを実演するための新しいビデオデータセットを構築した。
データセットには、300,000フレーム以上と6,899のアクションインスタンスを含む、30の習慣行動カテゴリが含まれている。
論文 参考訳（メタデータ） (2024-08-24T04:40:31Z) - ENIGMA-51: Towards a Fine-Grained Understanding of Human-Object
Interactions in Industrial Scenarios [11.424643984957118]
ENIGMA-51は19人の被験者が工業的シナリオで取得した新しいエゴセントリックなデータセットである。
51のエゴセントリックなビデオシーケンスは、産業領域における人間の行動の体系的な研究を可能にする、豊富なラベルのセットで密接な注釈付けがなされている。
論文 参考訳（メタデータ） (2023-09-26T10:14:44Z) - HODN: Disentangling Human-Object Feature for HOI Detection [51.48164941412871]
本稿では,Human and Object Disentangling Network (HODN) を提案し,Human-Object Interaction (HOI) の関係を明示的にモデル化する。
インタラクションに人間的特徴がより寄与していることを考慮し,インタラクションデコーダが人間中心の領域に焦点を当てていることを確認するためのヒューマンガイドリンク手法を提案する。
提案手法は,V-COCOとHICO-Det Linkingデータセットの競合性能を実現する。
論文 参考訳（メタデータ） (2023-08-20T04:12:50Z) - Towards Continual Egocentric Activity Recognition: A Multi-modal
Egocentric Activity Dataset for Continual Learning [21.68009790164824]
UESTC-MMEA-CLという連続学習のためのマルチモーダル・エゴセントリックな活動データセットを提案する。
ビデオ、加速度計、ジャイロスコープの同期データを含み、32種類の日常活動が10人の参加者によって行われる。
RGB, 加速度, ジャイロスコープの3つのモードを別々に使用した場合に, エゴセントリックな活動認識の結果が報告される。
論文 参考訳（メタデータ） (2023-01-26T04:32:00Z) - BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。
このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
論文 参考訳（メタデータ） (2022-04-14T13:21:19Z) - Overcoming the Domain Gap in Neural Action Representations [60.47807856873544]
3Dポーズデータは、手動で介入することなく、マルチビュービデオシーケンスから確実に抽出できる。
本稿では,ニューラルアクション表現の符号化を,ニューラルアクションと行動拡張のセットと共に導くために使用することを提案する。
ドメインギャップを減らすために、トレーニングの間、同様の行動をしているように見える動物間で神経と行動のデータを取り替える。
論文 参考訳（メタデータ） (2021-12-02T12:45:46Z) - What Can You Learn from Your Muscles? Learning Visual Representation
from Human Interactions [50.435861435121915]
視覚のみの表現よりも優れた表現を学べるかどうかを調べるために,人間のインタラクションとアテンション・キューを用いている。
実験の結果,我々の「音楽監督型」表現は,視覚のみの最先端手法であるMoCoよりも優れていた。
論文 参考訳（メタデータ） (2020-10-16T17:46:53Z) - The MECCANO Dataset: Understanding Human-Object Interactions from
Egocentric Videos in an Industrial-like Domain [20.99718135562034]
我々は,産業的な環境下での人間と物体の相互作用を研究するための,エゴセントリックビデオの最初のデータセットであるMECCANOを紹介した。
このデータセットは、人間とオブジェクトの相互作用をエゴセントリックな視点から認識するタスクのために明示的にラベル付けされている。
ベースラインの結果から,MECCANOデータセットは,産業的なシナリオにおける自我中心の人間とオブジェクトの相互作用を研究する上で,困難なベンチマークであることが示された。
論文 参考訳（メタデータ） (2020-10-12T12:50:30Z) - Human-Object Interaction Detection:A Quick Survey and Examination of
Methods [17.8805983491991]
これは、この分野における最先端およびマイルストーンの研究に関する最初の一般的な調査である。
本稿では,人間と物体の相互作用検出の分野での展開に関する基礎的な調査を行う。
本稿では,HORCNNアーキテクチャを基礎研究として検討する。
論文 参考訳（メタデータ） (2020-09-27T20:58:39Z) - The IKEA ASM Dataset: Understanding People Assembling Furniture through
Actions, Objects and Pose [108.21037046507483]
IKEA ASMは300万フレーム、マルチビュー、家具組み立てビデオデータセットで、深さ、原子活動、オブジェクトセグメンテーション、人間のポーズを含む。
我々は,この課題のあるデータセット上で,映像行動認識,オブジェクトセグメンテーション,人間のポーズ推定タスクの顕著な手法をベンチマークする。
このデータセットは、マルチモーダルデータとマルチビューデータを統合してこれらのタスクをよりよく実行する、全体論的手法の開発を可能にする。
論文 参考訳（メタデータ） (2020-07-01T11:34:46Z) - Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。
我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。
V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
論文 参考訳（メタデータ） (2020-03-31T08:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。