論文の概要: ENIGMA-360: An Ego-Exo Dataset for Human Behavior Understanding in Industrial Scenarios
- arxiv url: http://arxiv.org/abs/2603.09741v1
- Date: Tue, 10 Mar 2026 14:47:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-11 15:25:24.403239
- Title: ENIGMA-360: An Ego-Exo Dataset for Human Behavior Understanding in Industrial Scenarios
- Title(参考訳): ENIGMA-360:産業シナリオにおける人間行動理解のためのエゴエクソデータセット
- Authors: Francesco Ragusa, Rosario Leonardi, Michele Mazzamuto, Daniele Di Mauro, Camillo Quattrocchi, Alessandro Passanisi, Irene D'Ambra, Antonino Furnari, Giovanni Maria Farinella,
- Abstract要約: ENIGMA-360は、実際の産業シナリオで取得された新しいエゴエクソデータセットである。
データセットは、時間的に同期された180エゴセントリックと180エゴセントリックなプロシージャビデオで構成されている。
これらの結果は、実環境において堅牢なエゴエクソ理解が可能な新しいモデルの必要性を浮き彫りにする。
- 参考スコア(独自算出の注目度): 50.47300468137957
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding human behavior from complementary egocentric (ego) and exocentric (exo) points of view enables the development of systems that can support workers in industrial environments and enhance their safety. However, progress in this area is hindered by the lack of datasets capturing both views in realistic industrial scenarios. To address this gap, we propose ENIGMA-360, a new ego-exo dataset acquired in a real industrial scenario. The dataset is composed of 180 egocentric and 180 exocentric procedural videos temporally synchronized offering complementary information of the same scene. The 360 videos have been labeled with temporal and spatial annotations, enabling the study of different aspects of human behavior in industrial domain. We provide baseline experiments for 3 foundational tasks for human behavior understanding: 1) Temporal Action Segmentation, 2) Keystep Recognition and 3) Egocentric Human-Object Interaction Detection, showing the limits of state-of-the-art approaches on this challenging scenario. These results highlight the need for new models capable of robust ego-exo understanding in real-world environments. We publicly release the dataset and its annotations at https://iplab.dmi.unict.it/ENIGMA-360.
- Abstract(参考訳): 補完的なエゴセントリック(エゴ)とエクソセントリック(エゴ)の視点から人間の行動を理解することは、産業環境における労働者を支援し、その安全性を高めるシステムの開発を可能にする。
しかし、この領域の進歩は、現実的な産業シナリオにおける両方のビューをキャプチャするデータセットの欠如によって妨げられている。
このギャップに対処するため、実産業シナリオで得られた新しいエゴエクソデータセットENIGMA-360を提案する。
データセットは180エゴセントリックと180エゴセントリックなプロシージャビデオで構成され、時間的に同期して同じシーンの補完情報を提供する。
360ビデオは時間的および空間的なアノテーションでラベル付けされており、産業領域における人間の行動の異なる側面の研究を可能にしている。
人間の行動理解のための3つの基礎的タスクのベースライン実験を提供する。
1)一時的行動区分
2 キーステップ認識及びキーステップ認識
3)この難解なシナリオに対する最先端アプローチの限界を示す,自己中心型ヒューマン・オブジェクト・インタラクション検出。
これらの結果は、実環境において堅牢なエゴエクソ理解が可能な新しいモデルの必要性を浮き彫りにする。
データセットとそのアノテーションはhttps://iplab.dmi.unict.it/ENIGMA-360で公開しています。
関連論文リスト
- Perceiving and Acting in First-Person: A Dataset and Benchmark for Egocentric Human-Object-Human Interactions [110.43343503158306]
本稿では、手動支援タスクを視覚言語アクションフレームワークに組み込み、そのアシスタントは、自我中心のビジョンとコマンドに従ってインストラクターにサービスを提供する。
この設定の下で、我々は、マルチモーダルデータの11.4時間1.2Mフレームを持つ、最初の大規模人・物・人間のインタラクションデータセットであるInterVLAを達成した。
我々は,エゴセントリックな人の動き推定,相互作用合成,および包括的分析による相互作用予測に関する新しいベンチマークを構築した。
論文 参考訳(メタデータ) (2025-08-06T17:46:23Z) - EgoMe: A New Dataset and Challenge for Following Me via Egocentric View in Real World [12.699670048897085]
人間の模倣学習において、模倣者は、通常、自我中心の視点を基準として、自我中心の視点から自我中心の視点に観察された振る舞いを自然に伝達する。
実世界における模倣者の自我中心的な視点を通じて、人間の模倣学習のプロセスに従うためのEgoMeを紹介する。
我々のデータセットには7902対のエゴビデオが含まれており、様々な現実のシナリオにおいて多様な日々の行動にまたがっている。
論文 参考訳(メタデータ) (2025-01-31T11:48:22Z) - Unlocking Exocentric Video-Language Data for Egocentric Video Representation Learning [80.37314291927889]
EMBEDは、エゴセントリックなビデオ表現学習のための、エゴセントリックなビデオ言語データを変換するために設計された手法である。
エゴセントリックなビデオは、主にクローズアップなハンドオブジェクトのインタラクションを特徴としているのに対し、エゴセントリックなビデオは、人間の活動に対してより広い視点を提供する。
視覚と言語スタイルの転送の両方を適用することで、私たちのフレームワークは新しいエゴセントリックなデータセットを作成します。
論文 参考訳(メタデータ) (2024-08-07T06:10:45Z) - EgoExoLearn: A Dataset for Bridging Asynchronous Ego- and Exo-centric View of Procedural Activities in Real World [44.34800426136217]
EgoExoLearnは、以下のプロセスで人間の実演をエミュレートするデータセットである。
EgoExoLearnには120時間にわたるエゴセントリックでデモ的なビデオデータが含まれている。
クロスビューアソシエーション、クロスビューアクションプランニング、クロスビュー参照スキルアセスメントなどのベンチマークを提示する。
論文 参考訳(メタデータ) (2024-03-24T15:00:44Z) - EgoGen: An Egocentric Synthetic Data Generator [53.32942235801499]
EgoGenは新しい合成データジェネレータで、エゴセントリックな知覚タスクのための正確でリッチな地上訓練データを生成することができる。
EgoGenの中心となるのは、仮想人間の自我中心の視覚入力を直接利用して3D環境を感知する、新しい人間のモーション合成モデルである。
我々は、ヘッドマウントカメラのマッピングとローカライゼーション、エゴセントリックカメラトラッキング、エゴセントリックビューからのヒューマンメッシュリカバリの3つのタスクで、EgoGenの有効性を実証する。
論文 参考訳(メタデータ) (2024-01-16T18:55:22Z) - MECCANO: A Multimodal Egocentric Dataset for Humans Behavior
Understanding in the Industrial-like Domain [23.598727613908853]
本稿では,産業的な環境下での人間の行動理解を目的とした,エゴセントリックなビデオのデータセットMECCANOを提案する。
マルチモダリティの特徴は、視線信号、深度マップ、RGBビデオとカスタムヘッドセットが同時に取得される点である。
データセットは、人間の行動理解の文脈における基本的なタスクに対して、一人称視点から明示的にラベル付けされている。
論文 参考訳(メタデータ) (2022-09-19T00:52:42Z) - Ego-Exo: Transferring Visual Representations from Third-person to
First-person Videos [92.38049744463149]
大規模第3者映像データセットを用いた自己中心型映像モデルの事前訓練手法について紹介する。
私たちのアイデアは、重要なエゴセントリック特性を予測する第三者ビデオから潜在信号を見つけることです。
実験の結果,Ego-Exoフレームワークは標準ビデオモデルにシームレスに統合可能であることがわかった。
論文 参考訳(メタデータ) (2021-04-16T06:10:10Z) - The MECCANO Dataset: Understanding Human-Object Interactions from
Egocentric Videos in an Industrial-like Domain [20.99718135562034]
我々は,産業的な環境下での人間と物体の相互作用を研究するための,エゴセントリックビデオの最初のデータセットであるMECCANOを紹介した。
このデータセットは、人間とオブジェクトの相互作用をエゴセントリックな視点から認識するタスクのために明示的にラベル付けされている。
ベースラインの結果から,MECCANOデータセットは,産業的なシナリオにおける自我中心の人間とオブジェクトの相互作用を研究する上で,困難なベンチマークであることが示された。
論文 参考訳(メタデータ) (2020-10-12T12:50:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。