論文の概要: E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action
Recognition
- arxiv url: http://arxiv.org/abs/2112.03596v1
- Date: Tue, 7 Dec 2021 09:43:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-08 14:46:32.163756
- Title: E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action
Recognition
- Title(参考訳): E$^2$(GO)MOTION: Egocentric Action Recognitionのためのモーション強化イベントストリーム
- Authors: Chiara Plizzari, Mirco Planamente, Gabriele Goletto, Marco Cannici,
Emanuele Gusso, Matteo Matteucci, Barbara Caputo
- Abstract要約: イベントカメラは「イベント」の形でピクセルレベルの強度変化を捉えます
N-EPIC-Kitchensは、大規模なEPIC-Kitchensデータセットの最初のイベントベースのカメラ拡張である。
イベントデータは、RGBと光フローに匹敵するパフォーマンスを提供するが、デプロイ時に追加のフロー計算を行わないことを示す。
- 参考スコア(独自算出の注目度): 21.199869051111367
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras are novel bio-inspired sensors, which asynchronously capture
pixel-level intensity changes in the form of "events". Due to their sensing
mechanism, event cameras have little to no motion blur, a very high temporal
resolution and require significantly less power and memory than traditional
frame-based cameras. These characteristics make them a perfect fit to several
real-world applications such as egocentric action recognition on wearable
devices, where fast camera motion and limited power challenge traditional
vision sensors. However, the ever-growing field of event-based vision has, to
date, overlooked the potential of event cameras in such applications. In this
paper, we show that event data is a very valuable modality for egocentric
action recognition. To do so, we introduce N-EPIC-Kitchens, the first
event-based camera extension of the large-scale EPIC-Kitchens dataset. In this
context, we propose two strategies: (i) directly processing event-camera data
with traditional video-processing architectures (E$^2$(GO)) and (ii) using
event-data to distill optical flow information (E$^2$(GO)MO). On our proposed
benchmark, we show that event data provides a comparable performance to RGB and
optical flow, yet without any additional flow computation at deploy time, and
an improved performance of up to 4% with respect to RGB only information.
- Abstract(参考訳): イベントカメラは、バイオインスパイアされた新しいセンサーであり、"イベント"の形でピクセルレベルの強度変化を非同期に捉える。
センサー機構のため、イベントカメラは動きのぼやけがほとんどなく、時間分解能が非常に高く、従来のフレームベースのカメラよりもパワーとメモリがかなり少ない。
これらの特徴は、高速カメラの動きと限られたパワーが従来の視覚センサーに挑戦するウェアラブルデバイスにおけるエゴセントリックなアクション認識など、現実のいくつかの応用にぴったりである。
しかし、イベントベースのビジョンの分野は、これまではそのようなアプリケーションにおけるイベントカメラの可能性を見落としてきた。
本稿では,イベントデータは自己中心的行動認識にとって非常に有用なモダリティであることを示す。
そこで我々は,大規模なEPIC-Kitchensデータセットの最初のイベントベースカメラ拡張であるN-EPIC-Kitchensを紹介した。
この文脈では、2つの戦略を提案します
(i)従来のビデオ処理アーキテクチャ(E$^2$(GO))およびイベントカメラデータを直接処理する
(ii) イベントデータを用いて光フロー情報を蒸留する(E$^2$(GO)MO)。
提案したベンチマークでは、イベントデータは、RGBと光フローに匹敵する性能を提供するが、デプロイ時に追加のフロー計算を行わず、RGBのみの情報に関して最大4%の性能向上が示されている。
関連論文リスト
- Complementing Event Streams and RGB Frames for Hand Mesh Reconstruction [51.87279764576998]
EvRGBHand - イベントカメラとRGBカメラによる3Dハンドメッシュ再構築のための最初のアプローチを提案する。
EvRGBHandは、RGBベースのHMRにおける露出とモーションのぼかしの問題と、イベントベースのHMRにおける前景の不足とバックグラウンドのオーバーフロー問題に対処することができる。
論文 参考訳(メタデータ) (2024-03-12T06:04:50Z) - Temporal-Mapping Photography for Event Cameras [5.838762448259289]
イベントカメラは、従来の強度フレームではなく、連続したイベントストリームとして明るさの変化をキャプチャする。
我々は静的な場面で静止イベントカメラを用いて高密度画像変換を行う。
論文 参考訳(メタデータ) (2024-03-11T05:29:46Z) - Deep Event Visual Odometry [40.57142632274148]
イベントカメラは、高速動作中にカメラのポーズを追跡するエキサイティングな可能性を提供します。
既存のイベントベースのモノクロビジュアルオドメトリーアプローチは、最近のベンチマークで限られたパフォーマンスを示している。
我々は,多数の実世界のベンチマークで高い性能を示す最初の単眼イベントオンリーシステムであるDeep Event VO(DEVO)を紹介する。
論文 参考訳(メタデータ) (2023-12-15T14:00:00Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳(メタデータ) (2023-12-13T15:42:04Z) - EventTransAct: A video transformer-based framework for Event-camera
based action recognition [52.537021302246664]
イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。
本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。
イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
論文 参考訳(メタデータ) (2023-08-25T23:51:07Z) - MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。
バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。
本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
論文 参考訳(メタデータ) (2021-11-30T23:18:35Z) - Moving Object Detection for Event-based vision using Graph Spectral
Clustering [6.354824287948164]
移動物体検出は、幅広い応用のためのコンピュータビジョンにおける中心的な話題となっている。
イベントベースデータにおける移動物体検出のための教師なしグラフスペクトルクラスタリング手法を提案する。
さらに,移動物体の最適個数を自動決定する方法について述べる。
論文 参考訳(メタデータ) (2021-09-30T10:19:22Z) - Combining Events and Frames using Recurrent Asynchronous Multimodal
Networks for Monocular Depth Prediction [51.072733683919246]
複数のセンサからの非同期および不規則なデータを処理するために、リカレント非同期マルチモーダル(RAM)ネットワークを導入する。
従来のRNNにインスパイアされたRAMネットワークは、非同期に更新され、予測を生成するためにいつでもクエリできる隠れ状態を維持している。
平均深度絶対誤差において,最先端手法を最大30%改善することを示す。
論文 参考訳(メタデータ) (2021-02-18T13:24:35Z) - EventHands: Real-Time Neural 3D Hand Reconstruction from an Event Stream [80.15360180192175]
単眼ビデオからの3d手ポーズ推定は、長年の課題である。
我々は1つのイベントカメラ、すなわち明るさ変化に反応する非同期視覚センサを使用して、初めてそれに対処する。
従来,単一のrgbカメラや深度カメラでは表示されなかった特徴がある。
論文 参考訳(メタデータ) (2020-12-11T16:45:34Z) - Learning to Detect Objects with a 1 Megapixel Event Camera [14.949946376335305]
イベントカメラは、高時間精度、低データレート、高ダイナミックレンジで視覚情報を符号化する。
フィールドの新規性のため、多くのビジョンタスクにおけるイベントベースのシステムの性能は、従来のフレームベースのソリューションに比べて依然として低い。
論文 参考訳(メタデータ) (2020-09-28T16:03:59Z) - RGB-D-E: Event Camera Calibration for Fast 6-DOF Object Tracking [16.06615504110132]
6自由度で3次元物体追跡を高速化するために,イベントベースカメラを提案する。
このアプリケーションは、魅力的なAR体験を伝えるために、非常に高いオブジェクトスピードを扱う必要がある。
我々は,既存のRGB-Dネットワークと新しいイベントベースネットワークをカスケード方式で組み合わせたディープラーニングアプローチを開発した。
論文 参考訳(メタデータ) (2020-06-09T01:55:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。