論文の概要: E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action
Recognition
- arxiv url: http://arxiv.org/abs/2112.03596v1
- Date: Tue, 7 Dec 2021 09:43:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-08 14:46:32.163756
- Title: E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action
Recognition
- Title（参考訳）: E$^2$(GO)MOTION: Egocentric Action Recognitionのためのモーション強化イベントストリーム
- Authors: Chiara Plizzari, Mirco Planamente, Gabriele Goletto, Marco Cannici,
Emanuele Gusso, Matteo Matteucci, Barbara Caputo
- Abstract要約: イベントカメラは「イベント」の形でピクセルレベルの強度変化を捉えます
N-EPIC-Kitchensは、大規模なEPIC-Kitchensデータセットの最初のイベントベースのカメラ拡張である。
イベントデータは、RGBと光フローに匹敵するパフォーマンスを提供するが、デプロイ時に追加のフロー計算を行わないことを示す。
- 参考スコア（独自算出の注目度）: 21.199869051111367
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras are novel bio-inspired sensors, which asynchronously capture
pixel-level intensity changes in the form of "events". Due to their sensing
mechanism, event cameras have little to no motion blur, a very high temporal
resolution and require significantly less power and memory than traditional
frame-based cameras. These characteristics make them a perfect fit to several
real-world applications such as egocentric action recognition on wearable
devices, where fast camera motion and limited power challenge traditional
vision sensors. However, the ever-growing field of event-based vision has, to
date, overlooked the potential of event cameras in such applications. In this
paper, we show that event data is a very valuable modality for egocentric
action recognition. To do so, we introduce N-EPIC-Kitchens, the first
event-based camera extension of the large-scale EPIC-Kitchens dataset. In this
context, we propose two strategies: (i) directly processing event-camera data
with traditional video-processing architectures (E$^2$(GO)) and (ii) using
event-data to distill optical flow information (E$^2$(GO)MO). On our proposed
benchmark, we show that event data provides a comparable performance to RGB and
optical flow, yet without any additional flow computation at deploy time, and
an improved performance of up to 4% with respect to RGB only information.
- Abstract（参考訳）: イベントカメラは、バイオインスパイアされた新しいセンサーであり、"イベント"の形でピクセルレベルの強度変化を非同期に捉える。
センサー機構のため、イベントカメラは動きのぼやけがほとんどなく、時間分解能が非常に高く、従来のフレームベースのカメラよりもパワーとメモリがかなり少ない。
これらの特徴は、高速カメラの動きと限られたパワーが従来の視覚センサーに挑戦するウェアラブルデバイスにおけるエゴセントリックなアクション認識など、現実のいくつかの応用にぴったりである。
しかし、イベントベースのビジョンの分野は、これまではそのようなアプリケーションにおけるイベントカメラの可能性を見落としてきた。
本稿では,イベントデータは自己中心的行動認識にとって非常に有用なモダリティであることを示す。
そこで我々は,大規模なEPIC-Kitchensデータセットの最初のイベントベースカメラ拡張であるN-EPIC-Kitchensを紹介した。
この文脈では、2つの戦略を提案します
(i)従来のビデオ処理アーキテクチャ(E$^2$(GO))およびイベントカメラデータを直接処理する
(ii) イベントデータを用いて光フロー情報を蒸留する(E$^2$(GO)MO)。
提案したベンチマークでは、イベントデータは、RGBと光フローに匹敵する性能を提供するが、デプロイ時に追加のフロー計算を行わず、RGBのみの情報に関して最大4%の性能向上が示されている。
関連論文リスト
- EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。
本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。
提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
論文 参考訳（メタデータ） (2024-10-20T13:44:24Z) - Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions [56.84882059011291]
動き赤外イベントからぼやけた最小のNeRFを再構成する新しい手法であるDeblur e-NeRFを提案する。
また,大きなテクスチャレスパッチの正規化を改善するために,新しいしきい値正規化全変動損失を導入する。
論文 参考訳（メタデータ） (2024-09-26T15:57:20Z) - Gradient events: improved acquisition of visual information in event cameras [0.0]
従来の明るさイベントと同じ特性から恩恵を受ける新しいタイプのイベントである勾配イベントを提案する。
勾配イベントに基づくビデオ再構成は、既存の最先端の輝度イベントベースの手法よりも大きなマージンで優れていることを示す。
論文 参考訳（メタデータ） (2024-09-03T10:18:35Z) - Generalized Event Cameras [15.730999915036705]
イベントカメラは、高解像度かつ最小の帯域幅で世界をキャプチャする。
我々は、帯域幅効率のよいシーン強度を本質的に保持する一般化イベントカメラを設計する。
私たちの単一光子イベントカメラは、低再生速度で高速で高忠実なイメージングを可能にします。
論文 参考訳（メタデータ） (2024-07-02T21:48:32Z) - Event-Based Motion Magnification [28.057537257958963]
イベントカメラと従来のRGBカメラを組み合わせたデュアルカメラシステムを提案する。
この革新的な組み合わせは、広範かつ費用対効果の高い高周波運動の増幅を可能にする。
両カメラシステムとネットワークの有効性と精度を実証し、モーション検出と倍率化のための費用対効果とフレキシブルなソリューションを提供する。
論文 参考訳（メタデータ） (2024-02-19T08:59:58Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - EventTransAct: A video transformer-based framework for Event-camera
based action recognition [52.537021302246664]
イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。
本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。
イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
論文 参考訳（メタデータ） (2023-08-25T23:51:07Z) - MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。
バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。
本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
論文 参考訳（メタデータ） (2021-11-30T23:18:35Z) - Moving Object Detection for Event-based vision using Graph Spectral
Clustering [6.354824287948164]
移動物体検出は、幅広い応用のためのコンピュータビジョンにおける中心的な話題となっている。
イベントベースデータにおける移動物体検出のための教師なしグラフスペクトルクラスタリング手法を提案する。
さらに,移動物体の最適個数を自動決定する方法について述べる。
論文 参考訳（メタデータ） (2021-09-30T10:19:22Z) - EventHands: Real-Time Neural 3D Hand Reconstruction from an Event Stream [80.15360180192175]
単眼ビデオからの3d手ポーズ推定は、長年の課題である。
我々は1つのイベントカメラ、すなわち明るさ変化に反応する非同期視覚センサを使用して、初めてそれに対処する。
従来,単一のrgbカメラや深度カメラでは表示されなかった特徴がある。
論文 参考訳（メタデータ） (2020-12-11T16:45:34Z) - Learning to Detect Objects with a 1 Megapixel Event Camera [14.949946376335305]
イベントカメラは、高時間精度、低データレート、高ダイナミックレンジで視覚情報を符号化する。
フィールドの新規性のため、多くのビジョンタスクにおけるイベントベースのシステムの性能は、従来のフレームベースのソリューションに比べて依然として低い。
論文 参考訳（メタデータ） (2020-09-28T16:03:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。