論文の概要: Rethinking Event-based Human Pose Estimation with 3D Event
Representations
- arxiv url: http://arxiv.org/abs/2311.04591v3
- Date: Fri, 1 Dec 2023 07:26:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-04 17:34:27.791510
- Title: Rethinking Event-based Human Pose Estimation with 3D Event
Representations
- Title(参考訳): 3次元イベント表現を用いた人物ポーズ推定の再考
- Authors: Xiaoting Yin, Hao Shi, Jiaan Chen, Ze Wang, Yaozu Ye, Huajian Ni,
Kailun Yang, Kaiwei Wang
- Abstract要約: イベントカメラは、困難なコンテキストをナビゲートするための堅牢なソリューションを提供する。
我々は、Rasterized Event Point CloudとDecoupled Event Voxelの2つの3Dイベント表現を紹介します。
EV-3DPW実験により,従来のRGB画像やイベントフレーム技術と比較して,提案手法のロバスト性を示した。
- 参考スコア(独自算出の注目度): 26.592295349210787
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human pose estimation is a fundamental and appealing task in computer vision.
Traditional frame-based cameras and videos are commonly applied, yet, they
become less reliable in scenarios under high dynamic range or heavy motion
blur. In contrast, event cameras offer a robust solution for navigating these
challenging contexts. Predominant methodologies incorporate event cameras into
learning frameworks by accumulating events into event frames. However, such
methods tend to marginalize the intrinsic asynchronous and high temporal
resolution characteristics of events. This disregard leads to a loss in
essential temporal dimension data, crucial for discerning distinct actions. To
address this issue and to unlock the 3D potential of event information, we
introduce two 3D event representations: the Rasterized Event Point Cloud
(RasEPC) and the Decoupled Event Voxel (DEV). The RasEPC collates events within
concise temporal slices at identical positions, preserving 3D attributes with
statistical cues and markedly mitigating memory and computational demands.
Meanwhile, the DEV representation discretizes events into voxels and projects
them across three orthogonal planes, utilizing decoupled event attention to
retrieve 3D cues from the 2D planes. Furthermore, we develop and release
EV-3DPW, a synthetic event-based dataset crafted to facilitate training and
quantitative analysis in outdoor scenes. On the public real-world DHP19
dataset, our event point cloud technique excels in real-time mobile
predictions, while the decoupled event voxel method achieves the highest
accuracy. Experiments on EV-3DPW demonstrate that the robustness of our
proposed 3D representation methods compared to traditional RGB images and event
frame techniques under the same backbones. Our code and dataset have been made
publicly available at https://github.com/MasterHow/EventPointPose.
- Abstract(参考訳): 人間のポーズ推定はコンピュータビジョンの基本的で魅力的なタスクである。
従来のフレームベースのカメラやビデオは一般的に用いられるが、高いダイナミックレンジや重い動きのぼかしのシナリオでは信頼性が低下する。
対照的に、イベントカメラはこれらの困難なコンテキストをナビゲートするための堅牢なソリューションを提供する。
一般的な方法論では、イベントカメラを学習フレームワークに取り入れ、イベントをイベントフレームに蓄積する。
しかし、そのような手法は、イベントの固有非同期および高時間分解能特性を限界化する傾向がある。
この無視は、異なるアクションを識別するために不可欠な時間次元データを失うことにつながる。
この問題に対処し、イベント情報の3Dポテンシャルを解き放つために、Rasterized Event Point Cloud(RasEPC)とDecoupled Event Voxel(DEV)という2つの3Dイベント表現を導入します。
RasEPCは、正確な時間スライス内のイベントを同じ位置で照合し、3D属性を統計的手がかりで保存し、メモリと計算要求を著しく緩和する。
一方、dev表現はイベントをvoxelに識別し、3つの直交平面に投影し、分離されたイベントの注意を利用して2d平面から3dのヒントを取得する。
さらに,屋外シーンでのトレーニングや定量的分析を容易にするために,イベントベースの合成データセットEV-3DPWを開発した。
実世界のDHP19データセットでは,イベントポイントクラウド技術がリアルタイムなモバイル予測に優れており,デカップリングされたイベントボクセル法が最も精度が高い。
EV-3DPW実験により, 従来のRGB画像やイベントフレーム技術と比較して, 提案した3次元表現手法のロバスト性を示した。
私たちのコードとデータセットはhttps://github.com/masterhow/eventpointposeで公開されています。
関連論文リスト
- EvAC3D: From Event-based Apparent Contours to 3D Models via Continuous
Visual Hulls [46.94040300725127]
複数ビューからの3D再構成は、複数のアプリケーションへのデプロイで成功したコンピュータビジョンフィールドである。
イベントカメラの低消費電力化と遅延化の両面から,イベントカメラの利点を生かした3次元再構成の問題点を考察する。
オブジェクトの見かけの輪郭の幾何学を定義する新しいイベントベース表現であるApparent Contour Events (ACE)を提案する。
論文 参考訳(メタデータ) (2023-04-11T15:46:16Z) - Dual Memory Aggregation Network for Event-Based Object Detection with
Learnable Representation [79.02808071245634]
イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。
イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。
長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
論文 参考訳(メタデータ) (2023-03-17T12:12:41Z) - Event-based Human Pose Tracking by Spiking Spatiotemporal Transformer [20.188995900488717]
イベントベースのポーズトラッキングのための、エンド・ツー・エンドのスパース・ディープ・アプローチを提案する。
イベントのみから3Dのポーズトラッキングが取得されたのはこれが初めてである。
提案手法はFLOPSの80%を大幅に削減する。
論文 参考訳(メタデータ) (2023-03-16T22:56:12Z) - EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。
その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。
提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
論文 参考訳(メタデータ) (2022-06-23T17:59:53Z) - 3D-FlowNet: Event-based optical flow estimation with 3D representation [2.062593640149623]
イベントベースのカメラは、高速モーション検出などの重要なタスクのためにフレームベースのカメラ制限を克服することができる。
ディープニューラルネットワークは、非同期で離散的なイベントデータを扱うようには適していない。
本稿では,3次元入力表現を処理し,光フロー推定を出力できる新しいネットワークアーキテクチャである3D-FlowNetを提案する。
論文 参考訳(メタデータ) (2022-01-28T17:28:15Z) - Bridging the Gap between Events and Frames through Unsupervised Domain
Adaptation [57.22705137545853]
本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。
生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。
われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
論文 参考訳(メタデータ) (2021-09-06T17:31:37Z) - Differentiable Event Stream Simulator for Non-Rigid 3D Tracking [82.56690776283428]
我々の微分可能シミュレータは、イベントストリームから変形可能なオブジェクトの非剛性3D追跡を可能にする。
様々な種類の非剛体物体に対するアプローチの有効性を示し, 既存の非剛体3次元追跡手法と比較した。
論文 参考訳(メタデータ) (2021-04-30T17:58:07Z) - Lifting Monocular Events to 3D Human Poses [22.699272716854967]
本稿では,非同期イベントの単一ストリームを入力として用いる新しい3次元ポーズ推定手法を提案する。
単一のイベントストリームから3D人間のポーズを学習する最初の方法を提案します。
実験により,本手法は,標準RGBとイベントベースビジョン間の性能ギャップを狭め,精度が向上することを示した。
論文 参考訳(メタデータ) (2021-04-21T16:07:12Z) - EventHands: Real-Time Neural 3D Hand Reconstruction from an Event Stream [80.15360180192175]
単眼ビデオからの3d手ポーズ推定は、長年の課題である。
我々は1つのイベントカメラ、すなわち明るさ変化に反応する非同期視覚センサを使用して、初めてそれに対処する。
従来,単一のrgbカメラや深度カメラでは表示されなかった特徴がある。
論文 参考訳(メタデータ) (2020-12-11T16:45:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。