論文の概要: EventHands: Real-Time Neural 3D Hand Reconstruction from an Event Stream

• arxiv url: http://arxiv.org/abs/2012.06475v2
• Date: Mon, 14 Dec 2020 16:12:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 02:58:05.300578
• Title: EventHands: Real-Time Neural 3D Hand Reconstruction from an Event Stream
• Title（参考訳）: eventhands: イベントストリームからのリアルタイムニューラルネットワーク3dハンドリコンストラクション
• Authors: Viktor Rudnev and Vladislav Golyanik and Jiayi Wang and Hans-Peter Seidel and Franziska Mueller and Mohamed Elgharib and Christian Theobalt
• Abstract要約: 単眼ビデオからの3d手ポーズ推定は、長年の課題である。 我々は1つのイベントカメラ、すなわち明るさ変化に反応する非同期視覚センサを使用して、初めてそれに対処する。 従来,単一のrgbカメラや深度カメラでは表示されなかった特徴がある。
• 参考スコア（独自算出の注目度）: 80.15360180192175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D hand pose estimation from monocular videos is a long-standing and challenging problem, which is now seeing a strong upturn. In this work, we address it for the first time using a single event camera, i.e., an asynchronous vision sensor reacting on brightness changes. Our EventHands approach has characteristics previously not demonstrated with a single RGB or depth camera such as high temporal resolution at low data throughputs and real-time performance at 1000 Hz. Due to the different data modality of event cameras compared to classical cameras, existing methods cannot be directly applied to and re-trained for event streams. We thus design a new neural approach which accepts a new event stream representation suitable for learning, which is trained on newly-generated synthetic event streams and can generalise to real data. Experiments show that EventHands outperforms recent monocular methods using a colour (or depth) camera in terms of accuracy and its ability to capture hand motions of unprecedented speed. Our method, the event stream simulator and the dataset will be made publicly available.
• Abstract（参考訳）: 単眼ビデオからの3d手ポーズ推定は、長年の難題であり、現在は大きな上昇を見せている。 本研究では,1つのイベントカメラ,すなわち明るさ変化に反応する非同期視覚センサを用いて,初めてこの問題に対処する。 当社のEventHandsアプローチでは,低スループットの時間分解能や1000Hzのリアルタイム性能など,単一のRGBカメラや深度カメラでは実証されていない特徴がある。 従来のカメラと比較して、イベントカメラのデータモダリティが異なるため、既存の手法を直接適用してイベントストリームに再トレーニングすることはできない。 そこで我々は,学習に適した新しいイベントストリーム表現を受理する新しいニューラルアプローチを設計し,新たに生成された合成イベントストリームに基づいて学習し,実データに一般化する。 実験によると、EventHandsは、前例のないスピードで手の動きを捉える能力と精度で、色(または深度)カメラを使用した最近のモノラルな手法よりも優れている。 私たちのメソッド、イベントストリームシミュレータ、データセットは、一般公開されます。

関連論文リスト

• EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams [59.77837807004765]
  本稿では,魚眼レンズを用いた一眼一眼レフカメラによる3次元モーションキャプチャーという新たな課題を紹介する。 イベントストリームは、時間分解能が高く、高速な人間の動作下での3次元モーションキャプチャーと、急速に変化する照明のための信頼性の高い手がかりを提供する。 我々のEE3Dは、リアルタイム3Dポーズ更新レートを140Hzでサポートしながら、既存のソリューションと比較して堅牢性と優れた3D精度を示す。
  論文  参考訳（メタデータ） (2024-04-12T17:59:47Z)
• 3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera [59.846927201816776]
  本稿では,1つの単眼イベントカメラから手の動きの速い2つの手の動きを3次元追跡するための最初のフレームワークを紹介する。 本手法は, 半教師付き機能的注意機構により, 左手のあいまいさに対処し, 交差点の損失を補足して手衝突を解消する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:57Z)
• Rethinking Event-based Human Pose Estimation with 3D Event Representations [26.592295349210787]
  イベントカメラは、困難なコンテキストをナビゲートするための堅牢なソリューションを提供する。 我々は、Rasterized Event Point CloudとDecoupled Event Voxelの2つの3Dイベント表現を紹介します。 EV-3DPW実験により,従来のRGB画像やイベントフレーム技術と比較して,提案手法のロバスト性を示した。
  論文  参考訳（メタデータ） (2023-11-08T10:45:09Z)
• EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
  本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。 その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。 提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
  論文  参考訳（メタデータ） (2022-06-23T17:59:53Z)
• Differentiable Event Stream Simulator for Non-Rigid 3D Tracking [82.56690776283428]
  我々の微分可能シミュレータは、イベントストリームから変形可能なオブジェクトの非剛性3D追跡を可能にする。 様々な種類の非剛体物体に対するアプローチの有効性を示し, 既存の非剛体3次元追跡手法と比較した。
  論文  参考訳（メタデータ） (2021-04-30T17:58:07Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。