論文の概要: Differentiable Event Stream Simulator for Non-Rigid 3D Tracking
- arxiv url: http://arxiv.org/abs/2104.15139v1
- Date: Fri, 30 Apr 2021 17:58:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-03 13:35:47.250035
- Title: Differentiable Event Stream Simulator for Non-Rigid 3D Tracking
- Title(参考訳): 非剛性3dトラッキングのための微分可能イベントストリームシミュレータ
- Authors: Jalees Nehvi and Vladislav Golyanik and Franziska Mueller and
Hans-Peter Seidel and Mohamed Elgharib and Christian Theobalt
- Abstract要約: 我々の微分可能シミュレータは、イベントストリームから変形可能なオブジェクトの非剛性3D追跡を可能にする。
様々な種類の非剛体物体に対するアプローチの有効性を示し, 既存の非剛体3次元追跡手法と比較した。
- 参考スコア(独自算出の注目度): 82.56690776283428
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces the first differentiable simulator of event streams,
i.e., streams of asynchronous brightness change signals recorded by event
cameras. Our differentiable simulator enables non-rigid 3D tracking of
deformable objects (such as human hands, isometric surfaces and general
watertight meshes) from event streams by leveraging an analysis-by-synthesis
principle. So far, event-based tracking and reconstruction of non-rigid objects
in 3D, like hands and body, has been either tackled using explicit event
trajectories or large-scale datasets. In contrast, our method does not require
any such processing or data, and can be readily applied to incoming event
streams. We show the effectiveness of our approach for various types of
non-rigid objects and compare to existing methods for non-rigid 3D tracking. In
our experiments, the proposed energy-based formulations outperform competing
RGB-based methods in terms of 3D errors. The source code and the new data are
publicly available.
- Abstract(参考訳): 本稿では,イベントストリーム,すなわち,イベントカメラが記録する非同期輝度変化信号のストリームを識別可能な最初のシミュレータを提案する。
我々の微分可能シミュレータは、解析・合成原理を利用して、イベントストリームから変形可能な物体(人手、等尺面、一般的な水密メッシュなど)の非剛性3D追跡を可能にする。
これまでのところ、手や体のような3Dの非剛体オブジェクトのイベントベースの追跡と再構築は、明示的なイベントトラジェクトリや大規模なデータセットを使用して取り組まれている。
対照的に、このメソッドはそのような処理やデータを必要とせず、入ってくるイベントストリームに容易に適用できる。
様々な種類の非剛体物体に対するアプローチの有効性を示し, 既存の非剛体3次元追跡手法と比較した。
実験で提案したエネルギーベース定式化法は, 競合するRGB法よりも3次元誤差の方が優れていた。
ソースコードと新しいデータは公開されています。
関連論文リスト
- Rethinking Event-based Human Pose Estimation with 3D Event
Representations [26.592295349210787]
イベントカメラは、困難なコンテキストをナビゲートするための堅牢なソリューションを提供する。
我々は、Rasterized Event Point CloudとDecoupled Event Voxelの2つの3Dイベント表現を紹介します。
EV-3DPW実験により,従来のRGB画像やイベントフレーム技術と比較して,提案手法のロバスト性を示した。
論文 参考訳(メタデータ) (2023-11-08T10:45:09Z) - Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。
動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。
本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
論文 参考訳(メタデータ) (2023-09-28T17:59:51Z) - Randomized 3D Scene Generation for Generalizable Self-Supervised
Pre-Training [0.0]
球面高調波を用いた3次元シーン生成手法を提案する。
従来の定式化法をクリアマージンで上回り、実世界のスキャンとCADモデルを用いた手法を用いて、中間結果を得る。
論文 参考訳(メタデータ) (2023-06-07T08:28:38Z) - Dual Memory Aggregation Network for Event-Based Object Detection with
Learnable Representation [79.02808071245634]
イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。
イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。
長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
論文 参考訳(メタデータ) (2023-03-17T12:12:41Z) - RandomRooms: Unsupervised Pre-training from Synthetic Shapes and
Randomized Layouts for 3D Object Detection [138.2892824662943]
有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。
最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。
本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:56:12Z) - Lifting Monocular Events to 3D Human Poses [22.699272716854967]
本稿では,非同期イベントの単一ストリームを入力として用いる新しい3次元ポーズ推定手法を提案する。
単一のイベントストリームから3D人間のポーズを学習する最初の方法を提案します。
実験により,本手法は,標準RGBとイベントベースビジョン間の性能ギャップを狭め,精度が向上することを示した。
論文 参考訳(メタデータ) (2021-04-21T16:07:12Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-12T15:30:02Z) - EventHands: Real-Time Neural 3D Hand Reconstruction from an Event Stream [80.15360180192175]
単眼ビデオからの3d手ポーズ推定は、長年の課題である。
我々は1つのイベントカメラ、すなわち明るさ変化に反応する非同期視覚センサを使用して、初めてそれに対処する。
従来,単一のrgbカメラや深度カメラでは表示されなかった特徴がある。
論文 参考訳(メタデータ) (2020-12-11T16:45:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。