論文の概要: RGB-D-E: Event Camera Calibration for Fast 6-DOF Object Tracking
- arxiv url: http://arxiv.org/abs/2006.05011v2
- Date: Wed, 5 Aug 2020 20:41:29 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 15:04:17.583894
- Title: RGB-D-E: Event Camera Calibration for Fast 6-DOF Object Tracking
- Title（参考訳）: RGB-D-E:高速6自由度物体追跡のためのイベントカメラ校正
- Authors: Etienne Dubeau, Mathieu Garon, Benoit Debaque, Raoul de Charette,
Jean-Fran\c{c}ois Lalonde
- Abstract要約: 6自由度で3次元物体追跡を高速化するために,イベントベースカメラを提案する。
このアプリケーションは、魅力的なAR体験を伝えるために、非常に高いオブジェクトスピードを扱う必要がある。
我々は,既存のRGB-Dネットワークと新しいイベントベースネットワークをカスケード方式で組み合わせたディープラーニングアプローチを開発した。
- 参考スコア（独自算出の注目度）: 16.06615504110132
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Augmented reality devices require multiple sensors to perform various tasks
such as localization and tracking. Currently, popular cameras are mostly
frame-based (e.g. RGB and Depth) which impose a high data bandwidth and power
usage. With the necessity for low power and more responsive augmented reality
systems, using solely frame-based sensors imposes limits to the various
algorithms that needs high frequency data from the environement. As such,
event-based sensors have become increasingly popular due to their low power,
bandwidth and latency, as well as their very high frequency data acquisition
capabilities. In this paper, we propose, for the first time, to use an
event-based camera to increase the speed of 3D object tracking in 6 degrees of
freedom. This application requires handling very high object speed to convey
compelling AR experiences. To this end, we propose a new system which combines
a recent RGB-D sensor (Kinect Azure) with an event camera (DAVIS346). We
develop a deep learning approach, which combines an existing RGB-D network
along with a novel event-based network in a cascade fashion, and demonstrate
that our approach significantly improves the robustness of a state-of-the-art
frame-based 6-DOF object tracker using our RGB-D-E pipeline.
- Abstract（参考訳）: 拡張現実デバイスは、ローカライゼーションやトラッキングといった様々なタスクを実行するために複数のセンサーを必要とする。
現在、一般的なカメラはフレームベース(rgbや深度など)で、高いデータ帯域幅と電力消費を課している。
低消費電力でレスポンシブな拡張現実システムが必要なため、フレームベースのセンサーのみを使用すると、環境からの高周波データを必要とするさまざまなアルゴリズムに制限が課される。
そのため、低消費電力、帯域幅、レイテンシ、および非常に高頻度のデータ取得機能により、イベントベースのセンサが人気を博している。
本稿では,3次元物体追跡の速度を6自由度で高めるために,イベントベースのカメラを初めて使用する方法を提案する。
このアプリケーションは、魅力的なAR体験を伝えるために、非常に高いオブジェクトスピードを扱う必要がある。
そこで本研究では,最近のRGB-Dセンサ(Kinect Azure)とイベントカメラ(DAVIS346)を組み合わせた新しいシステムを提案する。
我々は,既存のRGB-Dネットワークと新しいイベントベースネットワークをカスケード方式で組み合わせたディープラーニングアプローチを開発し,RGB-D-Eパイプラインを用いた最先端フレームベースの6-DOFオブジェクトトラッカーの堅牢性を大幅に向上することを示す。
関連論文リスト
- Dynamic EventNeRF: Reconstructing General Dynamic Scenes from Multi-view Event Cameras [69.65147723239153]
動的シーンのボリューム再構成はコンピュータビジョンにおいて重要な問題である。
照明が悪く、動きが速い場合には特に困難である。
本稿では,スパースなマルチビューイベントストリームとスパースなRGBフレームからシーンを時間的に再構築する手法を提案する。
論文 参考訳（メタデータ） (2024-12-09T18:56:18Z) - E-3DGS: Gaussian Splatting with Exposure and Motion Events [29.042018288378447]
イベントを動作と露出に分割するイベントベースの新しいアプローチであるE-3DGSを提案する。
露光イベントと3DGSの新たな統合を導入し,明示的なシーン表現を高品質に再現する。
提案手法は,NeRF法よりもコスト効率が高く,イベントベースのNeRFよりも再現性が高い。
論文 参考訳（メタデータ） (2024-10-22T13:17:20Z) - SpikeNVS: Enhancing Novel View Synthesis from Blurry Images via Spike Camera [78.20482568602993]
従来のRGBカメラは、動きがぼやけやすい。
イベントやスパイクカメラのようなニューロモルフィックカメラは、本質的により包括的な時間情報をキャプチャする。
我々の設計は、NeRFと3DGSをまたいだ新しいビュー合成を強化することができる。
論文 参考訳（メタデータ） (2024-04-10T03:31:32Z) - Complementing Event Streams and RGB Frames for Hand Mesh Reconstruction [51.87279764576998]
EvRGBHand - イベントカメラとRGBカメラによる3Dハンドメッシュ再構築のための最初のアプローチを提案する。
EvRGBHandは、RGBベースのHMRにおける露出とモーションのぼかしの問題と、イベントベースのHMRにおける前景の不足とバックグラウンドのオーバーフロー問題に対処することができる。
論文 参考訳（メタデータ） (2024-03-12T06:04:50Z) - TUMTraf Event: Calibration and Fusion Resulting in a Dataset for
Roadside Event-Based and RGB Cameras [14.57694345706197]
インテリジェントトランスポーテーションシステム(ITS)のイベントベースカメラ
非常に高い時間分解能とダイナミックレンジを提供し、動きのぼやけをなくし、夜間の検知性能を向上させることができる。
しかし、イベントベースの画像は従来のRGBカメラの画像と比べて色やテクスチャが欠けている。
論文 参考訳（メタデータ） (2024-01-16T16:25:37Z) - Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。
NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。
本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
論文 参考訳（メタデータ） (2023-09-15T17:52:08Z) - SDF-based RGB-D Camera Tracking in Neural Scene Representations [4.83420384410068]
動作中のRGB-Dカメラの6次元ポーズをニューラルシーン表現で追跡する問題を考察する。
特に,符号付き距離場ベース表現を用いたRGB-Dカメラの追跡を提案する。
論文 参考訳（メタデータ） (2022-05-04T14:18:39Z) - E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action
Recognition [21.199869051111367]
イベントカメラは「イベント」の形でピクセルレベルの強度変化を捉えます
N-EPIC-Kitchensは、大規模なEPIC-Kitchensデータセットの最初のイベントベースのカメラ拡張である。
イベントデータは、RGBと光フローに匹敵するパフォーマンスを提供するが、デプロイ時に追加のフロー計算を行わないことを示す。
論文 参考訳（メタデータ） (2021-12-07T09:43:08Z) - ESL: Event-based Structured Light [62.77144631509817]
イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。
本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
論文 参考訳（メタデータ） (2021-11-30T15:47:39Z) - Moving Object Detection for Event-based vision using Graph Spectral
Clustering [6.354824287948164]
移動物体検出は、幅広い応用のためのコンピュータビジョンにおける中心的な話題となっている。
イベントベースデータにおける移動物体検出のための教師なしグラフスペクトルクラスタリング手法を提案する。
さらに,移動物体の最適個数を自動決定する方法について述べる。
論文 参考訳（メタデータ） (2021-09-30T10:19:22Z) - TUM-VIE: The TUM Stereo Visual-Inertial Event Dataset [50.8779574716494]
イベントカメラはバイオインスパイアされた視覚センサーで、ピクセルごとの明るさの変化を測定する。
これらは、低レイテンシ、高ダイナミックレンジ、高時間分解能、低消費電力など、従来のフレームベースのカメラよりも多くの利点を提供する。
イベントカメラを用いた3次元認識・ナビゲーションアルゴリズムの開発を促進するため,TUM-VIEデータセットを提案する。
論文 参考訳（メタデータ） (2021-08-16T19:53:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。