論文の概要: X-maps: Direct Depth Lookup for Event-based Structured Light Systems
- arxiv url: http://arxiv.org/abs/2402.10061v1
- Date: Thu, 15 Feb 2024 16:29:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 15:01:44.898469
- Title: X-maps: Direct Depth Lookup for Event-based Structured Light Systems
- Title（参考訳）: X-maps: イベントベースの構造化光システムのための直接深度検索
- Authors: Wieland Morgenstern, Niklas Gard, Simon Baumann, Anna Hilsmann, Peter
Eisert
- Abstract要約: 本稿では,イベントカメラを用いた空間拡張現実感(SAR)アプリケーションに対する直接深度推定手法を提案する。
これらのダイナミックビジョンセンサーは、構造化光のアプローチにおいて、深さ推定のためにレーザープロジェクターと組み合わせるのに非常に適しています。
主なコントリビューションは、プロジェクタのタイムマップを修正されたX-マップに変換し、入ってくるイベントのx軸対応をキャプチャすることである。
- 参考スコア（独自算出の注目度）: 11.445595934053204
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a new approach to direct depth estimation for Spatial Augmented
Reality (SAR) applications using event cameras. These dynamic vision sensors
are a great fit to be paired with laser projectors for depth estimation in a
structured light approach. Our key contributions involve a conversion of the
projector time map into a rectified X-map, capturing x-axis correspondences for
incoming events and enabling direct disparity lookup without any additional
search. Compared to previous implementations, this significantly simplifies
depth estimation, making it more efficient, while the accuracy is similar to
the time map-based process. Moreover, we compensate non-linear temporal
behavior of cheap laser projectors by a simple time map calibration, resulting
in improved performance and increased depth estimation accuracy. Since depth
estimation is executed by two lookups only, it can be executed almost instantly
(less than 3 ms per frame with a Python implementation) for incoming events.
This allows for real-time interactivity and responsiveness, which makes our
approach especially suitable for SAR experiences where low latency, high frame
rates and direct feedback are crucial. We present valuable insights gained into
data transformed into X-maps and evaluate our depth from disparity estimation
against the state of the art time map-based results. Additional results and
code are available on our project page: https://fraunhoferhhi.github.io/X-maps/
- Abstract（参考訳）: 本稿では,イベントカメラを用いた空間拡張現実感(SAR)アプリケーションに対する直接深度推定手法を提案する。
これらのダイナミックビジョンセンサーは、レーザープロジェクタと組み合わせて、構造化光による深さ推定に最適である。
私たちの重要な貢献は、プロジェクタータイムマップを整列x-mapに変換し、入ってくるイベントに対するx軸対応をキャプチャし、追加の検索なしで直接的不一致の検索を可能にすることです。
従来の実装と比較して、これは深度推定を著しく単純化し、より効率的にし、精度はタイムマップベースのプロセスと似ている。
さらに, 安価なレーザプロジェクタの非線形時間挙動を簡易な時間地図校正により補正し, 性能の向上と深さ推定精度の向上を実現した。
深さ推定は2つのルックアップのみで実行されるため、入ってくるイベントに対してほぼ瞬時に(Pythonの実装で1フレームあたり3ミリ秒未満)実行できる。
これによってリアルタイムの対話性と応答性が実現し、低レイテンシ、高いフレームレート、直接的なフィードバックが不可欠であるSARエクスペリエンスに特に適しています。
我々は,x-mapsに変換されたデータに得られた貴重な知見を示し,アートタイムマップに基づく結果に対する不一致推定から奥行きを評価する。
追加の結果とコードは、プロジェクトのページ(https://fraunhoferhhi.github.io/X-maps/)で公開されています。
関連論文リスト
- MEDeA: Multi-view Efficient Depth Adjustment [45.90423821963144]
MEDeAは、既存のテスト時間アプローチよりも桁違いに高速な効率的な多視点テスト時間深度調整法である。
提案手法は, TUM RGB-D, 7Scenes, ScanNet のベンチマークに新たな最先端性を設定し,ARKitScenes データセットから取得したスマートフォンデータの処理に成功している。
論文 参考訳（メタデータ） (2024-06-17T19:39:13Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳（メタデータ） (2024-04-01T04:57:41Z) - FMapping: Factorized Efficient Neural Field Mapping for Real-Time Dense
RGB SLAM [3.6985351289638957]
本稿では,リアルタイム高密度RGB SLAMにおける色付き点クラウドマップの連続的推定を容易にする,効率的なニューラルネットワークマッピングフレームワークであるFMappingを紹介する。
本稿では,シーン表現のための効果的な因子化手法を提案し,シーン再構成の不確実性を低減するためのスライディングウィンドウ戦略を提案する。
論文 参考訳（メタデータ） (2023-06-01T11:51:46Z) - Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids [84.90863397388776]
本稿では,スパルス・ボクセル・ブロック・グリッドにおける署名付き距離関数(SDF)を直接使用して,距離のない高速かつ正確なシーン再構成を実現することを提案する。
我々の世界規模で疎密で局所的なデータ構造は、表面の空間的空間性を利用して、キャッシュフレンドリーなクエリを可能にし、マルチモーダルデータへの直接拡張を可能にします。
実験により、我々のアプローチはトレーニングでは10倍、レンダリングでは100倍高速であり、最先端のニューラル暗黙法に匹敵する精度を実現していることがわかった。
論文 参考訳（メタデータ） (2023-05-22T16:50:19Z) - RGB-D based Stair Detection using Deep Learning for Autonomous Stair
Climbing [6.362951673024623]
本稿では,RGBマップと深度マップの両方の入力を持つニューラルネットワークアーキテクチャを提案する。
具体的には,RGBマップと深度マップの相補関係をネットワークが学習できるように,選択モジュールを設計する。
提案手法は,従来の最先端深層学習法と比較して精度の向上とリコールが可能であることを示す。
論文 参考訳（メタデータ） (2022-12-02T11:22:52Z) - Efficient Stereo Depth Estimation for Pseudo LiDAR: A Self-Supervised
Approach Based on Multi-Input ResNet Encoder [0.0]
本稿では,レーザセンサの代わりにリアルタイムの擬似点雲を画像センサから取得する手法を提案する。
異なる深さ推定器を用いて,LiDARのような擬似点雲を取得し,より良い性能を得るアプローチを提案する。
論文 参考訳（メタデータ） (2022-05-17T04:42:13Z) - Soft Expectation and Deep Maximization for Image Feature Detection [68.8204255655161]
質問をひっくり返し、まず繰り返し可能な3Dポイントを探し、次に検出器を訓練して画像空間にローカライズする、反復的半教師付き学習プロセスSEDMを提案する。
以上の結果から,sdmを用いてトレーニングした新しいモデルでは,シーン内の下位3dポイントのローカライズが容易になった。
論文 参考訳（メタデータ） (2021-04-21T00:35:32Z) - AdaFuse: Adaptive Temporal Fusion Network for Efficient Action
Recognition [68.70214388982545]
テンポラルモデリングは、効率的なビデオアクション認識の鍵である。
我々はAdaFuseと呼ばれる適応時間融合ネットワークを導入し、現在の特徴マップと過去の特徴マップからチャネルを融合する。
我々の手法は、最先端の手法に匹敵する精度で、約40%の計算節約を達成できる。
論文 参考訳（メタデータ） (2021-02-10T23:31:02Z) - CodeVIO: Visual-Inertial Odometry with Learned Optimizable Dense Depth [83.77839773394106]
本稿では,軽量で密結合の深い深度ネットワークと視覚慣性オドメトリーシステムを提案する。
我々は、初期深度予測の精度を高めるために、以前にVIOから切り離されたスパース特徴を持つネットワークを提供する。
本稿では,ネットワークとコードヤコビアンでのみGPUアクセラレーションを活用しながら,シングルスレッド実行でリアルタイムに動作可能であることを示す。
論文 参考訳（メタデータ） (2020-12-18T09:42:54Z) - Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
一つのビデオから多視点深度を推定する新しい手法を提案する。
提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。
最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
論文 参考訳（メタデータ） (2020-11-26T04:04:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。