論文の概要: Event-based Camera Tracker by $\nabla$t NeRF

• arxiv url: http://arxiv.org/abs/2304.04559v1
• Date: Fri, 7 Apr 2023 16:03:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-11 15:10:54.926254
• Title: Event-based Camera Tracker by $\nabla$t NeRF
• Title（参考訳）: $\nabla$t NeRFによるイベントベースカメラトラッカー
• Authors: Mana Masuda, Yusuke Sekikawa, Hideo Saito
• Abstract要約: ニューラルレイディアンス場(NeRF)として表現されるシーンのスパース事象と時間勾配の誤差を最小化することにより、カメラのポーズを復元できることを示す。 スパースイベントの観測を用いてポーズ更新を実現するイベントベースのカメラポーズトラッキングフレームワークTeGRAを提案する。
• 参考スコア（独自算出の注目度）: 11.572930535988325
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: When a camera travels across a 3D world, only a fraction of pixel value changes; an event-based camera observes the change as sparse events. How can we utilize sparse events for efficient recovery of the camera pose? We show that we can recover the camera pose by minimizing the error between sparse events and the temporal gradient of the scene represented as a neural radiance field (NeRF). To enable the computation of the temporal gradient of the scene, we augment NeRF's camera pose as a time function. When the input pose to the NeRF coincides with the actual pose, the output of the temporal gradient of NeRF equals the observed intensity changes on the event's points. Using this principle, we propose an event-based camera pose tracking framework called TeGRA which realizes the pose update by using the sparse event's observation. To the best of our knowledge, this is the first camera pose estimation algorithm using the scene's implicit representation and the sparse intensity change from events.
• Abstract（参考訳）: カメラが3Dの世界を移動すると、ピクセルの値がわずかに変化し、イベントベースのカメラがスパースイベントとしてその変化を観測する。 カメラポーズの効率回復にスパースイベントをどのように利用できるか? ニューラル・ラジアンス・フィールド(nerf)として表現されたシーンの偏差イベントと時間勾配の誤差を最小化することでカメラのポーズを回復できることを示す。 シーンの時間勾配の計算を可能にするため,NeRFカメラのポーズを時間関数として拡張する。 NeRFに対する入力ポーズが実際のポーズと一致する場合、NeRFの時間勾配の出力は、観測された事象の点の強度変化と等しい。 この原理を用いて、スパースイベント観測を用いてポーズ更新を実現するTeGRAと呼ばれるイベントベースのカメラポーズ追跡フレームワークを提案する。 我々の知る限りでは、これはシーンの暗黙的な表現とイベントからのゆるやかな強度変化を用いた最初のカメラポーズ推定アルゴリズムである。

関連論文リスト

• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• IncEventGS: Pose-Free Gaussian Splatting from a Single Event Camera [7.515256982860307]
  IncEventGSは、単一のイベントカメラを備えたインクリメンタルな3Dガウススプレイティング再構成アルゴリズムである。 我々は,IncEventGSにおける従来のSLAMパイプラインの追跡とマッピングのパラダイムを活用する。
  論文  参考訳（メタデータ） (2024-10-10T16:54:23Z)
• Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions [56.84882059011291]
  動き赤外イベントからぼやけた最小のNeRFを再構成する新しい手法であるDeblur e-NeRFを提案する。 また,大きなテクスチャレスパッチの正規化を改善するために,新しいしきい値正規化全変動損失を導入する。
  論文  参考訳（メタデータ） (2024-09-26T15:57:20Z)
• Continuous Pose for Monocular Cameras in Neural Implicit Representation [65.40527279809474]
  本稿では,時間的連続的な機能として単眼カメラのポーズを最適化することの有効性を示す。 提案手法を4つの異なる実験環境において活用する。 連続運動の仮定を用いて、ポーズの変化は実際には6度以下の自由度(DOF)を持つ多様体に生きることができる。 我々はこの低DOF動作表現を固有運動と呼び、vSLAM設定でのアプローチを用い、カメラ追跡性能を高く評価した。
  論文  参考訳（メタデータ） (2023-11-28T13:14:58Z)
• Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
  イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。 NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。 本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-09-15T17:52:08Z)
• Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
  我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。 提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。 現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
  論文  参考訳（メタデータ） (2023-09-15T14:19:36Z)
• A Preliminary Research on Space Situational Awareness Based on Event Cameras [8.27218838055049]
  イベントカメラは、従来のカメラとは異なる新しいタイプのセンサーである。 トリガーイベントは、画素に照射された明るさの変化である。 従来のカメラと比較して、イベントカメラは高時間分解能、低レイテンシ、高ダイナミックレンジ、低帯域幅、低消費電力の利点がある。
  論文  参考訳（メタデータ） (2022-03-24T14:36:18Z)
• Event-Based Dense Reconstruction Pipeline [5.341354397748495]
  イベントカメラは、従来のカメラとは異なる新しいタイプのセンサーである。 深層学習は、イベントからの強度画像の再構成に使用される。 動きからの構造(SfM)は、カメラ固有の、外在的な、スパースな点雲を推定するために用いられる。
  論文  参考訳（メタデータ） (2022-03-23T08:37:04Z)
• EventHands: Real-Time Neural 3D Hand Reconstruction from an Event Stream [80.15360180192175]
  単眼ビデオからの3d手ポーズ推定は、長年の課題である。 我々は1つのイベントカメラ、すなわち明るさ変化に反応する非同期視覚センサを使用して、初めてそれに対処する。 従来,単一のrgbカメラや深度カメラでは表示されなかった特徴がある。
  論文  参考訳（メタデータ） (2020-12-11T16:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。