論文の概要: EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2310.02437v2
• Date: Wed, 6 Dec 2023 10:57:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 18:24:50.634629
• Title: EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields
• Title（参考訳）: EvDNeRF:動的ニューラルラジアンス場を用いたイベントデータ再構成
• Authors: Anish Bhattacharya, Ratnesh Madaan, Fernando Cladera, Sai Vemprala, Rogerio Bonatti, Kostas Daniilidis, Ashish Kapoor, Vijay Kumar, Nikolai Matni, Jayesh K. Gupta
• Abstract要約: EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。 NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。 各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
• 参考スコア（独自算出の注目度）: 80.94515892378053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present EvDNeRF, a pipeline for generating event data and training an event-based dynamic NeRF, for the purpose of faithfully reconstructing eventstreams on scenes with rigid and non-rigid deformations that may be too fast to capture with a standard camera. Event cameras register asynchronous per-pixel brightness changes at MHz rates with high dynamic range, making them ideal for observing fast motion with almost no motion blur. Neural radiance fields (NeRFs) offer visual-quality geometric-based learnable rendering, but prior work with events has only considered reconstruction of static scenes. Our EvDNeRF can predict eventstreams of dynamic scenes from a static or moving viewpoint between any desired timestamps, thereby allowing it to be used as an event-based simulator for a given scene. We show that by training on varied batch sizes of events, we can improve test-time predictions of events at fine time resolutions, outperforming baselines that pair standard dynamic NeRFs with event generators. We release our simulated and real datasets, as well as code for multi-view event-based data generation and the training and evaluation of EvDNeRF models (https://github.com/anish-bhattacharya/EvDNeRF).
• Abstract（参考訳）: 本稿では,イベントデータを生成し,イベントベースの動的NeRFをトレーニングするためのパイプラインであるEvDNeRFについて述べる。 イベントカメラは、高ダイナミックレンジでMHzレートで非同期の1ピクセル当たりの明るさ変化を登録する。 ニューラルラディアンス場(NeRF)は、視覚的品質の幾何ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。 我々のevdnerfは、所望のタイムスタンプ間の静的または移動視点から動的シーンのイベントストリームを予測できるので、所定のシーンのイベントベースのシミュレータとして使用できる。 様々なイベントのバッチサイズをトレーニングすることで、細かい時間分解能でイベントのテスト時間予測を改善し、標準動的nerfとイベントジェネレータを組み合わせるベースラインを上回ることを示します。 シミュレーションと実際のデータセット、マルチビューイベントベースのデータ生成のためのコード、evdnerfモデルのトレーニングと評価もリリースしています(https://github.com/anish-bhattacharya/evdnerf)。

関連論文リスト

• E$^3$NeRF: Efficient Event-Enhanced Neural Radiance Fields from Blurry Images [25.304680391243537]
  E$3$NeRFの高効率イベント強化型NeRFを提案する。 イベントストリームからの時空間情報を利用して,時間的ぼやけから学習注意を均等に分散する。 合成データと実世界のデータの両方の実験により、E$3$NeRFはぼやけた画像から鋭いNeRFを効果的に学習できることを示した。
  論文  参考訳（メタデータ） (2024-08-03T18:47:31Z)
• An Event-Oriented Diffusion-Refinement Method for Sparse Events Completion [36.64856578682197]
  イベントカメラまたはダイナミックビジョンセンサー(DVS)は、従来の強度フレームの代わりに輝度の変化に対する非同期応答を記録する。 本稿では,処理段階と出力形態の両方において,イベントデータのユニークな特性に適合するイベント完了シーケンス手法を提案する。 具体的には,イベントストリームを時間領域内の3次元イベントクラウドとして扱うとともに,高密度の雲を粗大に生成する拡散モデルを構築し,正確なタイムスタンプを復元して生データの時間分解を成功させる。
  論文  参考訳（メタデータ） (2024-01-06T08:09:54Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• Neuromorphic Imaging and Classification with Graph Learning [11.882239213276392]
  バイオインスパイアされたニューロモルフィックカメラは、画素輝度変化を非同期に記録し、スパースイベントストリームを生成する。 多次元アドレスイベント構造のため、既存の視覚アルゴリズムは非同期イベントストリームを適切に扱えない。 イベントデータの新しいグラフ表現を提案し,それをグラフ変換器と組み合わせて正確なニューロモルフィック分類を行う。
  論文  参考訳（メタデータ） (2023-09-27T12:58:18Z)
• Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
  イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。 NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。 本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-09-15T17:52:08Z)
• Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
  我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。 提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。 現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
  論文  参考訳（メタデータ） (2023-09-15T14:19:36Z)
• On the Generation of a Synthetic Event-Based Vision Dataset for Navigation and Landing [69.34740063574921]
  本稿では,最適な着陸軌道からイベントベースの視覚データセットを生成する手法を提案する。 我々は,惑星と小惑星の自然シーン生成ユーティリティを用いて,月面のフォトリアリスティックな画像のシーケンスを構築した。 パイプラインは500トラジェクトリのデータセットを構築することで,表面特徴の現実的なイベントベース表現を生成することができることを示す。
  論文  参考訳（メタデータ） (2023-08-01T09:14:20Z)
• HyperE2VID: Improving Event-Based Video Reconstruction via Hypernetworks [16.432164340779266]
  イベントベースビデオ再構成のための動的ニューラルネットワークアーキテクチャであるHyperE2VIDを提案する。 提案手法では,ハイパーネットワークを用いてコンテキスト融合モジュールによって誘導される画素ごとの適応フィルタを生成する。
  論文  参考訳（メタデータ） (2023-05-10T18:00:06Z)
• EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
  本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。 その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。 提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
  論文  参考訳（メタデータ） (2022-06-23T17:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。