論文の概要: AE-NeRF: Augmenting Event-Based Neural Radiance Fields for Non-ideal Conditions and Larger Scene
- arxiv url: http://arxiv.org/abs/2501.02807v1
- Date: Mon, 06 Jan 2025 07:00:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-07 17:07:07.710114
- Title: AE-NeRF: Augmenting Event-Based Neural Radiance Fields for Non-ideal Conditions and Larger Scene
- Title（参考訳）: AE-NeRF:非理想的条件と大規模シーンのためのイベントベースニューラルレージアンス場の拡大
- Authors: Chaoran Feng, Wangbo Yu, Xinhua Cheng, Zhenyu Tang, Junwu Zhang, Li Yuan, Yonghong Tian,
- Abstract要約: 非理想的条件からイベントベースNeRFを学習する際の課題を解決するために,AE-NeRFを提案する。
本手法は,イベントベース3次元再構成における新しい最先端技術を実現する。
- 参考スコア（独自算出の注目度）: 31.142207770861457
- License:
- Abstract: Compared to frame-based methods, computational neuromorphic imaging using event cameras offers significant advantages, such as minimal motion blur, enhanced temporal resolution, and high dynamic range. The multi-view consistency of Neural Radiance Fields combined with the unique benefits of event cameras, has spurred recent research into reconstructing NeRF from data captured by moving event cameras. While showing impressive performance, existing methods rely on ideal conditions with the availability of uniform and high-quality event sequences and accurate camera poses, and mainly focus on the object level reconstruction, thus limiting their practical applications. In this work, we propose AE-NeRF to address the challenges of learning event-based NeRF from non-ideal conditions, including non-uniform event sequences, noisy poses, and various scales of scenes. Our method exploits the density of event streams and jointly learn a pose correction module with an event-based NeRF (e-NeRF) framework for robust 3D reconstruction from inaccurate camera poses. To generalize to larger scenes, we propose hierarchical event distillation with a proposal e-NeRF network and a vanilla e-NeRF network to resample and refine the reconstruction process. We further propose an event reconstruction loss and a temporal loss to improve the view consistency of the reconstructed scene. We established a comprehensive benchmark that includes large-scale scenes to simulate practical non-ideal conditions, incorporating both synthetic and challenging real-world event datasets. The experimental results show that our method achieves a new state-of-the-art in event-based 3D reconstruction.
- Abstract（参考訳）: フレームベースの手法と比較して、イベントカメラを用いた計算ニューロモルフィックイメージングは、最小の運動ぼけ、時間分解能の強化、高ダイナミックレンジなどの大きな利点がある。
ニューラル・レージアンス・フィールドの多視点一貫性とイベントカメラのユニークな利点が組み合わさって、動くイベントカメラが捉えたデータからNeRFを再構築する最近の研究を刺激している。
印象的な性能を示す一方で、既存の手法は、一様で高品質なイベントシーケンスと正確なカメラポーズが利用できる理想的な条件に依存しており、主にオブジェクトレベルの再構築に焦点を合わせ、実用的な応用を制限している。
本研究では,非一様事象列,ノイズポーズ,さまざまな場面を含む非理想的状況からイベントベースNeRFを学習する上での課題を解決するために,AE-NeRFを提案する。
提案手法は,イベントストリームの密度を利用して,不正確なカメラポーズから頑健な3次元再構成を実現するために,イベントベースのNeRF(e-NeRF)フレームワークを用いてポーズ補正モジュールを共同で学習する。
大規模なシーンを一般化するために,提案するe-NeRFネットワークとバニラe-NeRFネットワークを用いた階層型イベント蒸留を提案し,再構成プロセスを再サンプリングし,洗練する。
さらに、再構成されたシーンの視界の整合性を改善するために、イベント再構成損失と時間的損失を提案する。
我々は、大規模なシーンを含む包括的なベンチマークを構築し、実際の非理想的条件をシミュレートし、合成および挑戦的な実世界のイベントデータセットを組み込んだ。
実験結果から, イベントベース3次元再構成における新しい最先端技術の実現が得られた。
関連論文リスト
- E-3DGS: Gaussian Splatting with Exposure and Motion Events [29.042018288378447]
イベントを動作と露出に分割するイベントベースの新しいアプローチであるE-3DGSを提案する。
露光イベントと3DGSの新たな統合を導入し,明示的なシーン表現を高品質に再現する。
提案手法は,NeRF法よりもコスト効率が高く,イベントベースのNeRFよりも再現性が高い。
論文 参考訳（メタデータ） (2024-10-22T13:17:20Z) - Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions [56.84882059011291]
動き赤外イベントからぼやけた最小のNeRFを再構成する新しい手法であるDeblur e-NeRFを提案する。
また,大きなテクスチャレスパッチの正規化を改善するために,新しいしきい値正規化全変動損失を導入する。
論文 参考訳（メタデータ） (2024-09-26T15:57:20Z) - E$^3$NeRF: Efficient Event-Enhanced Neural Radiance Fields from Blurry Images [25.304680391243537]
E$3$NeRFの高効率イベント強化型NeRFを提案する。
イベントストリームからの時空間情報を利用して,時間的ぼやけから学習注意を均等に分散する。
合成データと実世界のデータの両方の実験により、E$3$NeRFはぼやけた画像から鋭いNeRFを効果的に学習できることを示した。
論文 参考訳（メタデータ） (2024-08-03T18:47:31Z) - Mitigating Motion Blur in Neural Radiance Fields with Events and Frames [21.052912896866953]
本研究では,フレームやイベントを融合させることにより,カメラ動作下でのNeRF再構成を改善する新しい手法を提案する。
我々は、イベント二重積分を追加のモデルベースとして利用して、ぼやけた生成プロセスを明示的にモデル化する。
合成および実データから,提案手法は,フレームのみを使用する既存の劣化型NeRFよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-03-28T19:06:37Z) - An Event-Oriented Diffusion-Refinement Method for Sparse Events
Completion [36.64856578682197]
イベントカメラまたはダイナミックビジョンセンサー(DVS)は、従来の強度フレームの代わりに輝度の変化に対する非同期応答を記録する。
本稿では,処理段階と出力形態の両方において,イベントデータのユニークな特性に適合するイベント完了シーケンス手法を提案する。
具体的には,イベントストリームを時間領域内の3次元イベントクラウドとして扱うとともに,高密度の雲を粗大に生成する拡散モデルを構築し,正確なタイムスタンプを復元して生データの時間分解を成功させる。
論文 参考訳（メタデータ） (2024-01-06T08:09:54Z) - ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。
提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。
本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
論文 参考訳（メタデータ） (2023-12-05T18:59:58Z) - EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。
NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。
各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
論文 参考訳（メタデータ） (2023-10-03T21:08:41Z) - Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。
NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。
本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
論文 参考訳（メタデータ） (2023-09-15T17:52:08Z) - E-NeRF: Neural Radiance Fields from a Moving Event Camera [83.91656576631031]
理想的な画像からニューラルレイディアンス場(NeRF)を推定する手法はコンピュータビジョンコミュニティで広く研究されている。
本稿では,高速なイベントカメラからNeRFの形式でボリュームシーンを推定する最初の方法であるE-NeRFを提案する。
論文 参考訳（メタデータ） (2022-08-24T04:53:32Z) - EventSR: From Asynchronous Events to Image Reconstruction, Restoration,
and Super-Resolution via End-to-End Adversarial Learning [75.17497166510083]
イベントカメラは強度の変化を感知し、従来のカメラよりも多くの利点がある。
イベントストリームからの強度画像の再構成手法が提案されている。
出力は依然として低解像度(LR)、ノイズ、非現実的である。
本研究では、イベントストリームからLR画像を再構成し、画像品質を高め、EventSRと呼ばれる拡張イメージをアップサンプリングする、新しいエンドツーエンドパイプラインを提案する。
論文 参考訳（メタデータ） (2020-03-17T10:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。